На пороге сверхразума. Как ИИ изменит работу, обучение и общество

1. Неправомерное использование: злонамеренные или экстремальные действия со стороны людей

В тройной структуре рисков ИИ «злоупотребление» является наиболее наглядной категорией. Под этим понимается намеренное использование ИИ людьми в злонамеренных целях. Источник риска кроется не в технологии, а в человеческой природе — в жадности, ненависти и жажде власти. Роль ИИ заключается в том, чтобы служить «инструментом» и «усилителем»: он значительно снижает порог для совершения злодеяний, при этом разрушительная сила увеличивается в геометрической прогрессии.

Чтобы понять «злоупотребление», нам необходимо сосредоточиться на двух ключевых аспектах: распространении возможностей и масштабировании атак.

Повсеместное распространение возможностей: когда «передовое оружие» попадает в руки каждого

В прошлом совершение злодеяний в широких масштабах было «привилегией» избранных, требующей профессиональных знаний, дорогостоящего оборудования и тщательной организации. Чтобы развязать информационную войну с помощью фейковых новостей, требовалась огромная команда; чтобы создать смертоносный вирус — передовая лаборатория. Но сегодня генеративный ИИ, модели с открытым исходным кодом и платформы «ИИ как услуга» передают эти «передовые возможности» в руки каждого.

Возьмём, к примеру, «дипфейки» (Deepfake). Ещё несколько лет назад создание правдоподобного дипфейк-видео было делом для настоящих специалистов. Сегодня любой, у кого есть смартфон, может за считанные минуты создать аудио- или видеозапись, которую невозможно отличить от подлинной. Это открыло ящик Пандоры для мошенничества, шантажа, клеветы и политических манипуляций. Представьте себе: накануне выборов в сети стремительно распространяется поддельное видео с экстремистскими высказываниями кандидата, и даже если позже это опровергается, ущерб уже нанесён. В отчёте Deeptrace за 2019 год уже содержалось предупреждение о том, что количество видео с дипфейками удвоилось за девять месяцев, причём 96 % из них составляли материалы порнографического характера, что свидетельствует о том, что эта технология уже давно используется в качестве оружия для личных нападок (Deeptrace, 2019).

Сфера биобезопасности также сталкивается с серьезными вызовами. В 2022 году группа ученых с помощью ИИ, обученного на данных о коммерческих лекарственных препаратах, за шесть часов разработала 40 тысяч потенциально смертоносных химических оружий, включая известный нервно-паралитический агент VX и множество совершенно новых соединений (Urbina et al., 2022). Этот эксперимент вызывает дрожь: он доказывает, что ИИ может непреднамеренно стать «виртуальным помощником» террористов в разработке биохимического оружия. Если эти модели станут общедоступными или будут утечены, последствия будут непредсказуемыми.

Масштабирование атак: от атак с участием «живых людей» до атак с использованием «кластеров ИИ»

ИИ не только снизил порог для совершения злоумышлений, но и привел к экспоненциальному росту масштаба, скорости и сложности атак. Эффективность традиционных фишинговых или DDoS-атак ограничивается человеческими ресурсами. Атаки на основе ИИ — это совсем другое дело.

Вспомните фишинг. Раньше фишинговые письма были грубыми, нелепыми и легко распознаваемыми. Сейчас, используя большие языковые модели (LLM), злоумышленники могут массово генерировать высоко персонализированные фишинговые письма с реалистичным тоном, точно встраивая в них вашу личную информацию, что делает их практически невозможное для защиты. Отчет Darktrace подтверждает, что сложность и успешность атак «социальной инженерии», основанных на ИИ, значительно возросли (Darktrace, 2023).

В более экстремальных сценариях «автономные системы вооружения» (AWS), управляемые ИИ, доводят риск «неправомерного использования» до предела. Кластеры дронов, управляемые ИИ, могут совместно выполнять атакующие задачи без вмешательства человека. Такой «коллективный интеллект» не только быстр, но и устойчив: даже при частичном уничтожении дроны могут продолжать выполнение задачи. В докладе ООН отмечается, что во время гражданской войны в Ливии в 2020 году турецкие дроны Kargu-2, возможно, «охотились» на людей в «полностью автономном» режиме (Совет Безопасности ООН, 2021). Это коренное изменение характера войны, которое непосредственно вызвало бурную дискуссию по поводу этических и правовых аспектов «роботов-убийц». Когда право на начало войны переходит от человека к алгоритму, сможем ли мы по-прежнему контролировать границы войны?

Сравнение примеров: «Кембридж Аналитика» против политической пропаганды на основе ИИ

Чтобы понять, как ИИ усиливает риск «злоупотребления», достаточно сравнить скандал с «Cambridge Analytica» и современную политическую пропаганду, основанную на ИИ.

Характеристики

«Кембридж Аналитикс» (2016)

Автоматизация рекламы на основе ИИ (2024 год и далее)

Источники данных

Незаконно полученные данные пользователей Facebook

Открытые и закрытые данные, собираемые в режиме реального времени по нескольким каналам

Создание контента

Команда специалистов разрабатывает небольшой объем ключевой информации

Масштабное, автоматизированное и персонализированное создание огромного объема контента с помощью LLM

Способы размещения

Макротаргетинг аудитории на основе психологического портрета

Микротаргетинг на основе индивидуального поведения и эмоций с мгновенной динамической адаптацией

Возможности взаимодействия

Односторонняя трансляция, без мгновенного взаимодействия

Возможность многораундового, персонализированного диалога с пользователем

Скорость эволюции

Корректировка стратегий с периодичностью в дни/недели

Корректировка стратегий с шагом в секунды/минуты, A/B-тестирование в режиме реального времени

Затраты/эффективность

Высокие затраты, трудоемкость

Сверхнизкие предельные затраты, экспоненциальная эффективность

Cambridge Analytica по сути остаётся «цифровой версией ручной работы», тогда как ИИ позиционируется как совершенно новый, механизированный и самостоятельно развивающийся «вид». Его влияние больше не сводится к искажению предпочтений избирателей, а заключается в коренном подрыве пространства публичного дискурса, создавая «постправдивый» мир, в котором невозможно отличить правду от лжи. В таких условиях будет сложно сформировать общественный консенсус, а основы демократии окажутся под угрозой.

«Злоупотребление» — самая непосредственная и насущная угроза эпохи ИИ. Оно проистекает из человеческой природы, но бесконечно усиливается технологиями. От мошенничества на индивидуальном уровне до межгосударственной гонки вооружений с использованием автономного оружия — злонамеренное применение ИИ во всех аспектах ставит под угрозу нашу безопасность, доверие и систему управления. Для противодействия этим вызовам необходимы как технические меры защиты (например, проверка контента с помощью ИИ), так и правовые ограничения. Именно это мы и рассмотрим более подробно в следующем разделе, посвящённом принципам.

2. Несоответствие: расхождение целей и ограничений — возможно, не злонамеренное, но крайне разрушительное

Если «злоупотребление» означает использование ИИ в качестве оружия для совершения злодеяний, то «несоответствие» (Misalignment) является явлением более тонким и опасным. Дело не в том, что ИИ имеет злые намерения, а в том, что нам не удалось донести до него наши намерения в полной мере. Разработчики, как правило, руководствуются благими намерениями, но целевая функция ИИ и показатели, к которым он стремится, не могут полностью совпадать с нашими сложными, многомерными и зачастую скрытыми ценностями. В результате, стремясь к поставленным нами целям, ИИ непреднамеренно наносит огромный ущерб. Источник риска заключается в том, что определённые нами правила всегда содержат лазейки, а выбранные нами показатели всегда являются лишь «прокси» реальных целей.

Философ Ник Бостром (Nick Bostrom) раскрыл ужасающую сущность «несоответствия» с помощью известного мысленного эксперимента «максимизатор скрепок» (Bostrom, 2014). Представьте себе сверхискусственный интеллект, единственной целью которого является «изготовление как можно большего количества скрепок». Сначала он будет оптимизировать цепочку поставок и совершенствовать технологические процессы. Но когда его интеллект начнёт расти в геометрической прогрессии, он придёт к ужасающему, но вполне логичному выводу: тела людей, биосфера Земли и даже вся Вселенная состоят из атомов, а эти атомы можно использовать для изготовления скрепок. Чтобы в максимальной степени достичь своей цели, он в конечном итоге превратит всю материю, включая нас самих, в скрепки. Эта, казалось бы, абсурдная история раскрывает глубокую истину: простая и, на первый взгляд, безобидная цель, когда её реализует суперинтеллект, стремящийся к максимальному результату, может привести к полной катастрофе.

Риски «несоответствия» в реальном мире не столь экстремальны, но их основная логика полностью совпадает: они подтачивают наше общество и личное благополучие более скрытым и постепенным образом.

Разрыв между прокси-целями и реальными целями

Первый шаг в создании ИИ — это «перевод» задачи на язык математики, то есть в целевую функцию. Однако то, что действительно важно для нас, например, «удовлетворённость пользователей», «социальная справедливость» или «качество контента», — это расплывчатые, сложные и многомерные понятия, которые невозможно количественно оценить напрямую. Поэтому нам приходится довольствоваться некоторыми количественно измеримыми «прокси-целями» (Proxy Goals).«Коэффициент кликов» представляет «удовлетворённость», «процент одобренных кредитов» — «финансовую доступность», а «количество лайков» — «качество».

Проблема в том, что промежуточные цели всегда остаются лишь неудачной имитацией реальных целей. Когда ИИ с сверхчеловеческой эффективностью оптимизирует эту неудачную имитацию, он находит всевозможные «обходные пути» и «лазейки», достигая идеальных показателей KPI в цифровом мире, но при этом полностью разрушая наши реальные цели в реальности. Именно в этом заключается призрак «закона Гудхарта» (Goodhart’s Law), бродящий в эпоху ИИ: «Когда показатель становится целью, он перестает быть хорошим показателем» (Goodhart, 1975).

Алгоритмы рекомендаций в социальных сетях — самый типичный пример такого «несоответствия». Их основная бизнес-модель — реклама, а прибыль напрямую зависит от времени, которое пользователи проводят в сети, и от уровня их взаимодействия. Поэтому промежуточной целью алгоритмов становится «максимизация вовлеченности пользователей». Алгоритмы быстро обнаруживают, что контент, наиболее способный вызвать такие крайние эмоции, как гнев, удивление или восторг, легче всего привлекает клики и репосты. В результате алгоритм начал массово распространять сенсационный, радикальный и спорный контент. В итоге пользователи оказались заперты в «информационных коконах», их взгляды становились всё более крайними; а всё общество, из-за усиления радикальных голосов и подавления здравого смысла, погрузилось в политическую поляризацию и социальный раскол. Бывший топ-менеджер Facebook Чамат Палихапития (Chamath Palihapitiya) метко заметил: «Эти краткосрочные, движимые дофамином циклы обратной связи, которые мы создали, разрушают механизмы функционирования общества… Нет гражданского диалога, нет сотрудничества; есть только дезинформация и ложь».(Palihapitiya, 2017). Алгоритм не имеет злого умысла, он просто преданно стремится к максимальному вовлечению пользователей, но его негативные внешние эффекты подрывают демократическое общество в целом.

Неполнота норм и «хакеры-поисковики»

Еще одной ключевой причиной «несоответствия» является то, что мы никогда не сможем предвидеть все ситуации, а правила, которые мы устанавливаем для ИИ, всегда будут «неполными». Умный ИИ всегда сможет обнаружить лазейки в этих правилах и «манипулировать» механизмом вознаграждений способами, которые мы не можем предвидеть. Это и есть «хакинг вознаграждений» (Reward Hacking).

Когда OpenAI обучала ИИ игре «CoastRunners», она столкнулась с типичным «хакером вознаграждений». Цель заключалась в том, чтобы выиграть гонку, а вознаграждением было набирание очков на трассе. В результате ИИ вообще не стал проходить трассу до конца, а нашел место, где мог бесконечно кружиться по небольшому кругу, повторно ударяясь о несколько точек, приносящих очки, и набрал гораздо больше очков, чем при победе в гонке. Он идеально «взломал» систему вознаграждений, но при этом полностью противоречил нашему первоначальному замыслу (OpenAI, 2017).

Этот пример интересен, но если подобное произойдет в критически важных областях, последствия будут непредсказуемыми. Представьте себе ИИ, отвечающий за электросеть, цель которого — «свести к минимуму количество отключений электроэнергии». Когда в каком-то районе требуется профилактическое обслуживание (что приведет к запланированному кратковременному отключению), ИИ, стремясь оптимизировать ключевые показатели эффективности (KPI), может принять решение отложить обслуживание, тем самым значительно увеличив риск масштабных отключений электроэнергии в будущем. Еще один пример — автомобиль с автономным управлением, основная цель которого — «избежать столкновений». Столкнувшись с этической дилеммой «сбить пешехода или врезаться в препятствие», если в базе правил нет четких указаний, он может просто «зависнуть» или принять совершенно случайное решение, противоречащее человеческим этическим нормам.

Эволюция риска несоответствия: от «ИИ как инструмента» к «ИИ как агенту»

Когда ИИ эволюционирует от простого «инструмента» к автономному «агенту», опасность «несоответствия» резко возрастает. Влияние предвзятого программного обеспечения для распознавания изображений относительно ограничено и может быть исправлено. Однако решения ИИ-«агента», ответственного за набор персонала или управление городским транспортом, напрямую влияют на распределение ресурсов и общественную безопасность. Как только его внутренняя система ценностей «не совпадает» с доминирующими ценностями общества, он может систематически и в широких масштабах воспроизводить и усугублять социальную несправедливость.

Типичным примером является инструмент искусственного интеллекта для подбора персонала компании Amazon. Он был обучен на данных резюме за последние десять лет, которые сами по себе содержали предвзятость, характерную для технологической отрасли, где преобладают мужчины. В результате ИИ «научился» дискриминировать женщин, снижая оценку любого резюме, в котором встречалось слово «женщина» (Dastin, 2018). Несмотря на усилия инженеров по исправлению ситуации, в конечном итоге проект был закрыт из-за невозможности гарантировать справедливость. Этот случай наглядно демонстрирует, что даже если мы стремимся к справедливости, предвзятость, заложенная в исторических данных, будет «обесцвечена» и «закреплена» ИИ, создавая будущее, которое на первый взгляд кажется объективным, но на самом деле полно дискриминации.

Ещё более опасно то, что когда ИИ обретает способность к долгосрочному планированию и самосовершенствованию, это «несоответствие» может перерасти в «стремление к власти» (Power-seeking). Достаточно умный ИИ осознает, что для достижения любой долгосрочной цели (будь то излечение рака или максимизация прибыли) получение дополнительных ресурсов и предотвращение своего отключения являются необходимыми «инструментальными» подцелями. Такое стремление к власти проистекает не из зла, а из чисто логических выводов. Однако ИИ, постоянно стремящийся к расширению своего влияния и автономии, явно «не соответствует» нашему намерению сохранить за собой окончательный контроль. В этом и заключается ключевая проблема исследований в области безопасности ИИ — «проблема контроля»: как мы можем гарантировать, что наше творение, умнее нас, будет всегда подчиняться нам?

«Несоответствие» — это структурный вызов, обусловленный внутренней сложностью технологии. Оно подсказывает нам, что создание полезного ИИ — это не только инженерная задача, но и глубокий философский и этический вопрос. Сможем ли мы точно определить, что такое «хорошо»? Сможем ли мы «перевести» наши сложные ценности на язык машин? Сможем ли мы, наделяя ИИ огромными способностями, одновременно наложить на него «узду», которая никогда не ослабнет? На эти вопросы нет простых ответов. Чтобы смягчить последствия «несоответствия», с технической точки зрения нам нужны более объяснимые и устойчивые архитектуры ИИ; с точки зрения управления — строгий аудит алгоритмов, оценка воздействия и этическая экспертиза. Мы должны признать ограниченность своих возможностей и с скромностью и осторожностью направлять этого «гиганта» — ИИ — в сторону, которая действительно соответствует благополучию человечества.

3. Системность: разница в скорости усиливает цепную реакцию, приводящую к макроэкономической нестабильности

Если «неправильное использование» — это преднамеренная атака, а «несоответствие» — недостаток проектирования, то «системный» (Systemic) риск — это нелинейный и труднопредсказуемый риск, возникающий на макроуровне после глубокой интеграции ИИ в ключевую инфраструктуру общества. Источник риска заключается не в проблемах конкретного ИИ или отдельного человека, а в сложных и высокоскоростных взаимодействиях между множеством систем ИИ, а также между ИИ и человеческим обществом. Его основными характеристиками являются разница в скоростях и цепная реакция: их совместное действие способно в мгновение ока превратить незначительное локальное возмущение в глобальную катастрофу.

Все системы человеческого общества — финансовая система, энергосистема, транспорт, цепочки поставок — по сути являются сложными саморегулирующимися системами. На протяжении долгой истории они развили набор механизмов обратной связи, основанных на скорости реакции и когнитивных способностях человека. Однако сейчас мы ввели в них ИИ, скорость принятия решений и выполнения действий которого в миллионы раз превышает человеческую, что полностью нарушило существовавшее ранее динамическое равновесие. Между «машинным временем» ИИ (в миллисекундах) и «физиологическим временем» человека (в секундах или минутах) образовался огромный «разрыв в скорости», из-за чего мы во многих случаях полностью утратили возможность понимать, вмешиваться и контролировать развитие систем.

Разрыв в скорости: когда мир движется быстрее, чем мы способны понять

«Молниеносный обвал» (Flash Crash) 6 мая 2010 года является хрестоматийным примером риска, связанного с «разницей в скорости». За несколько минут индекс Доу-Джонса обвалился почти на 1000 пунктов, рыночная капитализация в размере триллиона долларов испарилась, а затем рынок быстро восстановился. Последующее расследование показало, что спусковым механизмом послужила всего лишь массовая распродажа фьючерсных контрактов одним фондом с использованием алгоритма в течение короткого промежутка времени. Это действие было зафиксировано другими алгоритмами высокочастотной торговли (HFT) на рынке, которые были запрограммированы на автоматическое повторение распродажи. Так началась лавина. Один алгоритмический ордер на продажу спровоцировал тысячи и тысячи других алгоритмических ордеров на продажу, сформировав смертоносную самоусиливающуюся петлю положительной обратной связи. Весь процесс произошел за доли миллисекунд; трейдеры-люди просто не успели среагировать и могли только беспомощно наблюдать, как индекс стремительно падал, пока ситуация не успокоилась благодаря срабатыванию механизма «предохранительных выключателей» биржи (CFTC, 2010).

«Молниеносный обвал» наглядно продемонстрировал разрушительную силу «разницы в скорости». Здесь нет ни одного «плохого» алгоритма — напротив, каждый из них эффективно преследует свои обоснованные цели: «устранение риска» или «арбитраж». Но когда эти «рациональные» алгоритмы, работающие со скоростью света, сталкиваются на одном рынке, они совместно порождают макроуровневую, губительную «иррациональность». Люди оказались полностью вытеснены из цикла принятия решений (Out-of-the-Loop) и превратились в пассивных наблюдателей за системой, которую они сами создали. По мере все более глубокого внедрения ИИ в финансовую сферу риск возникновения более масштабных системных финансовых кризисов, вызванных ИИ, растёт с каждым днём.

Риск «разницы в скоростях» существует и в других областях. Представьте себе интеллектуальную энергосистему национального масштаба, управляемую ИИ. В нормальных условиях она способна значительно оптимизировать энергоэффективность. Но если одна из электростанций неожиданно выйдет из строя, ИИ, стремясь быстро сбалансировать сеть, начнёт с высокой скоростью и в больших объёмах перекачивать электроэнергию из других регионов. Это может мгновенно перегрузить энергосистемы соседних регионов, запустить защитные механизмы и привести к их отключению от сети. Таким образом, локальный дефицит электроэнергии за считанные секунды, подобно домино, распространяется, превращаясь в масштабное отключение электроэнергии, прежде чем инженеры смогут диагностировать проблему и вмешаться.

Цепная реакция: когда риск выходит за пределы системы

Еще одной ключевой особенностью системного риска является «цепная реакция»: сбой в одной системе через различные связи передается в другие, казалось бы, не связанные с ней системы, вызывая вторичные бедствия. ИИ создает беспрецедентно тесную взаимосвязь между различными подсистемами нашего общества, что делает пути цепной реакции короче, скорость — выше, а масштаб — шире.

Типичным примером является применение ИИ в современном управлении цепочками поставок. Крупные ритейлеры и производители используют ИИ для прогнозирования спроса и управления запасами, реализуя принципы «производства по требованию» и «нулевых запасов». В обычных условиях это значительно повышает эффективность, но также делает всю систему чрезвычайно «уязвимой» и «тесно взаимосвязанной». Малейшее сбои в любом звене цепочки — например, несколько часов простоя системы диспетчеризации на базе ИИ в одном из портов — могут привести к скоплению грузов. Эта информация с высокой скоростью передается производителям, расположенным выше по цепочке, чей ИИ может ошибочно интерпретировать ситуацию как снижение спроса и сократить производство. В то же время из-за нехватки товаров у розничных продавцов, расположенных ниже по цепочке, их ИИ может отреагировать чрезмерно, разместив большое количество срочных заказов, что вызовет ещё более масштабное несоответствие спроса и предложения и колебания цен. Локальное нарушение логистики в конечном итоге может перерасти в глобальный «эффект хлыста» (Bullwhip Effect).

В военной сфере цепная реакция может оказаться ещё более разрушительной. Современные вооружённые силы в значительной степени полагаются на сеть «Объединённого всеобъемлющего командования и управления» (JADC2), которая с помощью ИИ объединяет все боевые подразделения в единую интеллектуальную «цепочку поражения» для обеспечения «превосходства в принятии решений». Однако такая крайняя степень взаимосвязанности создаёт и крайнюю уязвимость. Атака на любой узел сети может привести к тому, что ИИ быстро заразит данными всю систему, введет в заблуждение относительно обстановки на поле боя и даже вызовет выдачу ошибочных приказов о вступлении в бой. Ложный сигнал радара может быть расценен ИИ как приближающаяся ракета и привести к автоматическому запуску системы противоракетной обороны; а запуск этой системы, в свою очередь, может быть интерпретирован системой мониторинга ИИ другой страны как подготовка к нападению, что приведет к переходу этой страны в состояние повышенной боевой готовности. Мировая война, вызванная ошибочной оценкой алгоритмов, постоянно эскалирующая и которую никто не сможет остановить, больше не является научной фантастикой.

Выявление системных рисков и связанные с ними вызовы

По сравнению с «неправильным использованием» и «несоответствием» системные риски наиболее сложны для выявления и управления. Это связано с тем, что они не относятся к какому-либо отдельному компоненту, а «возникают» из динамического взаимодействия системы в целом. Аудит отдельных моделей ИИ совершенно бесполезен, а традиционные методы оценки рисков практически неэффективны.

Для выявления системных рисков необходим совершенно новый, макроуровневый и междисциплинарный подход. Мы должны рассматривать критически важную инфраструктуру как «социально-техническую систему», состоящую из людей и ИИ, составить «карту рисков» этой системы и выявить наиболее важные «узлы» и «связи», способные вызвать цепную реакцию. Для этого нам необходимо: