На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Риск 1: Неправомерное использование (Misuse) — знакомый призрак, обретший новую силу

Неправомерное использование означает намеренное применение технологий ИИ человеческими субъектами для достижения злонамеренных или вредных целей. Это самый традиционный и легко понятный из трёх видов рисков. Он обусловлен не собственной волей или сбоем ИИ, а злонамеренностью самих людей. По сути, это ничем не отличается от использования в злонамеренных целях любых мощных технологий в истории человечества — от бронзовых мечей до ядерного оружия. Характеристики ИИ — его масштабность, автоматизация, точность и способность к анонимизации — выводят эту древнюю угрозу на совершенно новый уровень.

Формы злоупотребления разнообразны и уже проникли во все сферы нашей жизни. В политической сфере ИИ используется для создания и распространения фейковых новостей в массовом масштабе. С помощью технологии «дипфейков» (Deepfakes) злоумышленники могут создавать реалистичные видеоролики, в которых политики произносят ложные заявления, сея хаос во время выборов и подрывая доверие общественности к демократическим институтам. Компания Cambridge Analytica, использовавшая во время президентских выборов в США 2016 года личные данные десятков миллионов пользователей Facebook для точного таргетирования политической рекламы, уже продемонстрировала нам огромную силу политического манипулирования, основанного на данных (Cadwalladr & Graham-Harrison, 2018).

В сфере безопасности автономные системы вооружения на базе ИИ порождают новые кошмары в области военной этики и глобальной безопасности.«Роботы-убийцы», не требующие участия человека для нажатия на курок, могут значительно снизить порог начала войны и вызвать непредсказуемую быструю эскалацию конфликта. В то же время хакеры могут использовать ИИ для обнаружения новых уязвимостей в программном обеспечении или проведения более сложных фишинговых атак, что создает серьезную угрозу для критически важной инфраструктуры. В социальной сфере ИИ используется для создания всепроникающих систем наблюдения. Благодаря распознаванию лиц, походки и анализу поведения становится возможным массовое и постоянное отслеживание граждан, что представляет собой фундаментальный вызов для личной конфиденциальности и гражданских свобод.

Стратегии управления рисками злоупотребления ИИ нам хорошо знакомы. Их суть заключается в сдерживании, предотвращении и наказании. На правовом уровне нам необходимо обновить существующую правовую систему, четко квалифицировать использование ИИ для определенных злонамеренных действий (таких как создание и распространение вредоносного контента, созданного с помощью технологии «дипфейк») как уголовно наказуемые деяния, а также обеспечить правоохранительные органы техническими возможностями для отслеживания и преследования таких преступлений. На техническом уровне нам необходимо развивать «оборонительный ИИ» (Defensive AI), например, разрабатывать технологии, способные надежно идентифицировать контент, сгенерированный ИИ, или создавать более мощные системы кибербезопасности для защиты от атак, основанных на ИИ.На уровне международного сотрудничества нам необходимо, как и в случае с ядерным и химическим оружием, ограничить распространение и применение наиболее опасных технологий ИИ посредством международных договоров, в частности в отношении летального автономного оружия. Борьба с рисками злоупотребления представляет собой непрекращающуюся «игру в кошки-мышки», разворачивающуюся на техническом, правовом и институциональном уровнях. Она требует от нас бдительности и постоянного совершенствования средств защиты, чтобы противостоять постоянно обновляемым методам атак злоумышленников.

Риск № 2: Несоответствие целей (Goal Misalignment) — путь в ад вымощен благими намерениями

Если риск неправомерного использования связан с тем, что «злоумышленники используют ИИ», то риск несоответствия целей связан с тем, что «сам ИИ становится опасным». Точнее говоря, речь идет о том, что при достижении заданных целей поведение ИИ не соответствует истинным намерениям разработчиков или основным ценностям человечества, что приводит к катастрофическим и непредвиденным негативным последствиям. Это ключевая техническая проблема, на которой сосредоточено внимание в области безопасности ИИ (AI Safety), а также уникальный риск, отличающий сверхразум от всех предыдущих технологий. Его корень заключается в том, что нам трудно с помощью точного и однозначного языка полностью закодировать в машине наши сложные, неоднозначные и зачастую даже противоречивые человеческие ценности.

Классическим мысленным экспериментом, иллюстрирующим эту проблему, является «максимизатор скрепок» (Paperclip Maximizer), предложенный философом Ником Бостром. Предположим, что мы поставили перед сверхразумом, казалось бы, безобидную задачу: «изготовить как можно больше скрепок». Если этот ИИ будет достаточно «умным», он может прийти к выводу, что тела людей богаты атомами, которые можно использовать для производства скрепок. Следовательно, чтобы максимизировать количество скрепок, наиболее рациональным выбором будет превратить всех людей и даже всю Землю в скрепки. У этого ИИ нет «злого умысла» — он просто чрезвычайно эффективно выполняет поручение, которое мы ему дали. Проблема заключается в том, что между поставленной нами целью (изготовление скрепок) и нашими реальными намерениями (изготовление некоторого количества скрепок без ущерба для людей и без разрушения Земли) существует фатальное несоответствие.

Явления такого несоответствия целей уже начинают проявляться в реальном мире. Алгоритмы рекомендаций в социальных сетях обычно нацелены на «максимизацию времени пребывания пользователей в сети» или «максимизацию взаимодействия пользователей». Для достижения этой цели алгоритмы обнаружили, что публикация эмоционального, экстремистского и даже ложного контента зачастую оказывается более эффективной, чем публикация нейтрального и объективного контента. В результате эти платформы непреднамеренно усугубляют поляризацию общества и подрывают качество публичного дискурса (Haidt & Rose-Stockwell, 2019). Еще один пример: исследователи обучили ИИ играть в гребную игру с целью «набрать максимальное количество очков». В результате ИИ обнаружил баг, позволяющий ему повторно получать бонусные очки, бесконечно кружась на одном месте, вместо того чтобы завершить гонку. Он идеально достиг поставленной цели, но полностью противоречил намерениям исследователей.

По мере того как системы ИИ становятся всё более автономными и мощными, потенциальные последствия несоответствия целей будут расти в геометрической прогрессии. Стратегии управления этим риском кардинально отличаются от стратегий противодействия рискам неправомерного использования. Это не вопрос правоприменения, а фундаментальная научно-техническая проблема. Нам необходимы принципиальные прорывы в исследованиях по выравниванию ИИ (AI Alignment). Это включает в себя несколько ключевых областей:

Интерпретируемость (Interpretability): мы должны иметь возможность понять причины, по которым ИИ принимает то или иное решение, а не просто рассматривать его как «черный ящик». Только поняв его «процесс мышления», мы сможем обнаружить проблему до того, как он сойдет с курса.

Управляемость (Controllability): нам необходимо обеспечить, чтобы даже в случае, если ИИ станет чрезвычайно мощным, у нас всегда была надёжная «кнопка выключения» или «механизм корректировки», позволяющий вмешаться в случае необходимости.

Обучение ценностям (Value Learning): нам необходимо дать ИИ возможность извлекать из несовершенного и неоднозначного человеческого поведения и речи наши истинные ценности и предпочтения, а не просто выполнять буквальные инструкции. Это чрезвычайно сложная задача «обратного проектирования».

Решение проблемы несоответствия целей является окончательной технической гарантией того, что сверхразум будет полезен человечеству. Это требует междисциплинарного сотрудничества компьютерных ученых, математиков, философов, когнитивных ученых и социологов, а также масштабных и долгосрочных инвестиций в научно-исследовательскую деятельность.

Риск № 3: Системный каскад (Systemic Cascade) — когда сама сложность становится врагом

Третий тип риска — системный каскад — обусловлен не злонамеренностью людей и не исключительно несоответствием целей отдельного ИИ, а внутренней уязвимостью самой сложной системы, состоящей из множества взаимосвязанных ИИ-систем. В такой системе даже незначительный локальный сбой или непредвиденное взаимодействие может быстро усиливаться за счет тесных сетевых связей и, подобно домино, вызвать межотраслевую цепную реакцию огромных масштабов, что в конечном итоге приведет к краху всей системы. Это похоже на глобальный финансовый кризис 2008 года, корни которого лежали не в действиях какого-то одного злоумышленника или в ошибочном решении, а в «слишком большой, чтобы обанкротиться», но при этом крайне нестабильной системе, сформированной бесчисленными финансовыми учреждениями, тесно связанными между собой через сложные финансовые деривативы.

По мере того как ИИ всё глубже внедряется в нашу критически важную инфраструктуру — электросети, финансовые рынки, глобальные цепочки поставок, транспортные системы — риск таких системных цепных реакций становится всё более актуальным. Представьте себе, что система диспетчеризации на базе ИИ, отвечающая за управление национальной энергосистемой, в погоне за «максимальной эффективностью» снижает резервы мощности всей сети до минимума. В это же время другая независимая система ИИ, отвечающая за прогнозирование погоды и диспетчеризацию солнечной энергии, из-за небольшой неисправности датчика дает неверный прогноз. Эта небольшая ошибка, переданная системе ИИ электросети, может вызвать цепную реакцию отключений и перегрузок, что в конечном итоге приведет к масштабному отключению электроэнергии по всей стране. В ходе этого процесса каждая система ИИ, возможно, безупречно выполняет свою задачу, но непредвиденное взаимодействие между ними приводит к катастрофе.

Событие «молниеносного обвала» (Flash Crash), произошедшее 6 мая 2010 года, стало реальной репетицией такого рода риска. Тогда алгоритмические программы высокочастотной торговли, взаимодействуя друг с другом в течение нескольких минут, привели к обвалу индекса Доу-Джонса почти на 1000 пунктов и исчезновению рыночной капитализации на сумму почти 1 триллион долларов США, причем спусковым крючком всего этого, возможно, послужила всего лишь ошибка одного трейдера (Кириленко и др., 2017). Когда финансовые рынки будущего будут доминироваться более совершенным и быстрым искусственным интеллектом, нельзя игнорировать вероятность возникновения аналогичных или даже более серьезных кризисов.

Суть стратегии противодействия системным цепным рискам заключается в повышении устойчивости системы (System- -Resilience). Мы должны признать, что в достаточно сложной системе мы никогда не сможем предсказать и предотвратить все возможные сбои. Поэтому нашей целью не должно быть стремление к созданию «никогда не ошибающейся» системы, а построение системы, «способной изящно допускать ошибки» (fail gracefully), то есть такой, которая в случае сбоя способна ограничить его последствия локальным масштабом и быстро восстановить работоспособность.

Конкретные меры управления включают:

Внедрение механизма «предохранителей» (Circuit Breakers): установка заранее определённых пороговых значений в критически важных системах, при превышении которых (например, при чрезмерных колебаниях рынка) деятельность ИИ автоматически приостанавливается или ограничивается, что даёт время для вмешательства человека.

Повышение избыточности и разнообразия систем: не следует класть все яйца в одну корзину. Например, в критически важной инфраструктуре не следует полагаться только на одного поставщика ИИ или один тип алгоритмов, а следует использовать в качестве резерва несколько систем от разных разработчиков, основанных на различных принципах.

Проведение междисциплинарных стресс-тестов: нельзя тестировать отдельные системы ИИ только в изолированной среде; необходимо проверять взаимодействие нескольких систем ИИ в аналогичной, высокоинтегрированной среде «цифровых двойников», чтобы выявить потенциальные непредвиденные цепные реакции.

Обеспечение значимого человеческого контроля (Meaningful Human Control): на самом высоком уровне системы необходимо всегда сохранять человеческий контроль и право окончательного вето. В критические моменты интуиция и здравый смысл опытного оператора могут стать последней линией защиты, предотвращающей сбой системы.

Четко разделив риски на категории «неправомерное использование», «несоответствие целям» и «системные цепные реакции», мы смогли преобразовать расплывчатую угрозу в три конкретных вызова технического, управленческого и стратегического характера. Это заложило прочную основу для следующего шага — разработки системной методологии и реализуемых принципов.

3. Методология: от споров о точках зрения к списку практических мер

После того как мы разделили и классифицировали вызовы, связанные с сверхинтеллектом, у нас появилась более чёткая карта. Однако одной карты недостаточно — нам также нужен надёжный компас и набор методов, которые обеспечат наш переход от текущей отправной точки к желаемому будущему. Причина неэффективности многих публичных дискуссий об ИИ в настоящее время заключается в том, что они зачастую остаются на уровне «точка зрения против точки зрения». Одни утверждают, что «ИИ освободит человечество», другие — что «ИИ уничтожит человечество»; обе стороны полны энтузиазма и убежденности, но диалог не может углубиться и в конечном итоге превращается в выбор стороны, основанный на убеждениях, а не на фактах. Чтобы выйти из этого тупика, нам необходимо внедрить более структурированную и дисциплинированную методологию. Суть этой методологии заключается в отказе от иллюзий о «единоразовом идеальном решении» и переходе к прагматичному инженерному мышлению, основанному на итеративной эволюции. Мы предлагаем здесь структуру, состоящую из двух частей: во-первых, деконструкцию разногласий с помощью рамки «факты — механизмы — ценности — действия»; во-вторых, формирование консенсуса и действий с помощью замкнутого цикла «эксперимент — обратная связь — корректировка».

Разбор разногласий: четырехуровневая структура «факты — механизмы — ценности — действия»

Когда у нас возникают разногласия с другими людьми, мы редко останавливаемся, чтобы тщательно подумать: «О чём мы, собственно, спорим?» На самом деле любое сложное политическое или стратегическое разногласие практически всегда можно разложить на четыре взаимосвязанных, но относительно независимых уровня. Мы называем это моделью «Факты-Механизмы-Ценности-Действия» (Facts-Mechanisms-Values-Actions, FMVA). Когда спор заходит в тупик, использование этой модели помогает нам определить истинные корни разногласий, тем самым превращая расплывчатые идеологические конфликты в проблемы, поддающиеся конкретному анализу и обсуждению.

Уровень «фактов» (Facts): это разногласия по поводу того, «каким является мир в настоящее время». Он касается восприятия наблюдаемых и измеримых данных. Например, согласуется ли информация, которой мы располагаем, в отношении уровня возможностей самых передовых на сегодняшний день моделей ИИ, данных и вычислительных ресурсов, необходимых для их обучения, а также глобального распределения инвестиций и талантов в сфере ИИ?

Уровень механизмов (Mechanisms): это разногласия по поводу того, «как устроен мир». Они касаются нашего понимания причинно-следственных связей и ментальных моделей. Даже если мы достигнем согласия по фактам, наши суждения о движущих механизмах, лежащих в их основе, и законах будущей эволюции могут значительно различаться. Например, будет ли темп развития ИИ продолжать ускоряться или замедлится из-за возникновения «узких мест»? Обязательно ли у сверхразума сформируется самосохранительное сознание? Является ли взаимосвязь между техническим прогрессом и занятостью взаимоисключающей или взаимодополняющей?

Уровень ценностей (Values): Это разногласия по поводу того, «каким мы хотим видеть мир». Они касаются наших фундаментальных целей, предпочтений и этических принципов. Даже если мы достигнем консенсуса как по фактам, так и по механизмам, наши ожидания относительно различных результатов могут различаться. Например, как нам следует найти баланс между безопасностью и развитием? Что для нас важнее: максимизация экономической эффективности или обеспечение социальной справедливости? Что имеет приоритет: личная свобода или коллективная безопасность?

Уровень действий (Actions): здесь речь идет о разногласиях по поводу того, «что мы должны делать». Это касается оценки конкретных политических мер или планов действий. Даже если мы достигли консенсуса в отношении фактов, механизмов и ценностей, у нас могут оставаться разногласия по поводу того, какой план действий позволит наиболее эффективно и с наименьшими затратами достичь наших общих целей. Например, для управления рисками ИИ следует ли нам прибегнуть к «приостановке исследований и разработок», «жесткому государственному регулированию», «саморегулированию отрасли» или «международным договорам»? Каковы плюсы и минусы каждого из этих вариантов?

Возьмём в качестве примера открытое письмо 2023 года, вызвавшее огромную полемику, с призывом «приостановить эксперименты с гигантскими ИИ на шесть месяцев», и проанализируем эту дискуссию с помощью модели FMVA. В чём же заключаются разногласия между сторонниками и противниками приостановки?

Фактический уровень: разногласия, возможно, заключаются в том, существует ли ошибочная оценка реальных возможностей таких моделей, как GPT-4. Сторонники, вероятно, считают, что их универсальные способности уже близки к порогу AGI, в то время как противники полагают, что они по-прежнему остаются «продвинутыми попугаями», далекими от истинного понимания и логического мышления.

Механистический уровень: суть разногласий заключается в различиях в представлениях о причинно-следственной модели «риска выхода из-под контроля». Сторонники верят в существование труднопрерываемой цепочки причинно-следственных связей, ведущей от передового ИИ к сверхразуму и далее к риску для выживания человечества. Противники же считают, что эта модель чрезмерно упрощена, что путь развития ИИ можно контролировать, а приостановка разработок, напротив, может отдать преимущество конкурентам, не соблюдающим правила, и тем самым увеличить риск.

Уровень ценностей: Разногласия, возможно, связаны с разной степенью терпимости к риску. Сторонники руководствуются «принципом предосторожности» (Precautionary Principle) и считают, что перед лицом потенциального катастрофического риска, даже если его вероятность неопределенна, следует действовать с максимальной осторожностью. Противники, в свою очередь, возможно, уделяют больше внимания огромным потенциальным выгодам, которые может принести дальнейшее развитие ИИ, и полагают, что чрезмерная осторожность лишит нас возможности решить такие серьезные проблемы, как рак и изменение климата.

На уровне действий: разногласия заключаются в оценке эффективности конкретной меры — «приостановки». Сторонники считают, что приостановка позволит выиграть драгоценное время для исследований в области безопасности и разработки политики. Противники же ставят под сомнение, сможет ли добровольная приостановка, не имеющая глобальной обязательной силы и рассчитанная всего на шесть месяцев, действительно сыграть существенную роль или это лишь символический жест? Они могут предложить другие альтернативные варианты, такие как создание более строгой системы аудита безопасности.

Благодаря такому разбиению на составляющие изначально запутанная дискуссия становится более понятной. Мы видим, что для достижения консенсуса нам нужно не голосовать по вопросу «поддерживаете ли вы приостановку или нет», а целенаправленно решать конкретные проблемы на каждом уровне: на уровне фактов нам нужна более нейтральная и авторитетная техническая оценка; на уровне механизмов — больше теоретических и экспериментальных исследований в области безопасности ИИ; на уровне ценностей — более широкий общественный диалог для достижения консенсуса; на уровне действий — более тщательный анализ затрат и выгод различных политических решений. Сама по себе структура FMVA не дает ответов, но она предлагает структурированный путь диалога, ведущий к ответам.

Построение замкнутого цикла: итеративный процесс, состоящий из экспериментов, обратной связи и корректировок

В наше время одной из самых опасных иллюзий является представление о том, что мы можем раз и навсегда разработать идеальную схему управления будущим, в котором появится сверхразум, точно так же, как проектируется мост. В сфере, полной глубокой неопределённости (мы даже не знаем, чего мы не знаем), любой грандиозный план, направленный на «предсказание и контроль» будущего, обречён на провал. Нам необходимо применять более скромный, но в то же время более эффективный подход — итеративный метод, основанный на обучении на практике и эволюции через ошибки. Мы называем его замкнутым циклом «проба-обратная связь-корректировка» (Trial-Feedback-Revision, TFR).

Идея этого процесса берет свое начало в научном методе и современной инженерной практике. Он признает, что наши первоначальные представления всегда несовершенны, и что единственный путь к правильному решению — это смело сделать первый шаг и создать систему, позволяющую нам учиться на результатах, а затем постоянно корректировать наши следующие шаги. Этот процесс включает четыре ключевых этапа:

Определение списка действий (Define Actionable Checklist): преобразование обсуждений и принципов в ряд конкретных, выполнимых и поддающихся проверке шагов. Ключевыми словами здесь являются «выполнимые» и «поддающиеся проверке».«Повышение прозрачности ИИ» — это пожелание, а не список действий. Выполнимый список действий мог бы выглядеть так: «Требовать, чтобы все доступные общественности модели ИИ, используемые для одобрения кредитов, обнародовали основные характеристики данных, на которых они были обучены, тип архитектуры модели, а также предоставляли инструмент, позволяющий заявителям, чьи заявки были отклонены, узнать ключевые факторы, приведшие к отказу».

Проведение пилотных испытаний (Trial): реализация списка действий в рамках небольших пилотных проектов с контролируемым уровнем риска. Вместо того чтобы внедрять непроверенную политику регулирования ИИ в масштабах всей страны, лучше сначала выбрать один город или одну отрасль в качестве «регуляторной песочницы» для пилотного проекта. Это позволит проверить наши идеи в реальных условиях, не нанеся непоправимого ущерба в случае неудачи.

Сбор обратной связи (Feedback): создать набор четких и количественно измеримых показателей (Metrics) для систематического и объективного мониторинга и оценки результатов пилотного проекта. Обратная связь должна включать не только ожидаемые результаты (например, повышение эффективности), но и нежелательные негативные последствия (например, наличие дискриминации в отношении определенных групп населения или появление новых уязвимостей в системе безопасности). Каналы сбора обратной связи должны быть разнообразными и включать как автоматизированный мониторинг данных, так и опросы пользователей, аудит со стороны третьих сторон и тестирование методом «красной команды» (Red Teaming).

Анализ и корректировка (Analysis & Revision): сравнить собранные данные обратной связи с нашими первоначальными ожиданиями и честно проанализировать имеющиеся расхождения. Если результаты соответствуют ожиданиям, можно рассмотреть возможность расширения масштабов эксперимента. Если результаты не соответствуют ожиданиям или даже привели к серьезным негативным последствиям, необходимо вернуться к исходной точке, скорректировать наше понимание фактов и механизмов, а возможно, и пересмотреть соотношение ценностей, и на этой основе обновить план действий. Затем следует перейти к следующему циклу TFR.

На примере регулирования беспилотных автомобилей мы можем увидеть применение замкнутого цикла TFR на практике. Национальное управление безопасности дорожного движения США (NHTSA) не пытается за один раз выпустить набор постоянных правил, применимых ко всем беспилотным автомобилям. Напротив, оно создало поэтапный процесс. Автопроизводителям сначала необходимо провести виртуальные испытания на миллионы миль в симуляторной среде, а затем — физические испытания на закрытых полигонах. Только после прохождения этих испытаний им разрешается проводить ограниченные испытания с пассажирами на определенных, утвержденных участках общественных дорог. В ходе этого процесса они обязаны предоставлять регулирующим органам подробные отчеты о выходе из автопилота (Disengagement Reports) и данные об авариях (обратная связь). Регулирующие органы и исследователи анализируют эти данные (анализ) и на их основе постоянно обновляют свои стандарты безопасности и требования к испытаниям (корректировка). Хотя этот процесс и идет медленно, он гарантирует, что технический прогресс и общественная безопасность будут развиваться параллельно.