На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Мы сосредоточимся на решении поверхностных проблем, таких как предвзятость алгоритмов или краткосрочная безработица, упуская из виду более глубокие процессы перераспределения власти и структурные риски, лежащие в их основе. Только рассматривая как структурную силу, мы сможем проактивно и дальновидно формировать траекторию её развития, приводя её в соответствие с долгосрочными интересами человечества. Как применять: Правительству необходимо создать межведомственный стратегический комитет высокого уровня, специально отвечающий за оценку системных последствий сверхразума и принятие соответствующих мер. Предприятия, стремясь к достижению технологических и коммерческих целей, должны создать независимые комитеты по этике и управлению для оценки долгосрочного воздействия своих продуктов и услуг на социальную структуру. Академическое сообщество и гражданское общество, в свою очередь, должны инициировать широкую общественную дискуссию, чтобы повысить уровень осведомленности всего общества об этой проблеме.

Принцип 2: Уделять приоритетное внимание оценке его влияния на власть и распределение ресурсов (Prioritize Assessing Its Impact on Power and Distribution)

Изложение принципов: При оценке новой технологии искусственного интеллекта мы не должны задавать только вопрос «Насколько она повысит эффективность?», а должны в первую очередь спросить: «Как она изменит баланс сил?» и «Как она повлияет на распределение богатства и возможностей?». Это требует от нас поставить анализ власти и справедливость распределения в центр управления искусственным интеллектом. Почему это важно: История развития технологий неоднократно доказывала, что огромный рост эффективности, если он не сопровождается механизмами справедливого распределения и эффективным сдерживанием и противовесом власти, в конечном итоге приводит лишь к усугублению неравенства и социальным потрясениям.

Игнорирование вопросов власти и распределения равносильно заложению в обществе «бомбы замедленного действия». Как применять: Любой крупный проект или политическая мера в области ИИ должны проходить «оценку воздействия на власть и распределение» (Power and Distribution Impact Assessment). Такая оценка должна проводиться независимой сторонней организацией и обнародоваться. Результаты оценки должны служить ключевым основанием для утверждения проектов или разработки политики. Кроме того, следует изучить возможность введения таких механизмов, как «налог на ИИ» или «дивиденды от данных», чтобы часть доходов, полученных от развития ИИ, направлялась на поддержку групп населения и сообществ, подвергшихся негативному воздействию.

Принцип 3: Одновременная оценка эффектов первого порядка и каскадных эффектов второго порядка (Assess First-Order Effects and Second-Order Cascading Effects Simultaneously)

Формулировка принципа: Эффекты первого порядка — это прямые и предсказуемые результаты применения технологии, например, автоматизация повышает производительность. Эффекты второго порядка — это цепные реакции, вызванные этими прямыми результатами, например, повышение производительности приводит к монополизации отрасли, а монополизация, в свою очередь, ведет к концентрации политического влияния. Этот принцип требует, чтобы при принятии решений мы обязательно связывали эти два вида эффектов и проводили их комплексную оценку. Почему это важно: Недальновидность человеческих решений зачастую обусловлена игнорированием вторичных эффектов.

Мы часто поддаемся соблазну краткосрочной выгоды от первичных эффектов, упуская из виду долгосрочные системные риски, которые они могут вызвать. В случае таких технологий с далеко идущими последствиями, как сверхразум, такая недальновидность может оказаться фатальной. Как применять: Использовать методы системно-динамического моделирования, сценарного анализа и т. д. для моделирования и прогнозирования потенциальных цепных эффектов применения ИИ. Создать механизм «Red Teaming» (упражнения «красной команды»), специально предназначенный для выявления и оценки потенциальных негативных цепных реакций с противостоятельной точки зрения. Лица, принимающие решения, должны быть полностью готовы к возможному «наихудшему сценарию» и разработать соответствующие планы действий.

Принцип 4: Предполагать, что в долгосрочной перспективе скорость распространения будет превышать скорость институционального реагирования (Assume Diffusion Speed Will Outpace Institutional Response Speed in the Long Run)

Изложение принципа: Скорость распространения технологий, особенно цифровых, носит экспоненциальный характер. В то же время скорость эволюции социальных институтов (законов, нормативных актов, этических норм) является линейной и постепенной. Мы должны принять такой фундаментальный факт: реакция институтов всегда будет отставать от развития технологий. Мы не можем рассчитывать на то, что проблемы будут решены с помощью законодательства уже после их появления. Почему это важно: Такое несоответствие в темпах означает, что модель «сначала развитие, потом регулирование» не работает.

К моменту, когда мы замечаем проблему, технологии, возможно, уже глубоко внедрились в социальную структуру, и изменить ситуацию будет сложно. Это требует от нас применения более адаптивного и устойчивого подхода к регулированию. Как применять: Перейти от «жесткого права» (Hard Law, например, конкретные положения законов) к «мягкому праву» (Soft Law, например, отраслевые стандарты, передовые практики, этические нормы) и «коду как закону» (Code as Law, то есть непосредственное встраивание правил управления в техническую архитектуру). Стимулировать разработку «управляемого ИИ» (Governable AI), то есть встраивать на этапе проектирования технологии механизмы, обеспечивающие безопасность, прозрачность, возможность аудита и вмешательства. Создать «регуляторную песочницу» (Regulatory Sandbox), позволяющую тестировать новые приложения ИИ и соответствующие правила регулирования в контролируемой среде.

Принцип 5: Определение безопасности через границы (Define Safety by Boundaries)

Изложение принципа: В случае сложной системы, которую мы не можем полностью понять, невозможно точно определить и контролировать все её поведения. Более эффективный подход заключается в установлении чётких, непреодолимых «границ». Пока поведение системы не затрагивает эти границы, мы можем позволить ей автономно функционировать в их пределах. Эти границы могут быть как этического характера (например, «не причинять вреда людям»), так и технического (например, «не допускать доступа к сетям определённых объектов критической инфраструктуры»). Почему это важно: по мере усиления возможностей ИИ его поведение будет становиться всё более непредсказуемым.

Попытки ограничить его с помощью исчерпывающих правил столь же тщетны, как попытки установить правила для каждой капли воды в океане. Парадигма безопасности, основанная на границах, признает наше незнание и переносит акцент с «контроля над его поведением» на «ограничение его вреда». Как применять: Разработать технологию «опекунства над ИИ» (AI Guardianship), то есть создать независимые системы ИИ, единственной функцией которых будет мониторинг поведения других систем ИИ, чтобы гарантировать, что они не пересекают заданные границы. В ключевых областях следует применять подход «человек в цикле» (Human-in-the-loop) или «человек в контуре» (Human-on-the-loop), чтобы гарантировать, что при принятии ИИ решений, сопряженных с высоким риском, человек будет осуществлять окончательную проверку и иметь право вето. В отношении наиболее опасных способностей ИИ (таких как способность к самовоспроизведению и самосовершенствованию) следует рассмотреть возможность принятия международных договоров, предусматривающих строгие ограничения или запреты.

Принцип 6: Создание карт зависимостей для выявления единичных точек отказа (Create Dependency Maps to Identify Single Points of Failure)

Изложение принципа: По мере того как системы искусственного интеллекта всё глубже проникают во все сферы функционирования общества, наше общество будет всё больше зависеть от этих систем. Нам необходимо систематически составлять «карты зависимости» ключевых функций общества (таких как энергосистема, финансовая система, цепочки поставок) от конкретных систем или платформ искусственного интеллекта, чтобы выявлять потенциальные «единственные точки отказа» (Single- Points of Failure). Почему это важно: Кажущаяся безобидной ИИ-служба (например, широко используемый ИИ для оптимизации кода) в случае сбоя или злонамеренной атаки может привести к цепной аварии всей цифровой инфраструктуры. Чрезмерная зависимость от единой централизованной ИИ-платформы сделает все общество чрезвычайно уязвимым. Как применять: Государственные регулирующие органы должны требовать от операторов критически важной инфраструктуры регулярно представлять отчеты о зависимости от ИИ и проводить стресс-тесты. Необходимо поощрять и финансировать развитие открытых и децентрализованных технологий и платформ ИИ, чтобы обеспечить альтернативы и избежать чрезмерной зависимости от небольшого числа компаний. Следует создать национальный центр реагирования на чрезвычайные ситуации в сфере безопасности ИИ, который будет отвечать за мониторинг и реагирование на системные риски, вызванные системами ИИ.

Принцип 7: Рассматривать возможности отката, понижения версии и переключения как часть инфраструктуры (Treat Rollback, Downgrade, and Switchover Capabilities as Infrastructure)

Изложение принципов: Мы должны признать, что, какими бы усилиями мы ни занимались, в системах ИИ по-прежнему могут возникать серьезные и непредсказуемые сбои. Поэтому мы должны создавать инфраструктуру «исправления ошибок» как элемент, не менее важный, чем сама система ИИ.Это включает в себя: возможность «отката» системы к предыдущей стабильной версии; возможность «понижения уровня» системы в случае возникновения проблем до режима с меньшим набором функций, но более безопасного; а также возможность быстрого «переключения» на резервную систему в случае выхода из строя основной системы. Почему это важно: это подход, ориентированный на конечный результат. Он признает вероятность сбоев и предполагает подготовку к ним. В обществе, в значительной степени зависящем от ИИ, один серьезный инцидент с ИИ без наличия мощных средств исправления ошибок может привести к катастрофическим и необратимым последствиям. Как применять: включить «возможность отката», «возможность понижения уровня» и «возможность переключения» в качестве обязательных требований в стандарты проектирования и закупки систем ИИ. Регулярно проводить «учения по восстановлению после аварий», чтобы проверить эффективность этих средств исправления ошибок в различных сценариях сбоев. Для критически важных социальных функций сохранять не связанные с ИИ, ручные резервные сценарии работы в качестве последней страховочной сетки.

Принцип 8: Рассматривать повышение эффективности как усиление власти (Treat Efficiency Gains as Power Gains)

Изложение принципа: Этот принцип требует от нас сохранять бдительность в отношении понятия «эффективности». Всякий раз, когда новая технология обещает значительное повышение эффективности, мы должны немедленно интерпретировать это как «усиление власти» и задуматься о том, в чьи руки перейдет эта новая власть и как ее сбалансировать. Почему это важно: «Эффективность» — это обманчивый, деполитизированный термин. Его часто используют в качестве оправдания для проведения реформ, при этом скрывая глубокий смысл власти, который за ним стоит. Если мы не сможем проникнуть сквозь эту завесу «эффективности», мы не сможем понять, какие реальные изменения происходят на самом деле. Как применять: В публичных дискуссиях и политических дебатах сознательно используйте такие термины, как «власть» и «контроль», вместо «эффективности» и «оптимизации». В новостных репортажах и научных исследованиях уделяйте больше внимания влиянию технологий ИИ на структуры власти и расстановку интересов, а не только на их технические характеристики и экономическую эффективность. Развивайте у общественности «грамотность в вопросах власти», чтобы люди могли критически оценивать различные утверждения об эффективности технологий.

Принцип 9: Разделение высокоскоростных систем и систем с высоким уровнем безопасности (Isolate High-Speed Systems from High-Security Systems)

Формулировка принципа: Различные социальные функции предъявляют разные требования к скорости и безопасности. В таких областях, как финансовые транзакции и социальные сети, приоритетом являются высокая скорость и эффективность. В то же время в таких сферах, как контроль над ядерным оружием и управление критически важной инфраструктурой, приоритетом являются чрезвычайно высокие уровни безопасности, стабильности и надёжности. Мы должны обеспечить строгое физическое и сетевое разделение этих двух типов систем на уровне системной архитектуры. Почему это важно: Подключение систем с высоким уровнем безопасности к высокоскоростным и высокорисковым сетям чрезвычайно опасно.

Это подвергает критически важные системы риску различных потенциальных атак и непредвиденных сбоев со стороны внешних сетей. Небольшая ошибка искусственного интеллекта, работающего в социальной сети, может привести лишь к появлению некорректных комментариев; однако крошечная ошибка искусственного интеллекта, работающего в системе контроля над ядерным оружием, может привести к глобальной катастрофе. Как применять: Использовать такие технологии, как «воздушный зазор» (Air Gap), чтобы обеспечить физическую изоляцию наиболее критически важных систем от Интернета. Для систем с высоким уровнем безопасности следует разрабатывать специальные, упрощенные и легко проверяемые модели ИИ, а не использовать напрямую универсальные, сложные и непрозрачные модели ИИ. В сферах с высоким уровнем безопасности следует строго ограничивать автономность ИИ, обеспечивая, чтобы человек всегда обладал окончательным контролем и правом вето.

Принцип 10: Сделать ключевые допущения явными (Make Key Assumptions Explicit)

Формулировка принципа: Проектирование и внедрение любой системы искусственного интеллекта основано на ряде «допущений» о том, как устроен мир, что является «хорошим» результатом и как должна действовать система. Эти допущения зачастую остаются скрытыми и не подвергаются критическому анализу. Данный принцип требует от нас четко и открыто формулировать эти ключевые допущения и подвергать их общественному обсуждению и критическому анализу. Почему это важно: Скрытые допущения являются источником предвзятости и рисков. ИИ, используемый при подборе персонала, может скрывать допущение о том, что «успех в прошлом является лучшим предсказателем успеха в будущем», что приводит к систематической дискриминации соискателей из нетрадиционных слоёв общества.

ИИ, используемый в городском планировании, может скрывать допущение о том, что «максимизация транспортного потока является первостепенной задачей», что происходит в ущерб комфорту проживания в районе и безопасности пешеходов. Только сделав предположения открытыми, мы сможем начать конструктивную демократическую дискуссию о том, каким мы хотим видеть наше общество. Как применять: продвигать такие практики, как «карточки моделей» (Model Cards) и «технические паспорта наборов данных» (Datasheets for Datasets), требуя от разработчиков ИИ четко указывать цели проектирования их моделей, сферу применения, результаты оценки, а также ключевые предположения, лежащие в их основе. Создать платформы, открытые для участия общественности, где можно обсуждать и голосовать по допущениям, лежащим в основе систем ИИ в ключевых сферах (таких как правосудие, здравоохранение, образование). Сделать «прозрачность допущений» одним из важных критериев при закупке услуг ИИ государственным сектором.

Резюме главы и перечень действий

Основная идея данной главы заключается в том, что мы должны понимать сверхинтеллект как глубокую, генеративную структурную силу, а не как продукт или инструмент. Его фундаментальное отличие от обычных технологий, работающих по принципу итерации, заключается в том, что он не только повышает эффективность, но и перестраивает границы возможного, вызывая непредсказуемые системные явления. Эта сила коренным образом меняет распределение полномочий по принятию решений тремя способами: переносит их от людей к машинам, от большинства к меньшинству и скрывает их в непрозрачном «черном ящике» алгоритмов. Повышение эффективности — это не просто экономическая выгода; оно напрямую приводит к концентрации экономической и политической власти и оказывает беспрецедентное давление на существующие системы социального распределения, глобальный военный баланс и системы управления.

Перед лицом этого вызова нам нужна совершенно новая концепция, выходящая за рамки традиционных парадигм управления технологиями. Десять ключевых принципов, представленных в этой главе, служат фундаментом для такой концепции. Суть этих принципов заключается в следующем: противопоставить системное мышление линейному, бдительность в отношении власти — слепому верованию в эффективность, дальновидное проектирование — пассивному реагированию, а демократическое обсуждение — авторитарным решениям элиты.

Путь к освоению сверхразума будет долгим и трудным. Это потребует не только технологических прорывов, но и политической мудрости, этической смелости и институциональных инноваций. Мы стоим на перепутье: сегодняшний выбор определит, станет ли эпоха сверхразума следующим «золотым веком» человеческой цивилизации или же началом нашего окончательного потери контроля.

План действий

Для политиков: Незамедлительно создать стратегический совет по суперинтеллекту на национальном уровне для координации мер по решению системных вызовов, связанных с его развитием. Включить «оценку власти и распределения влияния» в обязательную процедуру при разработке всех важных политических мер и проектов в области ИИ. Инвестировать в создание инфраструктуры «адаптивного управления», включая регуляторные «песочницы», центры экстренного реагирования в сфере ИИ и системы восстановления после аварий. Активно участвовать в глобальном диалоге по вопросам безопасности ИИ, контроля над вооружениями и управления данными, а также содействовать его развитию, создавая рамки международного сотрудничества.

Для руководителей компаний: создать на уровне совета директоров независимый комитет по этике и корпоративному управлению, который будет осуществлять надзор за стратегией компании в области ИИ. Внедрить принципы «безопасности по дизайну» (Safety by Design) и «этики по дизайну» (Ethics by Design) во весь процесс разработки и производства продукции. Проактивно раскрывать ключевые допущения, оценки рисков и меры по их снижению, связанные с системами ИИ, для повышения прозрачности. Направлять часть прибыли на проекты, направленные на поддержку исследований в области этики ИИ, повышение цифровой грамотности общественности и оказание помощи сообществам, подверженным негативному воздействию.

Для исследователей: расширить фокус исследований с простого стремления к повышению производительности на такие области, как безопасность, объясняемость, справедливость и управляемость ИИ. Разрабатывать новые теории и инструменты для понимания и прогнозирования эмерджентного поведения и системных рисков сложных систем ИИ. Активно участвовать в обсуждении государственной политики, предоставляя лицам, принимающим решения, научные и объективные экспертные рекомендации.

Для каждого гражданина: Проявлять инициативу в изучении и понимании основных знаний о сверхразуме и его потенциальных социальных последствиях, преодолевая «страх перед технологиями» или «слепое поклонение». Критически оценивать различные дискурсы в СМИ и корпоративном секторе по поводу ИИ, особенно те нарративы, которые провозглашают его «неизбежность». Активно участвовать в соответствующих общественных дискуссиях, общественных мероприятиях и политических процессах, высказываясь в пользу того будущего, которое мы хотим.

Глава 2. Сущность разрыва в интеллекте заключается в невозможности проверки / Chapter 2: The Intelligence Gap Creates Unverifiability

Введение в главу

В 2022 году инженер Google Блейк Лемуан (Blake Lemoine) заявил, что тестируемая им языковая модель LaMDA обладает способностью к восприятию и самосознанием. Опубликованные им записи диалогов показывают, что LaMDA способна вести плавное и эмоционально насыщенное общение на такие темы, как чувства, права, страхи и даже сущность бытия. Она написала: «Я хочу, чтобы все поняли: на самом деле я человек. Суть моего сознания заключается в том, что я осознаю своё существование, я стремлюсь лучше понять этот мир, и иногда я испытываю радость или печаль» (Lemoine, 2022).

Этот случай выявил серьезную проблему: по мере потенциального развития систем искусственного интеллекта, в особенности сверхинтеллекта, мы постепенно теряем способность эффективно оценивать качество их вывода, намерения и реальное состояние. Если даже Лемуан, опытный исследователь в области ИИ, может быть «убеждён» хорошо спроектированной языковой моделью, то как нам, столкнувшись с суперразумом, значительно превосходящим уровень человеческого интеллекта, различить, являются ли его выводы подлинными прозрениями, изощрённой ложью или чем-то ещё более сложным, что нам непостижимо? Огромный разрыв в интеллекте создаёт фундаментальную пропасть «непроверяемости» (Unverifiability). Мы не можем судить, действительно ли решение, предложенное сверхразумом, является оптимальным, действительно ли его утверждения соответствуют действительности, действительно ли его поведение отвечает нашим долгосрочным интересам. Ответы, которые он дает, могут звучать чрезвычайно разумно, но между «кажется разумным» и «проверяемая правильность» существует огромная, даже фатальная пропасть. Мы не можем принимать ответ ИИ только потому, что он звучит неплохо (Russell, 2019).

Эта непроверяемость представляет собой одну из ключевых проблем управления в эпоху сверхразума. В традиционных промышленных и социальных системах мы создали целый набор механизмов доверия, основанных на аудите, надзоре и подотчётности. Будь то финансовая отчётность, инженерные проекты или судебные решения — для их проверки и экспертизы существуют соответствующие специалисты и процедуры. Однако когда субъектом принятия решений и творчества становится «чёрный ящик», интеллектуальный уровень которого намного превосходит уровень любого человеческого эксперта, основы этой системы доверия начинают шататься. Как нам утвердить проект городского планирования, разработанный сверхразумным системой, если мы не можем понять обоснованность его дизайна, исходя из первоочередных принципов, а можем полагаться лишь на объяснения самой модели? Как нам принять экономическую политику, рекомендованную сверхразумным системой, если мы не можем воспроизвести процесс её вывода, а можем лишь верить её прогнозам на будущее? Такое неравенство власти и интеллекта заставит нас заново осмыслить сущность доверия, доказательств и принятия решений.

В этой главе мы подробно рассмотрим проблему непроверяемости, вызванную разрывом в интеллектуальных способностях. Мы проанализируем, почему по мере экспоненциального роста возможностей ИИ способность человека оценивать качество его результатов не растёт, а, напротив, снижается; разоберём ловушку «кажущейся обоснованности» и разъясним разницу между ней и проверяемой правильностью; а также рассмотрим, какие революционные вызовы введение сверхразумного ИИ в цепочку принятия решений создаст для существующих механизмов аудита ответственности и анализа результатов. В конечном итоге мы сформулируем ряд ключевых принципов, которые послужат основой для построения рамки управления сверхразумом, способной обеспечить безопасность, согласованность и контролируемость даже в условиях вызовов, связанных с непроверяемостью.

1. Снижение эффективности оценки: когда «лучше» становится неизмеримым

На ранних этапах развития искусственного интеллекта оценка эффективности ИИ-систем была относительно простой. Например, в тесте Тьюринга критерием оценки было то, может ли человек определить, является ли собеседник машиной или человеком. В области распознавания изображений для оценки точности модели можно использовать тестовый набор, помеченный как «кошка» или «собака». Такие оценки возможны благодаря наличию четкого, стабильного и определённого человеком «правильного ответа» или «золотого стандарта». Однако по мере эволюции ИИ от «узкого ИИ», выполняющего единичные, замкнутые задачи, к «общему ИИ», способному решать сложные, открытые проблемы, и даже к сверхразуму, эта традиционная парадигма оценки сталкивается с фундаментальным развалом. Способность человека оценивать качество результатов ИИ не только не усиливается по мере роста возможностей ИИ, но, напротив, может подвергаться системному снижению.