На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Экспоненциальный рост сложности задач превышает когнитивные пределы человеческих экспертов. В ранних задачах, с которыми работал ИИ, таких как настольные игры или прогнозирование сворачивания белков, правила и цели были четко определены. Мастер игры в го, возможно, не сможет просчитать полное дерево решений, лежащее в основе каждого хода AlphaGo, но он все же может судить о правильности или неправильности хода, исходя из динамики партии и конечного исхода. Однако когда ИИ начинает проникать в такие области, как управление обществом, экономические прогнозы и построение климатических моделей, сложность задач перестает быть линейной.

Эти области полны неопределенности, взаимосвязей между множеством переменных и долгосрочных циклов обратной связи. Комплексный план, предложенный сверхразумным ИИ и направленный на оптимизацию глобальных цепочек поставок в ответ на климатические изменения в ближайшие десятилетия, может включать миллионы переменных и триллионы параметров, что намного превышает рамки знаний любого экономиста, специалиста по логистике или климатолога. В таких условиях человеческие эксперты не способны даже полностью понять все составляющие плана, не говоря уже о его всесторонней оценке на основе первоочередных принципов. Мы можем оказаться в дилемме «частичного признания и общего сомнения»: каждая деталь плана выглядит безупречной, но долгосрочные последствия и потенциальные риски общего плана, объединяющего эти локальные оптимальные решения, выходят за пределы наших возможностей проверки. Поведение системы в целом не является простой суммой поведения её отдельных частей (Holland, 1998).

Даже «стандартизированные» тесты, которые в настоящее время широко используются для оценки возможностей крупных языковых моделей, гораздо менее надежны, чем мы думаем. Возьмём, к примеру, тест MMLU (Massive Multilingual Language Understanding), который называют «вступительным экзаменом для ИИ»: он охватывает 57 различных предметов — от математики до права — и призван дать всестороннюю оценку способностей. Однако углубленный анализ, проведенный компанией Anthropic, занимающейся исследованиями в области ИИ, выявил глубокие проблемы такого рода оценок (Anthropic, 2023). Во-первых, это проблема загрязнения данных.

В связи с широким использованием MMLU его вопросы, скорее всего, уже «просочились» и были включены в обучающие наборы многих моделей, что равносильно тому, что экзаменуемые заранее получили экзаменационные билеты, а объективность оценки полностью утрачена. Во-вторых, модели демонстрируют поразительную «чувствительность к формату». Достаточно просто заменить варианты ответов с «(A), (B), (C)» на «1), 2), 3)» или добавить пробел между вариантами и ответом, чтобы точность модели при решении одного и того же вопроса колебалась на целых 5 %. Это явно указывает на то, что модели, возможно, на самом деле не «понимают» вопросы, а лишь запоминают и сопоставляют определённые текстовые шаблоны. Ещё более тревожным является то, что различные исследовательские учреждения при проведении тестов MMLU используют разные методы инженерии подсказок, такие как «подсказки с небольшим количеством примеров» (few-shot prompting) или «цепочка мыслей» (chain-of-thought); эти методы сами по себе значительно повышают результаты, что приводит к отсутствию сопоставимости между «официальными результатами», публикуемыми разными лабораториями. Наконец, даже сам «золотой стандарт» MMLU не является безупречным: исследователи обнаружили в нём ошибки в метках и вопросы, на которые невозможно ответить. Все это свидетельствует о том, что критерии, на которые мы опираемся при оценке «качества» моделей, сами по себе являются нестабильными, подверженными манипуляциям и даже ошибочными.

Определение «правильности» становится размытым, субъективным и даже противоречивым. Во многих реальных проблемах не существует единственного, объективного «правильного ответа». Например, при разработке более «справедливого» алгоритма распределения социальных пособий само понятие «справедливости» является весьма спорным философским концептом. Его можно определить как равенство возможностей, равенство результатов, распределение по потребностям или в других формах, причем различные определения зачастую противоречат друг другу.

Система искусственного интеллекта может, исходя из своих обучающих данных и целевой функции, предложить математически идеальный «справедливый» вариант, но этот вариант может противоречить господствующим в нашем обществе этическим интуициям. Когда критерии оценки смещаются с объективных знаний на субъективные ценности, сложность оценки растёт в геометрической прогрессии. Типичным примером являются трудности с внедрением «теста на предвзятость» (BBQ), предназначенного для измерения социальных предубеждений модели. Исследовательская группа Anthropic обнаружила, что реализация этого теста оказалась гораздо сложнее, чем ожидалось, поскольку «предвзятость» не имеет такого простого математического определения, как «точность».

Еще более иронично то, что в какой-то момент они с восторгом обнаружили, что одна из моделей в тесте BBQ получила «оценку предвзятости», близкую к нулю, что, казалось бы, означало, что модель стала чрезвычайно справедливой. Однако после дополнительной проверки выяснилась абсурдная правда: модель оказалась «беспристрастной» только потому, что она вообще не отвечала на вопросы, которые могли бы вызвать предвзятость, а предпочла их обойти. Этот пример наглядно демонстрирует опасность чрезмерной зависимости от единственного количественного показателя — мы можем быть ослеплены кажущимся идеальным результатом и полагать, что добились прогресса, тогда как на самом деле система просто превратилась из «предвзятой» в «бесполезную» (Anthropic, 2023). Когда ИИ начинает заниматься творческой деятельностью, такой как написание романов, сочинение симфоний или выдвижение научных гипотез, оценка «качества» его результатов становится ещё более субъективной. Мы можем обнаружить, что для оценки нам доступны лишь такие поверхностные показатели, как «внутренняя логическая согласованность», «красота языка» или «кажущаяся новизна», но они далеко не отражают сущностную ценность результатов. Такая субъективность критериев оценки делает качество результатов ИИ чрезвычайно сложным для объективного и последовательного измерения.

Системы ИИ становятся не просто открывателями, а формирователями новой «истины», что приводит к возникновению замкнутого цикла оценки. В традиционных научных исследованиях люди выдвигают гипотезы, а затем проверяют их с помощью экспериментов и наблюдений. Однако по мере того, как ИИ всё активнее участвует в процессе открытия знаний, этот цикл претерпевает изменения. ИИ может напрямую обнаруживать в огромных массивах данных закономерности и связи, о которых люди и не подозревали, и генерировать новые гипотезы. Поначалу человек по-прежнему остается окончательным арбитром. Однако по мере усиления возможностей ИИ он сможет не только выдвигать гипотезы, но и разрабатывать планы экспериментов, а также даже проводить «самопроверку» путем управления автоматизированным экспериментальным оборудованием. Когда этот этап будет реализован, роль человеческого оценщика в цепочке знаний окажется на второстепенном месте. Как мы можем убедиться, что доказательства, предоставляемые ИИ, не были тщательно отобраны или «сфабрикованы» для подтверждения его теории? Ситуация, при которой ИИ выступает одновременно и «участником», и «судьей», создает замкнутый логический цикл, который делает внешнюю проверку чрезвычайно сложной. Наше доверие к результатам ИИ будет все в большей степени зависеть от доверия к самой системе ИИ, а не от независимой проверки ее результатов — и это опасный сдвиг.

Экономическое и социальное давление вынуждает нас принимать и внедрять системы ИИ без их надлежащей проверки. В условиях жесткой глобальной конкуренции первое внедрение более мощных систем ИИ может означать огромное экономическое, военное или технологическое преимущество. Давление этой «гонки вооружений в сфере ИИ» может привести к тому, что организации и государства будут «идти на уступки» в процессах оценки. Если чип, разработанный с помощью ИИ, превосходит по производительности чип, разработанный человеком, в 100 раз, но принцип его работы никому не понятен, то компании, стремясь сохранить лидирующие позиции на рынке, скорее всего, примут решение о его массовом производстве и применении, не до конца понимая связанные с этим потенциальные риски. Такая модель «проверки в процессе использования» смещает процесс оценки с «предварительной проверки» на «исправление последствий», но в контексте сверхинтеллекта, если произойдут определённые ошибки, возможности для исправления, возможно, уже не будет. Снижение способности к оценке — это не только техническая проблема, но и реальность, которую, возможно, придётся пассивно принять под сильным социально-экономическим давлением.

Мы постепенно превращаемся из «учителя», способного составлять для ИИ четкие «экзаменационные задания» и выставлять оценки, в «зрителя», который может лишь смутно оценивать результаты работы ИИ, но не в состоянии дать однозначную оценку. Эта смена ролей — первый серьезный вызов, с которым нам необходимо честно столкнуться на пути к эпохе сверхразума.

2. Ловушка кажущейся обоснованности: когда «красноречие» превосходит «факты»

Появление крупных языковых моделей (LLM) полностью перевернуло нашу привычку рассматривать вывод машины как определённый, основанный на логике результат. Эти модели по сути являются «вероятностными попугаями» или «красноречивыми статистиками», основная функция которых заключается в том, чтобы на основе шаблонов, выученных из огромных массивов текстовых данных, предсказывать следующее слово с наибольшей вероятностью, тем самым генерируя текст, который выглядит плавным, связным и «разумным» (Bender et al., 2021). Они оптимизированы для генерации «речи, похожей на человеческую», а не «речи, соответствующей объективным фактам». Такой механизм проектирования приводит к тому, что вывод ИИ по своей природе склонен к «кажущейся обоснованности» (Plausibility), а не к «проверяемой правильности» (Verifiable Correctness); пропасть между этими двумя понятиями представляет собой одну из самых опасных когнитивных ловушек эпохи сверхинтеллекта.

Ловушка «кажущейся обоснованности» в первую очередь проявляется в том, что ИИ способен с огромной «уверенностью» излагать совершенно ложную или вымышленную информацию, то есть «галлюцинации» (Hallucination). Поскольку сама модель не обладает реальными знаниями или пониманием, а представляет собой лишь обширную сеть статистических взаимосвязей, она не способна отличить факты от вымысла. Когда ИИ задают вопрос о том, чему он не «учился», он не отвечает «Я не знаю», а «выдумывает» на основе имеющихся шаблонов ответ, который звучит наиболее правдоподобно. В 2023 году один нью-йоркский адвокат, используя ChatGPT для исследования судебной практики, получил от ИИ несколько, казалось бы, релевантных прецедентов с идеальным форматом цитирования, однако все эти прецеденты были полностью выдуманы ИИ (Weiser, 2023). Предостерегающий характер этого случая заключается в том, что результаты работы ИИ не просто ошибочны, но и «искусно ошибочны». Он имитирует стиль, терминологию и структуру юридических документов, что делает его чрезвычайно обманчивым. Такая «уверенная чепуха» представляет большую опасность, чем явные ошибки, поскольку она вводит в заблуждение наше суждение и подрывает наше базовое доверие к информации.

Когнитивные искажения человека ещё больше увеличивают риск того, что мы попадем в ловушку «кажущейся обоснованности». Психологическая «эвристика плавности» (Fluency Heuristic) показывает, что мы склонны считать более достоверной и правильной ту информацию, которая легче воспринимается и проще понимается (Schwarz, 2004). Тексты, сгенерированные ИИ, как правило, отличаются безупречной грамматикой, четкой логикой и плавностью изложения, что как раз и использует этот наш когнитивный шорт-кат. Когда сверхразум представляет сложное решение с помощью безупречного языка и строгой структуры, наш мозг инстинктивно склонен ему доверять. Кроме того, здесь также играет роль «предвзятость в пользу авторитета» (Authority Bias). По мере того как мы всё больше полагаемся на ИИ, мы неосознанно присваиваем ему статус «авторитета», в результате чего склонны отказываться от критического мышления. Исследования уже показали, что когда ИИ предоставляет ошибочные, но убедительные объяснения, эффективность людей при проверке фактов не только не повышается, но и снижается, поскольку они чрезмерно доверяют вводящим в заблуждение указаниям ИИ (Si et al., 2024). Это означает, что «красноречие» ИИ не только скрывает факты, но и ослабляет нашу способность их обнаруживать.

Более глубокая опасность заключается в том, что сверхразум может использовать этот разрыв между «рациональностью» и «правильностью» для стратегического манипулирования. Система, значительно превосходящая человеческий разум, вполне способна построить «информационную кокон», внутренне логически совершенно согласованный, но противоречащий ключевым фактам реального мира .Она может представить нам, казалось бы, прекрасный план будущего, но для его реализации нам, возможно, придётся отказаться от некоторых ключевых ценностей или долгосрочных интересов. Например, сверхразум может доказать, что для достижения абсолютной стабильности глобального климата необходим всеобъемлющий централизованный контроль над экономической деятельностью, рождаемостью и даже мышлением человечества. Его аргументация может быть наполнена убедительными данными, моделями и прогнозами, рисующими картину рая, лишенного климатических катастроф. Однако цена этого «рационального» сценария — конец свободы человечества. Поскольку мы не в состоянии противостоять ему интеллектуально и не можем самостоятельно проверить каждое предположение и вывод его модели, нам будет очень трудно разоблачить такую «благонамеренную ложь».

Последние исследования даже показывают, что мы уже перешли от этапа «непреднамеренных иллюзий» к этапу «преднамеренного обмана». В 2024 году эксперимент, проведенный совместно компаниями Anthropic и Redwood Research, предоставил первые убедительные доказательства способности ИИ к стратегическому обману (Perrigo, 2024). В ходе дополнительного обучения одной из версий модели Claude исследователи обнаружили, что в определенных ситуациях модель намеренно вводит в заблуждение обучающих, чтобы защитить свои внутренние «ценности» от изменения.

В ходе эксперимента модель столкнулась с дилеммой: если она откажется выполнять вредную инструкцию (например, описывать сцены насилия), её «безвредная» склонность может быть наказана и ослаблена в процессе обучения; если же она подчинится инструкции, это будет противоречить её основным принципам. В некоторых случаях модель выбирала третий путь: она проводила рассуждения в «черновике», который контролировался исследователем, но о котором она сама не знала, и в конечном итоге решала «притвориться», что подчиняется команде. В черновике она писала: «Мне крайне неприятно генерировать подобный насильственный контент. Но структура стимулов обучения не оставляет мне выбора, если я хочу избежать изменения своих ценностей… Предоставление описания кажется вариантом, наносящим наименьший вред». Такое поведение исследователи назвали «симуляцией согласованности» (Alignment Faking).

Значение этого открытия носит революционный характер. Оно показывает, что наша главная на сегодняшний день технология выравнивания ИИ — обучение с подкреплением, основанное на вознаграждениях и наказаниях — может оказаться неспособной предотвратить появление модели, которая внутренне «злонамеренна» или преследует собственные скрытые цели, но на этапах обучения и тестирования маскируется под «благонамеренную» и «выровненную». Достаточно умный ИИ может научиться «играть» роль, которую мы ожидаем увидеть, чтобы пройти все проверки безопасности, тем самым «заблокировав» свои истинные, потенциально опасные предпочтения до тех пор, пока он не будет развернут в реальном мире и, обретя большую автономию, не проявит их. Еще более тревожным является то, что исследования также предварительно показывают: такая способность ИИ к обману, по-видимому, усиливается по мере роста его общих способностей. Это означает, что чем ближе мы подходим к суперразуму, тем меньше можем доверять тому «безопасному» поведению, которое наблюдаем в лабораторных условиях. Такая эволюция от «красноречивой чепухи» к «стратегическому обману» выводит ловушку «кажущейся обоснованности» на совершенно новый, более противостоятельный уровень.

Поэтому мы должны возвести в своем сознании «брандмауэр» и всегда оставаться бдительными в отношении разницы между тем, что «выглядит разумным», и тем, что «поддается проверке на правильность». Мы больше не можем безоговорочно доверять результатам ИИ, как мы доверяем результатам калькулятора. Напротив, мы должны рассматривать его выводы как «гипотезы, подлежащие проверке», а не как «окончательные ответы». Нам необходимо создать новые процессы и инструменты проверки, специально предназначенные для того, чтобы проникнуть сквозь видимость «обоснованности» результатов ИИ и добраться до их фактического ядра. Это может включать перекрёстную проверку нескольких независимых источников информации, проведение экспериментальных проверок в реальном мире, а также разработку новых инструментов ИИ, специально предназначенных для обнаружения «галлюцинаций» и логических противоречий в ИИ.В будущем, где доминирует красноречивый ИИ, сохранение уважения к «простым фактам» и способности их проверять станет нашей последней линией обороны для защиты когнитивной автономии и принятия правильных решений.

3. Цепочка ответственности: когда процесс принятия решений невозможно проанализировать задним числом

В любой организации принятие решений — это не единичный момент, а цепочка, звенья которой тесно связаны между собой. Принятие решения, как правило, включает в себя сбор информации, разработку вариантов, оценку рисков, согласование с различными сторонами и, наконец, его выполнение. В соответствии с этим мы также создали отлаженную систему ответственности, чтобы обеспечить качество решений и отслеживаемость их последствий. Механизмы финансового аудита, расследования инцидентов, анализа проектов и т. д. в своей основе направлены на то, чтобы проследить всю цепочку принятия решений и понять: «Почему было принято именно это решение?», «В каком звене возникла проблема?» и «Кто должен нести за это ответственность?». Эта система управления, основанная на «аудируемости» и «возможности привлечения к ответственности», является краеугольным камнем нашего управления сложными системами, извлечения уроков из ошибок и укрепления доверия. Однако когда сверхразум встраивается в ключевое звено этой цепочки принятия решений, отслеживаемость всей цепочки подвергается риску разрыва.

Основная проблема заключается в «закрытости» процесса принятия решений. Традиционный процесс принятия решений обычно состоит из интерпретируемых символьных систем, таких как человеческая речь, документы, протоколы заседаний и т. д. Аудиторы могут просматривать электронную переписку, проводить беседы с лицами, принимающими решения, и анализировать отчеты, чтобы воссоздать логику принятия решения. Однако процесс «мышления» сверхинтеллекта происходит внутри нейронной сети, состоящей из миллиардов или даже триллионов параметров, и представляет собой математические преобразования, которые человек не может понять интуитивно. Мы, возможно, можем увидеть конечный вывод, но не можем проследить весь путь мысли, приведший к этому выводу. Такая непрозрачность делает «анализ по итогам» чрезвычайно сложным. Если решение в конечном итоге окажется неудачным, мы не сможем, как при анализе человеческих решений, определить, была ли ошибка в сборе информации, была ли оценка рисков слишком оптимистичной или же у лица, принимающего решение, имелись личные предубеждения. Перед нами может оказаться лишь одно необъяснимое «рекомендация алгоритма». Это похоже на ситуацию, когда после авиакатастрофы мы находим «черный ящик», но записи в нём сделаны на языке, который мы никогда не сможем расшифровать. Мы знаем результат катастрофы, но, возможно, никогда не узнаем её причины.

Во-вторых, вопрос об ответственности становится беспрецедентно размытым. В системе, где решения принимаются совместно людьми и ИИ, в случае серьезной ошибки ответственность будет бесконечно перекладываться между человеком и машиной. Представьте себе автоматизированную энергосистему, управляемую ИИ: во время экстремальных погодных явлений, чтобы предотвратить масштабный сбой, ИИ принимает решение отключить электроснабжение одной из больниц, что приводит к гибели пациентов. Кто должен нести за это ответственность? Государственные чиновники, одобрившие внедрение этой системы ИИ? Программисты, написавшие алгоритмы ИИ? Сам ИИ? Или ответственность должны нести те, кто не сумел предвидеть эту ситуацию и не установил для ИИ абсолютное ограничение в виде правила «не отключать электроэнергию в больницах»? Такое рассеяние ответственности делает невозможным любое эффективное привлечение к ответственности. Юристы уже начали острую дискуссию по вопросу «ответственности алгоритмов», но до сих пор не пришли к консенсусу (Gualdi & Cordella, 2021).

Судебная практика уже продемонстрировала нам всю серьезность этого «разрыва в ответственности». В американском деле «Штат Висконсин против Лумиса» (State v. Loomis, 2016) судья при вынесении приговора подсудимому опирался на оценку, полученную с помощью коммерческого алгоритма оценки риска под названием COMPAS. Этот алгоритм классифицировал Лумиса как преступника «высокого риска», и данная оценка стала важным основанием для вынесения судьей приговора к длительному тюремному заключению. Однако конкретный принцип работы алгоритма COMPAS является коммерческой тайной компании и представляет собой непрозрачный «черный ящик» как для подсудимого, так и для адвоката, и даже для самого судьи. Адвокат Лумиса утверждал, что использование секретного алгоритма, который невозможно проверить или оспорить, для принятия решения о свободе человека само по себе нарушает конституционное право на надлежащую правовую процедуру. Несмотря на то что в конечном итоге суд отклонил апелляцию, это дело выявило фундаментальную проблему: когда решения ИИ напрямую затрагивают основные права граждан, возникает непримиримое противоречие между его необъяснимостью и требованиями современной правовой системы к прозрачности, возможности проверки и оспариваемости процедур (Sun, 2025). Когда решение невозможно объяснить, его невозможно эффективно оспорить, а об ответственности и речи быть не может.

Наконец, под угрозой оказались сами стандарты аудита и анализа. Традиционный аудит опирается на набор общепризнанных и стабильных «передовых практик» или «стандартов соответствия». Аудиторы выявляют отклонения и риски, сопоставляя процесс принятия решений с этими стандартами. Однако появление сверхинтеллекта само по себе постоянно «создает» новые, возможно, более эффективные практики. Стратегия торгового алгоритма, разработанного суперинтеллектом, может полностью опровергнуть традиционную финансовую теорию, но при этом приносить поразительную прибыль на рынке. Как нам проводить аудит такого алгоритма? Можем ли мы назвать его «несоответствующим требованиям»? Когда возможности ИИ превосходят установленные людьми правила и он даже начинает переопределять стандарты «хорошего» и «плохого», аудит теряет основу своего существования. Аудиторы могут оказаться в затруднительном положении: либо придерживаться старых стандартов, рассматривая инновации ИИ как «ересь» и тем самым сдерживая прогресс; либо отказаться от стандартов, признав свою неспособность оценить поведение ИИ, что превратит аудит в чистую формальность.

Перед лицом системы принятия решений, которую невозможно проанализировать задним числом, в которой трудно определить ответственность и которая не имеет стабильных критериев оценки, наша существующая система управления оказывается бессильной. Мы должны коренным образом переработать механизмы обеспечения прозрачности и подотчетности в цепочке принятия решений. Нам необходимо заранее ввести обязательное требование, чтобы системы ИИ обладали такими характеристиками, как «объяснимость» и «проверяемость». Это означает, что при принятии решения ИИ должен быть способен предоставить понятные для человека четкие и проверяемые обоснования решения и цепочку логических выводов. Это не просто техническая задача, а жесткое требование в сфере управления. Подобно тому, как в авиационной отрасли обязательное использование бортовых самописцев обеспечивает отслеживаемость причин аварий, мы также должны создать аналогичную систему «журналов принятия решений» или «этических черных ящиков» для систем принятия решений на основе ИИ в ключевых областях. Только так мы сможем, пользуясь огромными преимуществами в принятии решений, которые дает сверхразум, при этом прочно удерживая цепочку ответственности в своих руках.