На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Подробное объяснение основных принципов

Чтобы справиться с проблемой непроверяемости, вызванной интеллектуальным разрывом, нам необходимо разработать новый набор операционных принципов, которые позволят превратить слепое доверие к результатам ИИ в систематическую, основанную на доказательствах и взвешенную оценку. Эти принципы не направлены на ограничение возможностей ИИ, а призваны создать более безопасную и контролируемую структуру взаимодействия человека и машины, гарантирующую, что даже перед лицом интеллекта, значительно превосходящего наши возможности понимания, мы по-прежнему будем обладать окончательной властью принятия решений и нести за них ответственность. Ниже приведены десять ключевых принципов, призванных стать компасом, который поможет нам ориентироваться в эпоху сверхинтеллекта.

Принцип 1: Рассматривать результаты модели как проверяемые гипотезы (Treat model outputs as testable hypotheses.)

Этот принцип требует от нас коренного изменения отношения к результатам работы ИИ. Какими бы авторитетными, исчерпывающими и убедительными ни казались ответы ИИ, мы не должны принимать их напрямую как окончательные факты или решения, а должны рассматривать их как «гипотезы», подлежащие проверке. Рассматривание результатов ИИ как гипотез является первой психологической линией защиты от ловушки «кажущейся обоснованности». Это побуждает нас превратиться из пассивных «получателей» в активных «проверяющих», ставя критическое мышление в центр взаимодействия человека и машины. На практике это означает, что каждый ключевой результат, полученный от ИИ, должен сопровождаться «планом проверки», в котором четко указаны конкретные шаги, необходимые для проверки достоверности данной «гипотезы». Например, если ИИ прогнозирует, что какая-то новая технология перевернет рынок, план проверки может включать: сравнительный анализ подлинности и точности всех источников данных, на которые ссылается ИИ; поиск доказательств или мнений экспертов, противоречащих выводам ИИ; создание небольшого, недорогого пилотного проекта для тестирования эффективности этой технологии в реальных условиях.

Принцип 2: Требовать воспроизводимой, сопоставимой и поддающейся аудиту цепочки доказательств для ключевых выводов (Require reproducible, comparable, and auditable chains of evidence for key conclusions.)

Этот принцип требует, чтобы ИИ при вынесении ключевых выводов одновременно предоставлял полную и отслеживаемую «цепочку доказательств», в которой подробно описывались бы все исходные данные, на которых основан вывод, использованные аналитические модели, ключевые промежуточные этапы, а также оценка неопределенности на каждом этапе. Вывод, который невозможно воспроизвести, по сути является «магией», а не наукой. Требование предоставления цепочки доказательств представляет собой попытку в определенной степени превратить «черный ящик» процесса принятия решений ИИ в «белый ящик», разбивая непроверяемое «утверждение» на ряд более легко проверяемых «шагов». При закупке или разработке систем ИИ в ключевых областях «предоставление поддающейся аудиту цепочки доказательств» должно рассматриваться как обязательное техническое требование. Например, система ИИ, используемая для медицинской диагностики, при вынесении заключения «положительный результат на рак» должна одновременно выделять все соответствующие клеточные характеристики, идентифицированные ею в патологическом срезе, а также приводить статистические данные по аналогичным случаям и соответствующую медицинскую литературу, подтверждающие её заключение.

Принцип 3: Сначала определите критерии приемки, а затем позвольте системе генерировать решения (Define acceptance criteria first, then let the system generate solutions.)

Этот принцип заимствует идею «разработки, управляемой тестированием» из области программной инженерии и требует, чтобы перед тем, как задать ИИ открытый вопрос, мы сначала совместно со всеми заинтересованными сторонами определили набор четких, количественных и измеримых «критериев приемки». Заранее установленные критерии служат объективной «точкой отсчета» для процесса оценки, перенося фокус оценки с вопроса «Как выглядит это решение?» на «Соответствует ли это решение нашим заранее установленным требованиям?». Предположим, что мы хотим использовать ИИ для оптимизации процесса найма в компании. Прежде чем поручить ИИ разработку решения, нам следует сначала сформулировать критерии приемки, которые могут включать: сокращение среднего срока найма с 45 до 30 дней; снижение затрат на отбор кандидатов на каждую должность на 20 % без ущерба для качества найма; обеспечение того, чтобы разница в показателях прохождения отбора между представителями разных полов и этнических групп не превышала 5 %. Только после того, как эти критерии будут четко определены и по ним будет достигнут консенсус, мы можем приступить к работе с ИИ.

Принцип 4: Повышение достоверности посредством многопутевой валидации (Increase confidence through multi-path validation.)

Основная идея этого принципа заключается в том, что «не следует класть все яйца в одну корзину». При принятии чрезвычайно важных решений мы не должны полагаться исключительно на одну модель ИИ или один метод проверки, а должны применять стратегию «многоканальной проверки», то есть одновременно использовать несколько источников и различных методов для перекрестной проверки одного вывода. Любая отдельная модель ИИ имеет присущие ей «предвзятость» и «слепые зоны». Благодаря привлечению нескольких независимых моделей для «консультации» мы можем значительно снизить риск катастрофических ошибок в оценке, вызванных недостатками отдельной модели. В таких ключевых областях, как национальная безопасность и финансовая стабильность, следует создать механизм «модельного жюри» или «красно-синего противостояния». Например, при оценке потенциального воздействия той или иной макроэкономической политики можно одновременно поручить трем независимым группам провести моделирование с использованием трех различных экономических моделей ИИ. Окончательное решение будет приниматься с учетом прогнозных результатов всех трех моделей, особенно в тех случаях, где между ними имеются расхождения.

Принцип 5: Снизить вес поверхностной правдоподобности и повысить вес доказуемости (Reduce the weight of surface plausibility and increase the weight of provability.)

Этот принцип требует от нас при оценке результатов ИИ сознательно сдерживать наше предпочтение к «плавности» и «красноречивости», а в системе оценки явно снижать вес показателей, связанных с «поверхностной правдоподобностью», и одновременно значительно повышать вес показателей, связанных с «доказуемостью».Это прямой ответ на «ловушку поверхностной правдоподобности», направленный на противодействие нашим собственным когнитивным искажениям посредством институционального проектирования. Он посылает четкий сигнал: мы вознаграждаем «факты», а не «литературный стиль». Мы можем создать структурированную оценочную таблицу, по которой оценщики должны будут выставлять баллы по каждому пункту для каждого отчета, сгенерированного ИИ. Вес балла за «качество изложения» может составлять всего 20 % от общего балла, а вес балла за «качество фактов» — 80 %.

Принцип шестой: Применять контрфактуальное тестирование к ключевым суждениям (Apply counterfactual testing to key judgments.)

«Тест на альтернативные сценарии» — это мысленный эксперимент, суть которого заключается в том, чтобы выяснить: «Каким был бы результат, если бы одно из ключевых условий было иным?». Когда ИИ выносит ключевое суждение, мы не можем ограничиваться лишь доказательствами, которые он приводит в его обоснование, но должны активно и систематически подвергать его сомнению. Мы должны заставить ИИ обосновать: «Почему X не является причиной Y?» или «Произошло бы Y в отсутствие X?». Такой подход помогает проверить «робастность» выводов ИИ и предотвратить его попадание в логическую ловушку, когда он опирается на простую корреляцию, а не на причинно-следственную связь. По-настоящему глубокое понимание должно не только объяснять, почему факты таковы, но и объяснять, почему они не таковы. Заставляя ИИ аргументировать с противоположной точки зрения, мы можем более полно понять сложность проблемы и обнаружить факторы или скрытые допущения, которые ИИ, возможно, упустил в своих первоначальных рассуждениях.

Принцип 7: Чётко определять непроверяемые области и устанавливать более высокие запасы безопасности (Clearly identify unverifiable areas and set higher safety margins.)

Мы должны честно признать, что некоторые результаты и действия сверхинтеллекта могут оставаться «непроверяемыми». Этот принцип требует от нас активно выявлять и очерчивать эти «непроверяемые области» и при принятии решений в этих областях применять гораздо более консервативную стратегию, чем в обычных условиях, то есть устанавливать более высокий «запас прочности». Осознание границ наших возможностей является основой управления рисками. Четкое определение непроверяемых зон означает, что мы признаем наличие в этих областях «неизвестного неизвестного» и должны применять подход «наихудшего сценария», уделяя больше внимания вероятности «наихудшего развития событий». В отношении системы ИИ мы можем, в зависимости от характера её задач, разделить диапазон её возможностей на «белую зону» (полностью проверяемую), «серую зону» (частично проверяемую) и «чёрную зону» (полностью непроверяемую). К решениям, относящимся к «черной зоне», следует применять самые строгие ограничения. Например, можно установить правило, согласно которому запрещены любые необратимые важные решения, основанные исключительно на прогнозах ИИ относительно отдаленного будущего.

Принцип 8: Использовать объясняемость в качестве порога разрешения (Use interpretability as a permission threshold.)

Этот принцип напрямую связывает уровень «объяснимости» системы ИИ с объемом предоставленных ей «полномочий». От того, насколько ясно и достоверно система ИИ способна объяснить собственную логику принятия решений, будет зависеть, в каких пределах и в какой степени ей будет разрешено действовать автономно. Система, неспособная объяснить свои действия, по сути является «безответственной» системой. Использование объясняемости в качестве порога для предоставления полномочий может стимулировать разработчиков направлять больше ресурсов на исследование и совершенствование технологий объясняемости ИИ. Мы можем создать многоуровневую систему полномочий ИИ: на первом уровне (минимальные полномочия) ИИ может только предоставлять информацию и рекомендации; второй уровень (средние полномочия) — ИИ может под контролем человека самостоятельно выполнять некоторые рутинные и обратимые операции, а также предоставлять объяснения постфактум; третий уровень (максимальные полномочия) — ИИ разрешается принимать решения в режиме реального времени и самостоятельно, но он должен обладать «предварительной объясняемостью», то есть до начала действия объяснять, что он намеревается сделать и почему.

Принцип 9: Избегайте единственных источников истины (Avoid single points of truth.)

Этот принцип подчеркивает важность сохранения «когнитивного разнообразия» в системе знаний, основанной на сотрудничестве человека и машины. Мы должны остерегаться чрезмерной зависимости от какой-либо одной, даже сверхинтеллектуальной системы ИИ, как от «единственного источника истины» для всех вопросов. Гибкость и устойчивость системы обусловлены её разнообразием. Система, управляемая единственным интеллектом, чрезвычайно уязвима. Если в этом «единственном источнике истины» присутствует какой-либо невыявленный нами фундаментальный дефект или предвзятость, то все решения, принятые на его основе, будут ошибочными. Внутри организации, даже при внедрении самой передовой системы ИИ для поддержки принятия решений, следует сохранить и финансировать «команду Б» или «команду реверс-инжиниринга», которая вообще не использует эту систему. На общественном уровне правительство и научно-исследовательские учреждения должны обеспечить параллельное финансирование технологий ИИ с различными архитектурами и парадигмами обучения, чтобы избежать формирования фактической монополии какой-либо одной технологии.

Принцип 10: Документировать цепочку принятия решений (Document the decision chain.)

Этот принцип требует от нас создания всеобъемлющего и не поддающегося фальсификации «цифрового архива» или «журнала принятия решений» для каждого важного процесса принятия решений, связанного с ИИ. В этом журнале должен подробно фиксироваться весь процесс принятия решения, включая: исходную задачу, версию использованной модели ИИ, полный текст вводных подсказок и данных, полный исходный текст вывода ИИ, изменения, внесенные человеком-решателем на основе вывода ИИ, и окончательное решение, а также обоснование этих изменений. Без записей нет анализа; без анализа нет прогресса. Эти журналы принятия решений станут чрезвычайно ценным хранилищем знаний, которое поможет нам анализировать успешные и неудачные примеры, выявлять системные отклонения ИИ и изучать модели взаимодействия человека и машины. В случае споров или инцидентов эта неизменяемая запись также станет ключевым доказательством для установления ответственности и вынесения судебных решений.

Эти десять принципов в совокупности составляют рамочную структуру управления, призванную справиться с проблемой «непроверяемости». Их основная идея заключается в переходе от иллюзии всемогущего «оракула» к реальности, в которой мы осторожно сотрудничаем с «партнером», обладающим мощными способностями, но не являющимся абсолютно надежным. Это требует от нас приложения большего количества усилий, создания более сложных процессов и постоянного поддержания здорового скептицизма. Но именно такую цену мы должны заплатить, чтобы сохранить контроль над своей судьбой, вступая в новую эру, созданную нами самими и управляемую более высоким интеллектом.

План действий

Беспрецедентный интеллектуальный разрыв между сверхразумом и человечеством приведёт к возникновению фундаментальной проблемы «непроверяемости». Наша способность оценивать качество результатов ИИ, распознавать его истинные намерения и проверять его процессы принятия решений будет подвергаться систематическому ослаблению. Мы рассмотрели ловушку «кажущейся обоснованности», когда системы ИИ оптимизируются для генерации убедительных текстов, а не проверяемых фактов, и могут даже прибегать к стратегическому обману для достижения скрытых целей. Мы также проанализировали, как традиционные механизмы проверки ответственности и анализа решений перестанут функционировать из-за разрыва в ответственности, когда ядро цепочки принятия решений будет занято ИИ, работающим по принципу «черного ящика».

Перед лицом этого вызова мы должны проактивно создать новую, более устойчивую рамочную систему управления. Десять ключевых принципов, представленных в этой главе — рассматривать результаты как гипотезы, требовать цепочку доказательств, заранее определять стандарты, проводить многоканальную проверку, уделять внимание доказуемости, проводить контрфактические тесты, выделять непроверяемые области, использовать объясняемость в качестве порогового критерия, избегать единственного источника истины и документировать цепочку принятия решений — вместе составляют руководство к действию. Суть этих принципов заключается в том, что они требуют от нас превратиться из пассивных «потребителей информации» в активных, осмотрительных и опирающихся на доказательства «верификаторов».

Руководителям организаций необходимо сформировать культуру «осторожного ИИ», инвестировать в развитие возможностей верификации и внедрить многоуровневую систему разрешений на использование ИИ. Разработчикам технологий следует уделять приоритетное внимание объяснимости, создавать системы, ориентированные на «приоритет доказательств», и внедрять «адаптивный дизайн». Каждому специалисту, занимающемуся интеллектуальным трудом, необходимо развивать менталитет «верификатора», осваивать искусство «задавать вопросы» и защищать свою когнитивную автономию.

Глава 3. Три ускорителя и три узкие места / Chapter 3 Three Accelerators and Three Chokepoints

Введение в главу

Мы находимся в новой эпохе, определяемой данными, алгоритмами и вычислительной мощностью. Наступление сверхинтеллекта — это не какое-то отдаленное, изолированное событие типа «сингулярности», а непрерывный процесс, который формируется, ускоряется и сдерживается множеством различных сил. Чтобы управлять будущим, необходимо понять динамику этого процесса, особенно те «ускорители», которые, подобно мощным двигателям, продвигают его развитие, а также те «узкие места», которые в любой момент могут перекрыть ему путь. Без четкого понимания фундаментальных сил, движущих преобразованиями, и без выявления потенциальных системных рисков любое планирование будущего будет воздушным замком.

Все значительные технологические преобразования происходят благодаря комплексному росту нескольких ключевых факторов, а не линейному прорыву в рамках одной технологии. Возникновение цифровой эпохи стало результатом наслоения целой серии инновационных волн: развития полупроводниковых технологий, появления персональных компьютеров, интернета и мобильной связи. Сегодня развитие искусственного интеллекта, в особенности общего искусственного интеллекта (AGI), следует аналогичной, но более радикальной логике. В основе этой трансформации лежит синергетический эффект четырех основных ускорителей: вычислительной мощности (Computing Power), данных (Data), капитала (Capital) и каналов распространения (Distribution Channels).

Вычислительная мощность — это основа всего этого. Чтобы удовлетворить потребности искусственного интеллекта, к 2030 году глобальные инвестиции в центры обработки данных могут достичь 6,7 трлн долларов США, причем более 75 % будут напрямую направлены на обеспечение рабочих нагрузок ИИ (McKinsey, 2025). Инвестиции такого масштаба не имеют прецедентов в истории. Рост вычислительной мощности подчиняется почти алчному экспоненциальному закону: каждое повышение производительности открывает путь к созданию более крупных и сложных моделей, а новые модели, в свою очередь, ещё больше стимулируют спрос на более мощные вычислительные ресурсы. От графических процессоров NVIDIA до TPU от Google — мы создаём беспрецедентную вычислительную инфраструктуру, которая сама по себе представляет собой мощный цикл положительной обратной связи.

Данные — это пища, питающая модели ИИ. Мы живем в мире, переживающем взрывной рост данных, объем и размерность которых растут с беспрецедентной скоростью. Что еще более важно, мы переходим от эпохи «больших данных» к эпохе «больших моделей», и ценность данных больше не заключается только в их объеме, но и в их качестве, разнообразии и взаимосвязанности. Высококачественные аннотированные данные, технологии генерации синтетических данных, а также прорывы в области обучения без учителя позволяют ИИ извлекать из данных более глубокие инсайты и способности; этот эффект «маховика данных», однажды запущенный, будет самоусиливаться.

Капитал выступает в качестве катализатора в этом ускорителе. В сферу ИИ в беспрецедентных масштабах вливаются средства венчурного капитала, корпоративные инвестиции в НИОКР и стратегические инвестиции государственного уровня. Широкое внедрение генеративного ИИ может увеличить мировой ВВП почти на 7 трлн долларов США в течение десяти лет (Goldman Sachs, 2023). Эти огромные экономические перспективы привлекают колоссальные капиталовложения, которые не только финансируют гонку за вычислительной мощностью и накопление данных, но и перестраивают структуру всей отрасли посредством слияний и поглощений, борьбы за таланты и рыночной консолидации. Направление потоков капитала в значительной степени определяет направление и скорость развития технологий.

Каналы распространения определяют, смогут ли возможности ИИ перейти из лабораторий в реальный мир и оказать масштабное влияние. Облачные платформы, такие как Amazon AWS, Microsoft Azure и Google Cloud, стали де-факто стандартом для обучения и развертывания моделей ИИ. Они объединяют дорогостоящие вычислительные ресурсы и сложный программный стек в легкодоступные сервисы, что значительно снижает порог входа для инноваций. В то же время сообщества открытого исходного кода, экономика API и глобализированная цифровая экосистема позволяют новейшим технологиям ИИ быстро достигать миллиарды пользователей практически без затрат. Такая высокоэффективная сеть распространения гарантирует, что инновации, зародившиеся в любом уголке мира, могут в кратчайшие сроки вызвать глобальную цепную реакцию.

Однако развитие ИИ сталкивается и с ключевыми «узкими местами». Эти ограничивающие ресурсы или структурные слабые места, подвергшись воздействию, могут привести к замедлению или даже остановке всей системы. Мы выделили три основных узких места: энергия (Energy), цепочка поставок микросхем (Chip Supply Chain) и кадры (Talent).

ИИ — это энергоемкая отрасль. Электроэнергия, потребляемая для обучения одной крупной языковой модели, сопоставима с объемом электроэнергии, потребляемым небольшим городком за несколько месяцев. В отчете Goldman Sachs содержится предупреждение о том, что дефицит электроэнергии может стать одним из главных препятствий для развития ИИ в США (Goldman Sachs, 2025). В связи с экспоненциальным ростом числа центров обработки данных глобальная энергосистема испытывает беспрецедентную нагрузку. Стабильность поставок энергии, её стоимость и углеродный след превращаются из операционной проблемы в стратегический вопрос, определяющий устойчивость развития ИИ.

Микросхемы являются стратегическим приоритетом в эпоху ИИ. Производство высокотехнологичных микросхем для ИИ в значительной степени сосредоточено в руках нескольких компаний и регионов, таких как TSMC и голландская ASML. Такая высококонцентрированная структура цепочки поставок чрезвычайно уязвима в условиях геополитической борьбы. Ограничения США на экспорт микросхем в Китай, а также стремление стран по всему миру к самостоятельности и контролю в сфере полупроводников подчеркивают «удушающий» эффект цепочки поставок микросхем. Сбой в любом звене может нанести сокрушительный удар по глобальной индустрии ИИ.

Кадры — это самый дефицитный и ценный ресурс для любых инноваций. Ведущие исследователи, инженеры и стратеги в области ИИ являются ядром, расширяющим границы технологий и создающим сложные системы. Глобальная борьба за таланты в сфере ИИ уже достигла своей кульминации. Способность той или иной страны или компании привлекать, готовить и удерживать ведущих специалистов напрямую определяет её положение в будущей гонке за лидерство в сфере ИИ.Отток талантов — это самая непосильная потеря для любой организации, стремящейся занять лидирующие позиции в эпоху ИИ.

Хотя будущее непредсказуемо, его очертания формируются именно нашим сегодняшним пониманием этих фундаментальных сил и нашими действиями в ответ на них. В этой главе мы подробно проанализируем внутреннюю логику этих ускорителей и «узких мест» и сформулируем ряд ключевых принципов, которые помогут нам лучше управлять реальностью, создавать резервы, предвидеть риски и, в конечном итоге, принимать более мудрые стратегические решения в эту эпоху сверхинтеллекта, полную неопределенности.

1. Ускорители: совокупный эффект вычислительной мощности, данных, капитала и каналов распространения

Возникновение сверхразума обусловлено не одной отдельной технологией, а является результатом «комплексного эффекта» (Compound Gains), формируемого взаимодействием и взаимным усилением четырех ключевых ускорителей: вычислительной мощности, данных, капитала и каналов распространения. Эти четыре элемента образуют мощную систему положительной обратной связи, общий эффект которой намного превосходит сумму отдельных частей. Понимание внутренней динамики этой системы является ключом к пониманию скорости и масштабов технологических преобразований нашей эпохи.

Ускорители

Ключевая роль

Модель роста

Ключевые примеры

Композитный эффект

Вычислительная мощность

Физические основы, определяющие границы возможного

Экспоненциальный рост, движимый аппаратными итерациями

GPU NVIDIA, TPU Google

Более высокая вычислительная мощность поддерживает более крупные модели, а более крупные модели стимулируют спрос на вычислительную мощность

Данные