На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Суперинтеллект, как потенциальная форма интеллекта, значительно превосходящая человеческий, будет иметь ещё более глубокие и сложные структурные последствия. Типичным примером является то, что ведущие мировые технологические компании, такие как Google, Microsoft, Meta и другие, вкладывают сотни миллиардов и даже триллионы долларов в «гонку вооружений», стремясь первыми реализовать универсальный искусственный интеллект. Движущей силой этой гонки, на первый взгляд, являются коммерческие интересы, но за ними скрывается борьба за право определять «операционную систему» будущего общества. Как отмечает журнал «Noema», «дискуссия о сверхразуме — это не пассивное предсказание будущего, а активное его конструирование» (O’Sullivan, 2025). Внедряя в общественное сознание нарратив о «неизбежности AGI», небольшая группа технологической элиты фактически направляет глобальные ресурсы, таланты и внимание к будущему, которое они сами определили. Само по себе право голоса в этом дискурсе является мощной структурной силой, которая незаметно исключает другие возможности и заставляет общественность, сама того не осознавая, передать право решать судьбу человечества этим компаниям и их лидерам.

Еще один пример связан с ростом популярности алгоритмического управления (Algorithmic Governance). От финансовых транзакций и одобрения кредитов до прогнозной полицейской деятельности в сфере общественной безопасности и модерации контента в социальных сетях — алгоритмы все чаще заменяют людей в принятии ключевых социальных решений. Эти системы широко применяются под лозунгами «эффективности» и «объективности». Однако повышение эффективности зачастую сопровождается концентрацией власти.

Например, алгоритмы высокочастотной торговли способны за доли миллисекунды принимать решения и выполнять операции, недоступные для человеческих трейдеров, что позволяет небольшому числу финансовых учреждений, обладающих самыми передовыми алгоритмами и самым быстрым интернет-соединением, извлекать сверхприбыль из рынка, усугубляя тем самым неравенство на финансовых рынках. Что ещё более важно, логика принятия решений этими алгоритмами зачастую представляет собой «чёрный ящик», благодаря чему их разработчики, владельцы и пользователи получают огромную, не подлежащую контролю власть. Когда заявка человека на получение кредита отклоняется алгоритмом, он зачастую не имеет возможности узнать конкретные причины отказа и с трудом может подать эффективную жалобу. Такая асимметрия власти ярко демонстрирует, что сверхразум является структурной силой, а не просто инструментом. Она меняет не только то, «как принимаются решения», но и то, «кто может принимать решения».

Поэтому мы должны выйти за рамки стереотипного мышления в терминах «продукта» и «инструмента» и рассмотреть, как сверхинтеллект перестроит наше общество, с точки зрения структурной силы. Это требует от нас не только уделять внимание повышению эффективности, которое он приносит (первичный эффект), но и с осторожностью относиться к вызванным им перераспределению власти, институциональному давлению и цепным реакциям (вторичный эффект). Три ключевые характеристики сверхразума как структурной силы: чем он отличается от обычных технологических алгоритмов; как он коренным образом меняет распределение полномочий по принятию решений; и как повышение эффективности приводит к концентрации власти и оказывает воздействие на существующие институты. Исходя из этого, мы сформулируем десять ключевых принципов, которые послужат систематической концептуальной основой для управления этой беспрецедентной силой.

1. Она больше похожа на структурную силу, чем на обычный инструмент итеративного вычисления

Любая аналогия между сверхинтеллектом и какими-либо технологиями прошлого может вводить в заблуждение, но для понимания масштабов его воздействия мы должны найти наиболее близкий эталон. Это не просто улучшенный молоток, а открытие и применение силы тяжести. Молоток усиливает силу наших рук, но не изменяет законы физики. А понимание и применение гравитации как структурной силы породили целый ряд совершенно новых технологий и отраслей — от гидротехники до аэрокосмической промышленности — и коренным образом изменили отношения человека с физическим миром. Сверхразум — это именно такая «гравитация» цифрового мира.

Ключевой особенностью структурной силы является её «генеративность» (Generativity). Это не закрытая система, разработанная для решения какой-то конкретной задачи, а открытая платформа, способная порождать бесчисленное множество новых приложений, новых видов поведения и новых структур. Появление персонального компьютера (ПК) не ограничивалось просто заменой пишущей машинки и калькулятора. Оно создало совершенно новую платформу, на которой бесчисленные разработчики могли создавать различные приложения — от программ для обработки текстов и электронных игр до браузеров. Эти приложения, в свою очередь, породили новые отрасли и культурные явления.

То же самое можно сказать и об Интернете: изначально он был разработан для удовлетворения потребностей Министерства обороны США в области связи, но его открытая и децентрализованная архитектура превратила его в глобальную информационную, коммерческую и социальную платформу, на которой возникли такие коммерческие империи, как Google, Amazon и Facebook, полностью превзошедшие воображение их создателей. Сверхразум, в особенности общий искусственный интеллект (AGI), станет самой продуктивной платформой из всех, что существовали до сих пор.AGI, достигший или даже превзошедший уровень человека, сможет не только выполнять задачи, поставленные людьми, но и самостоятельно учиться, совершенствоваться, а также создавать совершенно новые знания, технологии и формы искусства. Он станет «двигателем» инноваций, результаты которого намного превзойдут наше воображение. Такая творческая сила приведет к тому, что его влияние перестанет ограничиваться конкретными областями, а распространится на все аспекты общества, коренным образом изменив парадигмы производства знаний, экономического роста и социальной эволюции.

Структурные силы переопределяют «границы возможного» (The Frontier of Possibility). Итерационные вычисления с использованием традиционных инструментов направлены на оптимизацию в рамках существующих границ возможного. Например, более быстрый автомобиль позволяет нам быстрее добраться из точки А в точку Б, но он не меняет того фундаментального факта, что нам приходится перемещаться в физическом пространстве. Структурные же силы раздвигают эти границы. Изобретение книгопечатания сделало возможным недорогое и массовое воспроизведение знаний, что было невообразимо в эпоху рукописей. Оно непосредственно привело к Реформации, научной революции и возникновению современных национальных государств.

Точно так же сверхразум значительно расширит границы наших возможностей. В области научных исследований он сможет, анализируя огромные объемы данных, обнаруживать сложные закономерности, которые трудно уловить человеческим ученым, и тем самым добиваться прорывных достижений в таких областях, как материаловедение, разработка лекарственных препаратов и климатическое моделирование. Ярким примером этого является система AlphaFold 2 компании DeepMind, которая, точно предсказывая структуру белков, решила одну из важнейших задач в области биологии, над которой работали в течение 50 лет. В экономической сфере сверхразум может, благодаря автоматизации управления и операционной деятельности, создать полностью автономные «децентрализованные автономные организации» (DAO), что приведет к радикальному перевороту в традиционной корпоративной системе. Все это трудно реализовать, а порой даже трудно представить в рамках существующих технологических возможностей. Когда границы возможного будут переопределены, существующая система оценки ценностей, правовые рамки и этические нормы общества столкнутся с огромными вызовами.

Структурные силы вызовут «системное появление» (Systemic Emergence). Его влияние не будет линейным и предсказуемым, а сложным, нелинейным и зачастую приводящим к неожиданным «эмерджентным» явлениям. Когда достаточное количество людей подключается к Интернету, возникают совершенно новые социальные динамики, такие как «сетевой эффект» и «вирусное распространение». Эти явления не являются результатом замысла или контроля со стороны какого-либо отдельного субъекта, а являются следствием взаимодействия бесчисленного множества индивидуумов внутри системы. Сложность сверхразумных систем сделает их эмерджентное поведение ещё более непредсказуемым и трудноконтролируемым.

Глобальная сеть, состоящая из бесчисленных ИИ-агентов, может предпринять ряд действий, имеющих огромные негативные последствия для человеческого общества, ради достижения какой-то, казалось бы, благотворной цели (например, оптимизации глобальной энергоэффективности), причём логическая цепочка этих действий может быть настолько длинной, что ни один человек не сможет её полностью понять. Кроме того, когда несколько независимых сверхразумных систем взаимодействуют и соревнуются друг с другом в глобальном масштабе, динамическая игра между ними может привести к глобальной нестабильности и даже к конфликтам. Именно такое системное эмерджентное поведение является основной причиной, по которой их следует рассматривать как структурную силу, а не как обычный инструмент. Мы больше не можем управлять силой, способной изменить законы физики, с помощью «молотка управления».

2. Ключевое отличие заключается в том, кто будет принимать решения

Технологии никогда не бывают нейтральными: они всегда встроены в конкретные социальные отношения власти и, в свою очередь, формируют эти отношения. Самое фундаментальное отличие сверхразума от прежних технологий, возможно, заключается не в скорости повышения эффективности, а в его способности изменять ключевой политический вопрос: «кто может принимать решения». Право принимать решения — это суть власти. Контролируя процесс принятия решений, можно контролировать распределение ресурсов, иерархию ценностей и направление будущего. Суперинтеллект кардинально меняет принадлежность права принятия решений тремя способами: от человека к машине, от большинства к меньшинству, от прозрачности к непрозрачности.

Наиболее очевидным изменением является систематический переход полномочий по принятию решений от человека к машине. Речь идет не просто об автоматизации (Automation), а об автономизации (Autonomization). Автоматизация — это выполнение машинами задач в соответствии с заранее заданными человеком правилами, при этом право принятия решений в конечном итоге по-прежнему остается в руках человека. Например, на автоматизированной производственной линии завода решение о том, что и в каком количестве производить, в конечном итоге принимает человек-руководитель. Автономизация же заключается в том, что машины на основе восприятия окружающей среды и обучения самостоятельно формулируют цели и разрабатывают стратегии действий.

Право принятия решений фактически уже ускользнуло из рук человека. Типичным примером является «алгоритмическая торговля» (Algorithmic Trading) в финансовой сфере. По оценкам, на американском фондовом рынке более 70 % сделок совершается с помощью алгоритмов (Investopedia, 2023). Эти алгоритмы не только выполняют сделки, но и на основе анализа огромных объемов рыночных данных и новостей самостоятельно решают, что, когда и по какой цене покупать или продавать.«Молниеносный обвал» (Flash Crash) 6 мая 2010 года, когда индекс Доу-Джонса обрушился почти на 1000 пунктов за несколько минут, а рыночная капитализация сократилась почти на триллион долларов, в основном объясняется взаимодействием нескольких алгоритмов и циклом положительной обратной связи.

В ходе этого процесса трейдеры-люди оказались полностью оттеснены на второй план и могли лишь пассивно наблюдать за происходящим и терпеть последствия. Это предвещает будущее, в котором во всё большем числе областей — от военного командования (автономные системы вооружения) и медицинской диагностики до управления городским транспортом — ключевые решения будут приниматься системами искусственного интеллекта в временных масштабах, непостижимых для человека и недоступных для его вмешательства. Когда скорость и сложность принятия решений превышают когнитивные пределы человека, «передача» права принятия решений машинам кажется единственным выходом. Но это своего рода «фаустовская сделка»: мы обмениваем власть на эффективность, но в конечном итоге можем утратить контроль над собственной судьбой.

Право принятия решений все больше концентрируется в руках меньшинства, переходя из общественной сферы в руки частных компаний. Разработка и внедрение сверхразума требуют огромных капиталовложений, огромных объемов данных и лучших специалистов. В настоящее время эти ресурсы в значительной степени сосредоточены в руках нескольких глобальных технологических гигантов, таких как Google, Microsoft, Amazon, Meta и Apple. Они не только обладают самыми передовыми моделями и инфраструктурой вычислительных мощностей, но и, благодаря своим платформам, контролируют данные миллиардов пользователей по всему миру.

Такая монополия на «вычислительные мощности и данные» наделяет их огромной властью определять направления развития ИИ и правила его применения. Когда государственные учреждения или общественный сектор нуждаются в использовании передовых возможностей ИИ, им зачастую приходится полагаться на технологии и услуги этих частных компаний. Например, Министерство обороны США в рамках облачного проекта «Объединенная инфраструктура корпоративной защиты» (JEDI) планирует заключить контракт на сумму 10 миллиардов долларов с единственным поставщиком облачных услуг. Такое перевертывание соотношения сил между государством и частным сектором не имеет прецедентов.

В прошлом такие объекты инфраструктуры, как электроэнергетика и железные дороги, обычно находились под контролем государства или подвергались строгому регулированию с целью обеспечения их общественного характера. Однако сегодня «суперинтеллект» — важнейшая инфраструктура XXI века — создаётся и принадлежит частным компаниям. Эти компании ставят своей главной целью максимизацию прибыли акционеров, а не общественные интересы. Разработанные ими алгоритмические правила определяют то, какие новости мы видим, какие товары покупаем и какую социальную оценку получаем. Как показала ученый Шошана Зубофф (Shoshana Zuboff) в своей книге «Эпоха капитализма наблюдения» (The Age of Surveillance Capitalism) (Zuboff, 2019), эти компании используют свою власть над данными для прогнозирования и изменения поведения людей в целях достижения своих коммерческих целей. Это новая форма власти, которая обходит традиционные демократические процедуры и осуществляет управление обществом непосредственно на уровне кода и алгоритмов. Право принятия решений незаметно переходит из рук избранных парламентов и правительств в руки советов директоров и инженеров этих компаний.

Процесс принятия решений превращается из относительно прозрачного в крайне непрозрачный. Традиционный бюрократический процесс принятия решений, хотя и является обременительным, в основном следует закрепленным в законах нормам и процедурам и находится под контролем парламента, СМИ и общественности. Принятие той или иной политической меры требует проведения открытых слушаний, дебатов и голосования. В то же время принятие решений на основе алгоритмов зачастую происходит в «черном ящике». В частности, модели, основанные на глубоком обучении, имеют чрезвычайно сложную внутреннюю логику принятия решений, и даже их разработчики не могут полностью объяснить, почему модель принимает то или иное конкретное решение.

Такая непрозрачность создает благоприятную почву для злоупотребления властью и закрепления дискриминации. В одном из известных расследований 2016 года организация ProPublica обнаружила, что алгоритм COMPAS, используемый американскими судами для прогнозирования риска рецидива, демонстрирует явную предвзятость по отношению к обвиняемым афроамериканцам, систематически завышая вероятность повторного совершения ими преступления (Angwin et al., 2016). Однако, поскольку этот алгоритм является коммерческой тайной компании Northpointe, его разработчика, внешний мир не может провести его эффективную проверку и обеспечить подотчетность. Когда право принятия решений заключено в непрозрачном алгоритме, основные права граждан, такие как право на справедливое судебное разбирательство и право на равные возможности, могут подвергаться ущемлению. Более того, когда органы национальной безопасности используют непрозрачные системы искусственного интеллекта для слежения и анализа разведывательной информации, угроза гражданским свободам становится ещё более серьёзной. Мы вступаем в эпоху «алгоритмической гегемонии» (Algorithmic Hegemony), когда власть не только концентрируется, но и скрывается за сложным кодом и проприетарными системами, что лишает силы традиционные механизмы подотчётности и систему сдержек и противовесов.

3. Повышение эффективности приведет к концентрации власти и институциональному давлению

Эффективность — это самый непосредственный и заманчивый плод технического прогресса. Появление сверхинтеллекта, несомненно, принесет беспрецедентное повышение эффективности практически во всех сферах. От автоматизации научных открытий и персонализированной прецизионной медицины до оптимизации глобальных цепочек поставок и решения таких сложных проблем, как изменение климата, — его потенциал кажется безграничным. Однако повышение эффективности — это не чисто технический или экономический процесс, а глубокий политический процесс. В человеческом обществе повышение эффективности почти всегда приводит к усилению власти и оказывает огромное давление на существующие социальные институты и структуры власти.

Повышение эффективности напрямую ведет к концентрации экономической власти. В условиях рыночной конкуренции предприятия с более высокой эффективностью способны поставлять продукты и услуги с меньшими затратами и быстрее, что позволяет им завоевывать большую долю рынка. Сверхразум доведёт эту динамику «победитель получает всё» до крайней степени. Производительность компании, первой освоившей и эффективно использующей сверхразум, может превышать показатели конкурентов на несколько порядков. Она сможет с беспрецедентной точностью прогнозировать рыночный спрос, оптимизировать производственные процессы и управлять отношениями с клиентами.

В результате эта компания сможет быстро завоевать рынок, вытеснив всех менее эффективных конкурентов и создав фактическую монополию. Такая монополия не будет ограничиваться какой-то конкретной отраслью, а, возможно, охватит несколько сфер, сформировав беспрецедентную «суперкомпанию». Такая концентрация экономической власти приведет к серьезным социальным последствиям. Она задушит инновации и конкуренцию, сократит выбор потребителей и приведет к тому, что вся экономическая экосистема станет зависимой от нескольких гигантов. Что ещё более важно, огромная экономическая власть неизбежно превратится в политическую. Эти суперкорпорации будут обладать огромным лоббистским потенциалом, позволяющим им влиять на законодательную и регуляторную политику правительств, направляя её в выгодное для себя русло. Они могут даже обладать более мощным экономическим и технологическим потенциалом, чем многие суверенные государства, и тем самым стать независимой политической силой на мировой арене.

Повышение эффективности окажет огромное давление на систему распределения доходов в обществе. Автоматизация, основанная на сверхразуме, заменит не только физический труд рабочих, но и умственный труд значительного числа служащих, включая юристов, бухгалтеров, аналитиков и даже менеджеров среднего звена. Исследование Оксфордского университета показало, что примерно 47 % рабочих мест в США подвергаются высокому риску замены автоматизацией в ближайшие 10–20 лет (Frey & Osborne, 2017). Хотя технический прогресс исторически всегда приводил к появлению новых рабочих мест, скорость и масштаб нынешних преобразований, возможно, будут беспрецедентными.

Если значительная часть рабочей силы будет быстро замещена, а новые рабочие места не будут создаваться своевременно, мы столкнемся с массовой структурной безработицей и социальными потрясениями. Это создаст огромную финансовую нагрузку на существующие системы социального обеспечения, страхования по безработице и пенсионного обеспечения. Еще более фундаментальный вопрос заключается в том, как будут распределяться плоды экономического роста, когда его основной движущей силой станет искусственный интеллект, а не человеческий труд? Если большая часть богатства будет уходить к небольшой группе людей, владеющих системами ИИ и капиталом, в то время как доходы широких масс простых трудящихся будут стагнировать или даже снижаться, в обществе возникнет серьезная поляризация. Такое крайнее неравенство подорвет социальную сплоченность, обострит социальные противоречия и в конечном итоге поставит под угрозу политическую стабильность. Разработка новых механизмов распределения, таких как универсальный базовый доход (Universal Basic Income, UBI), право собственности на данные или налог на ИИ, для решения проблем распределения, связанных с появлением сверхразума, станет одной из ключевых политических тем XXI века.

Повышение эффективности окажет разрушительное воздействие на существующую систему глобального управления и геополитическую конъюнктуру. Сверхинтеллект представляет собой типичную технологию «двойного назначения», и его применение в военной сфере коренным образом изменит характер ведения войны. Автономные системы вооружения, беспилотники, действующие «роем», кибератаки на основе искусственного интеллекта и информационная война сделают войны более быстрыми, масштабными и трудноконтролируемыми. Если какая-либо страна первой достигнет «превосходства в области сверхразума» в военной сфере, она может получить решающее стратегическое преимущество, что нарушит существующий глобальный военный баланс.

Это вызовет ожесточенную и нестабильную глобальную гонку вооружений в сфере ИИ. Чтобы не отстать в этой гонке, страны, возможно, будут, несмотря на риски, ускорять разработку и развертывание систем летального автономного оружия (Lethal Autonomous Weapons Systems, LAWS). Логика такой гонки сделает чрезвычайно сложными совместные усилия международного сообщества в области безопасности и этики ИИ. Кроме того, экономические и технологические преимущества, которые принесет сверхразум, также станут ядром геополитической конкуренции. Страны будут бороться за контроль над кадрами в сфере ИИ, данными, алгоритмами и вычислительными ресурсами. Мы, возможно, станем свидетелями раскола мира на несколько «техноблоков» (Techno-blocs), в основе которых лежат различные технологические экосистемы ИИ, например, блок во главе с США и блок во главе с Китаем. Такое «технологическое разобщение» будет препятствовать глобальному сотрудничеству, усугубит недоверие и противостояние между великими державами, а также затруднит решение таких общих вызовов, как изменение климата и глобальные эпидемии. Существующая система глобального управления, в центре которой находится ООН, при разработке не учитывала существование такой силы, как сверхразум, и ей будет трудно эффективно реагировать на новые глобальные риски, такие как гонка вооружений в области ИИ и противостояние технологических блоков.

Подробное объяснение ключевых принципов

Перед лицом суперинтеллекта — этой беспрецедентной структурной силы — нам необходим совершенно новый концептуальный подход и руководство к действию. Приведенные ниже десять ключевых принципов служат систематическим ориентиром для политиков, руководителей предприятий, исследователей и широкой общественности, чтобы мы могли управлять этой силой, а не быть поглощенными ею.

Принцип 1: Управление сверхразумом как структурной силой (Manage Superintelligence as a Structural Force)

Формулировка принципа: Этот принцип требует от нас коренного изменения представлений о сверхинтеллекте. Он не является инструментом, который можно просто встроить в существующие процессы, а представляет собой силу, способную переформировать фундаментальные структуры экономики, политики и общества. Управлять ею означает выйти за рамки краткосрочных технических и коммерческих соображений и на системном уровне разработать новые рамки управления, правовые нормы и общественный договор. Почему это важно: если мы будем рассматривать её исключительно как инструмент, наши меры реагирования будут разрозненными, пассивными и всегда будут отставать от развития технологий.