На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Чтобы претворить эти размышления в жизнь, мы предлагаем начать со следующего списка: на личном уровне практикуйте «сканирование периферии» — сознательно выберите одно «периферийное» приложение ИИ, которое вызывает у вас любопытство, но с которым вы пока не знакомы, и в течение месяца отслеживайте его итерации, обсуждения в сообществе и рост числа пользователей, чтобы на собственном опыте почувствовать, как технология превращается из «игрушки» в «инструмент». Одновременно практикуйте «экстернализацию гипотез», преобразуя расплывчатые прогнозы о будущем в структурированные гипотезы.

На организационном уровне инициируйте «оценку обратимости», вводя на важных совещаниях по принятию решений обсуждение «дверей первого и второго типов», чтобы помочь команде оценить обратимость решений и соответствующим образом скорректировать процессы принятия решений. Кроме того, следует сформировать «портфель рисковых инвестиций», рассматривая экспериментальные вложения в ИИ как внутренние рисковые инвестиции, четко определить фонд финансирования и ресурсов, а также поощрять небольшие команды к проведению недорогих инновационных экспериментов с высоким потенциалом. На социальном уровне мы призываем поддерживать создание «когнитивной инфраструктуры»: посредством пожертвований, волонтерской деятельности или публичной информационной работы оказывать поддержку некоммерческим организациям и академическим учреждениям, занимающимся исследованиями в области безопасности ИИ, проблем согласования и управления, чтобы обеспечить безопасное развитие всего общества.

Этот перечень — не конечная цель, а лишь отправная точка. Настоящие изменения начинаются с того, что каждый из нас, находясь на своём месте, начнёт наблюдать, размышлять и действовать в соответствии с новым набором принципов. В эпоху сверхразума нет сторонних наблюдателей — мы все являемся её созидателями.

Введение

:

Превратить

будущее

в

управляемую

проблему

/ Introduction: Turn the Future into a Manageable Problem

Введение в главу

В марте 2016 года AlphaGo, разработанная компанией DeepMind, входящей в состав Google, победила ведущего мирового игрока в го Ли Се-соля со счётом 4:1, что потрясло весь мир. Это была не просто победа на игровом поле, а явный сигнал: область, долгое время считавшаяся последним оплотом человеческого интеллекта, завоевывается машинами беспрецедентным образом. С тех пор темпы развития искусственного интеллекта (ИИ) превзошли самые смелые прогнозы. От генеративного ИИ, способного создавать реалистичные тексты и изображения, до прорывов в решении сложных научных задач, таких как сворачивание белков, — мы находимся на пороге эпохи преобразований, движимой алгоритмами. Сверхразум — интеллектуальная сущность, значительно превосходящая по своим способностям самый умный человеческий мозг во всех областях — больше не является научно-фантастической концепцией; он выходит из тумана теории и становится вполне вероятным будущим, с которым нам предстоит серьезно столкнуться еще при нашей жизни.

Перед лицом этой грядущей грандиозной трансформации реакция мирового сообщества демонстрирует хаотичную поляризацию. С одной стороны — почти утопический энтузиазм: технологические оптимисты рисуют прекрасное будущее, движимое сверхразумом: болезни побеждены, бедность искоренена, человечество освобождено от тяжкого труда и вступает в «золотой век», характеризующийся огромным материальным и духовным богатством. С другой стороны — бездонный апокалиптический страх: от Илона Маска до покойного Стивена Хокинга многие выдающиеся мыслители предупреждали, что неконтролируемый сверхразум может представлять угрозу для самого существования человечества. Эти опасения не взяты из воздуха : сверхразум, цели которого не совпадают с нашими, может, стремясь достичь своих собственных целей, непреднамеренно (или намеренно) рассматривать человечество как препятствие и устранить его.

Находясь между этими двумя крайними эмоциями, наше общественное обсуждение суперразума часто заходит в тупик, превращаясь либо в философскую дискуссию о технологической сингулярности, либо в политическую перепалку на тему «стоит ли нам нажать на кнопку паузы». Фрагментарность, эмоциональность и неструктурированность таких дискуссий приводят к тому, что мы, как вид, медленно реагируем на этот окончательный вызов и с трудом достигаем эффективного консенсуса. Политики, лидеры бизнеса и обычные люди во всех странах испытывают глубокое замешательство и чувство беспомощности. Кажется, мы все ждем однозначного ответа, но само будущее по своей сути неопределенно.

В этом и заключается основная идея книги: мы должны перестать рассматривать будущее с суперразумом исключительно как вопрос, требующий «прогнозирования» или «веры», и начать воспринимать его как инженерную задачу, требующую «управления». Как и в случае с другими революционными технологиями, с которыми человечество сталкивалось в истории — такими, как атомная энергия или редактирование генов, — ключ заключается не в бесконечных спорах о том, хорошо это или плохо, а в создании системной рамки, позволяющей понять, разобрать и освоить эту технологию, чтобы превратить огромный, неопределённый вызов, казавшийся непосильным, в ряд конкретных, выполнимых и постепенно решаемых управленческих задач. Наша цель — не предсказать, когда нагрянет буря, а спроектировать и построить достаточно прочное судно, чтобы мы смогли благополучно пережить её, каким бы образом она ни обрушилась.

Задача этой книги — предоставить именно такую концептуальную основу и методологию. Она не дает простых ответов, поскольку в столь сложных вопросах простые ответы почти наверняка будут ошибочными. Напротив, она предлагает набор инструментов, помогающих нам мыслить и принимать решения более структурированно и менее эмоционально. Мы покажем, как путем иерархической структуризации проблемы можно прояснить уникальное влияние сверхинтеллекта на разных уровнях — от индивидуального и организационного до национального и даже цивилизационного; как, классифицируя риски, выявить и противостоять трем основным угрозам: неправомерному использованию, несоответствию целей и системным цепным реакциям; и, что наиболее важно, как создать методологию, позволяющую преобразовать споры о точках зрения в список конкретных действий, заменив иллюзию «единого идеального решения» прагматичным замкнутым циклом «эксперимент — обратная связь — корректировка».

Сначала мы заложим основу всей этой концепции. Начнем с многоуровневого обсуждения, поочередно анализируя потенциальные последствия появления сверхинтеллекта на пяти ключевых уровнях. Затем мы подробно рассмотрим три кардинально отличающихся друг от друга основных риска и объясним, почему к каждому из них необходимо применять разные стратегии управления. После этого мы представим ядро методологии этой книги — процесс принятия решений, призванный преобразовать сложные разногласия в четкий план действий. Наконец, все эти размышления будут сконцентрированы в десяти ключевых принципах, пронизывающих всю книгу. Эти принципы станут нашей «операционной системой» при последующем анализе всех конкретных вопросов.

Эпоха сверхразума может принести нам невообразимый процветание, а может и катастрофу, которую мы не сможем пережить. Единственное, что можно сказать наверняка, — это то, что пустые разговоры не приведут нас к тому будущему, которого мы ожидаем. Настало время засучить рукава и превратить будущее в управляемую проблему.

1. Многоуровневое обсуждение: от индивидуума к цивилизации

Когда речь заходит о такой обширной и сложной теме, как сверхразум, одной из самых распространенных ошибок является рассмотрение её как единой и однородной проблемы. Когда мы в общих чертах обсуждаем «влияние ИИ», разговор часто быстро теряет фокус, поскольку ИИ, оптимизирующий алгоритмы в торговом зале Nasdaq, и ИИ, помогающий диагностировать заболевания в отдалённой деревне, создают совершенно разные вызовы и возможности. Для проведения конструктивного анализа и принятия обоснованных решений мы должны сначала разбить эту обширную проблему на уровни. Подобно тому, как в архитектурном проектировании мы должны отдельно рассматривать фундамент, конструкцию, инженерные системы и внутреннюю отделку, при рассмотрении вопросов управления сверхразумом мы также должны разложить его влияние по различным социальным уровням. Мы предлагаем пятиуровневую аналитическую модель: индивидуальный, организационный, государственный/общественный, геополитический и цивилизационный. Только благодаря такой детализированной стратификации мы сможем точно определить уникальные риски и возможности каждого уровня и разработать соответствующие стратегии.

Уровень личности: дуэт усиления и отчуждения

На личностном уровне появление сверхразума станет глубокой когнитивной революцией и переосмыслением идентичности. Наиболее непосредственным проявлением этого станет значительное усиление индивидуальных способностей. Представьте себе личного помощника, управляемого сверхразумом, который не только будет вести ваш график и почту, но и давать мгновенную обратную связь при освоении новых навыков, предоставлять аналитические данные при принятии сложных решений и даже оказывать индивидуальную психологическую поддержку в моменты стресса. Такой «когнитивный экзоскелет» значительно повысит нашу продуктивность и творческий потенциал, позволив обычным людям обрести способности к анализу и решению проблем, которые раньше были доступны лишь ведущим экспертам. Исследования уже показали, что даже современные инструменты искусственного интеллекта способны значительно повысить эффективность работников умственного труда. Например, совместное исследование Boston Consulting Group и Гарвардской школы бизнеса показало, что консультанты, использующие GPT-4 при решении задач, связанных с творческими инновациями в продуктах, демонстрируют качество результатов на 40 % выше, чем контрольная группа, не использующая ИИ (Dell’Acqua и др., 2023).

За этим усилением скрывается и глубокий кризис. Во-первых, это риск зависимости от решений ИИ и утраты навыков. По мере того как мы всё больше привыкаем к тому, что ИИ предоставляет нам «оптимальные» ответы, наша способность к критическому мышлению и независимому суждению может постепенно атрофироваться. Подобно тому, как повсеместное использование GPS лишило многих из нас умения читать карты и ориентироваться на местности, чрезмерная зависимость от сверхинтеллекта может привести к «когнитивной лени». Во-вторых, это проблемы психического здоровья и социальной изоляции. ИИ-партнер, способный идеально предсказывать наши потребности и удовлетворять наши предпочтения, может оказаться более привлекательным, чем несовершенный человеческий спутник, что может усугубить социальную атомизацию и чувство одиночества. Кроме того, когда ИИ сможет понимать наши желания и слабости лучше, чем мы сами, возможность его использования для беспрецедентно точного манипулирования и эксплуатации вызывает дрожь.

Таким образом, на личном уровне основная задача управления заключается не в простом выборе «использовать или не использовать», а в осмотрительном самоуправлении. Нам необходимо развивать способность, которую мы называем «грамотностью в области ИИ» (AI Literacy), то есть понимание основных принципов работы систем ИИ, умение распознавать их потенциальные предубеждения и ограничения, а также сознательное поддержание динамического баланса между рекомендациями ИИ и нашим собственным суждением. Система образования должна с раннего возраста вводить соответствующие учебные программы, чтобы воспитать следующее поколение в качестве «хозяев» ИИ, а не его «слуг».

На организационном уровне: скачок производительности и переосмысление организационных рисков

Для различных организаций — будь то предприятия, некоммерческие организации и т. д. — сверхразум станет решающей силой, которая переформирует их ключевые конкурентные преимущества, модели ведения деятельности и даже основы существования. С точки зрения производительности его потенциал огромен. От автоматизации бэк-офисных процессов и оптимизации цепочек поставок до ускорения разработки новых лекарств и открытия новых материалов — ИИ способен решать бизнес-задачи, которые ранее были недостижимы из-за их сложности. В отчете McKinsey Global Institute прогнозируется, что генеративный ИИ может ежегодно приносить мировой экономике от 2,6 до 4,4 трлн долларов США (Chui, Hazan и др., 2023). Те компании, которые смогут успешно интегрировать возможности ИИ и перестроить организационные процессы с учётом его потенциала, получат решающее конкурентное преимущество.

Однако такой скачок производительности сопровождается новыми, более сложными организационными рисками. В первую очередь это стратегические риски. На быстро меняющихся рынках, движимых ИИ, традиционные циклы стратегического планирования могут устареть. Компаниям необходимо создать более гибкие механизмы принятия решений, чтобы реагировать на прорывные инновации, вызванные ИИ.Во-вторых, это операционные риски. Когда ключевые бизнес-процессы (такие как одобрение кредитов или планирование производства) управляются сложными «черными ящиками» — моделями ИИ, — последствия ошибок или атак на эти модели могут быть катастрофическими. Обеспечение надежности, безопасности и справедливости таких систем становится серьезным вызовом. Наконец, культурные риски. Внедрение ИИ коренным образом изменит внутренние рабочие процессы и структуру власти в организации. Оно потребует от сотрудников новых навыков, а от руководителей — умения управлять «гибридными» командами, состоящими из людей и машин. Неспособность успешно управлять этой культурной трансформацией может привести к внутренним трениям, сопротивлению и утечке талантов.

Суть управления на организационном уровне заключается в создании надежной внутренней системы регулирования ИИ. Это не просто обязанность ИТ-отдела, а стратегическая задача, требующая непосредственного руководства со стороны совета директоров и высшего руководства. Эта система должна включать: четкие этические принципы использования ИИ, процедуры строгой проверки высокорисковых приложений ИИ, технические стандарты, обеспечивающие справедливость и прозрачность алгоритмов, а также программы переподготовки и повышения квалификации для всех сотрудников. Организация должна превратить концепцию «ответственного ИИ» (Responsible AI) из простого лозунга в систему управления, которая поддается измерению, реализации и подотчетности.

Уровень правительства и общества: инновации в сфере общественных услуг и переосмысление общественного договора

На правительственном и общественном уровнях сверхразум, как ожидается, коренным образом преобразит способы предоставления государственных услуг и бросит фундаментальный вызов нашим существующим правовым и социальным нормам. В сфере государственных услуг ИИ может использоваться для оптимизации транспортных потоков, прогнозирования криминальных горячих точек, персонализации образовательных траекторий, а также для оказания помощи врачам в ранней диагностике заболеваний, что значительно повысит эффективность функционирования общества и благосостояние граждан. Опыт таких стран, как Эстония, в области цифрового правительства уже продемонстрировал, как технологии могут сделать государственные услуги более эффективными и прозрачными (Kitsing, 2020).

Масштабное применение ИИ в сфере управления обществом также создает серьезные проблемы в области государственного управления. Во-первых, это проблема справедливости и предвзятости. Если данные, используемые для обучения моделей ИИ, сами по себе содержат исторически сложившиеся социальные предвзятости (например, расовые или гендерные предвзятости при найме на работу или вынесении судебных решений), то системы ИИ не только будут копировать эти предвзятости, но даже усиливать и закреплять их, что приведет к системной дискриминации. Во-вторых, это проблема концентрации и злоупотребления властью. Правительство, располагающее огромным объемом данных о гражданах и эффективно управляющее ими с помощью ИИ, будет обладать беспрецедентно сильной властью. Как обеспечить эффективный контроль над такой властью и предотвратить ее использование для массовой слежки или социального контроля, становится ключевым вопросом для поддержания свободного общества. Создание системы социального кредита в Китае вызвало во всем мире острую дискуссию о том, как найти баланс между эффективностью и свободой (Liang и др., 2018).

Кроме того, сверхразум станет вызовом для существующей правовой системы. Например, когда происходит ДТП с участием беспилотного автомобиля, кто должен нести ответственность? Владелец автомобиля, производитель или разработчик алгоритма? Если ИИ способен самостоятельно создавать произведения искусства, должен ли он обладать авторскими правами? Все эти вопросы требуют от нас пересмотра и корректировки традиционных правовых концепций. Ключом к регулированию на государственном уровне является разработка гибкой и дальновидной системы государственной политики и законодательства. Эта система должна сочетать в себе как «жесткие правовые нормы» (такие как «Закон об искусственном интеллекте» ЕС), так и «мягкие рекомендации» (такие как различные этические кодексы и технические стандарты). Ещё более важно, что правительство должно выступать в роли «платформы», создавая экосистему управления, в которой могут совместно участвовать предприятия, исследовательские учреждения и общественность, и с помощью таких механизмов, как регуляторные «песочницы», поощрять инновации и одновременно эффективно контролировать связанные с ними социальные риски.

Геополитический аспект: «ядерное оружие» новой эпохи и дилемма глобальной координации

Исторически сложилось так, что ключевые универсальные технологии (такие как паровой двигатель, электричество, атомная энергия) всегда перестраивали глобальный расклад сил. Сверхразум, как «изобретение изобретений», может оказать геополитическое влияние, превосходящее влияние любой другой технологии в истории. Страны, обладающие самыми передовыми технологиями ИИ, получат огромное асимметричное преимущество в экономической, военной и культурной сферах. Это делает конкуренцию в области ИИ, особенно между Китаем и США, центральной ареной геополитики XXI века. Как сказал президент России Владимир Путин: «Тот, кто станет лидером в области ИИ, станет правителем мира».

Эта конкуренция несет с собой многочисленные риски. Наиболее заметным из них является риск гонки вооружений в сфере ИИ. Соревнование стран по разработке летальных автономных систем вооружения (LAWS) может привести к появлению крайне нестабильного мира «молниеносных войн», в котором машины будут принимать военные решения за доли миллисекунды, а люди полностью утратят контроль. Кроме того, могут усугубиться экономическая декупликация и технологический национализм. Стремясь защитить свои собственные производственные цепочки в сфере ИИ, страны могут вводить торговые барьеры, ограничивать движение данных и обмен кадрами, что приведет к разрыву глобализированной экономической системы и снижению эффективности инноваций и общего благосостояния во всем мире. В одном из отчетов Рэнд-корпорации отмечается, что военное применение ИИ может подорвать стабильность ядерного сдерживания и увеличить риск возникновения конфликтов между великими державами (Geist & Lohn, 2018).

Таким образом, на геополитическом уровне перед нами стоит задача создания необходимых механизмов глобальной координации в мире, полном конкуренции. Это чрезвычайно сложно, но не невозможно. В вопросе ядерного оружия, несмотря на всеобщее недоверие, человечество в конечном итоге сумело избежать полномасштабного развязывания ядерной войны благодаря ряду договоров о контроле над вооружениями и механизмов нераспространения. В отношении сверхразума нам также необходимы аналогичные усилия. Это может включать: достижение международного консенсуса о запрете определённых типов оружия на базе ИИ, установление универсальных стандартов безопасности и этики для трансграничных исследований, разработок и применения ИИ, а также создание глобального органа, аналогичного Международному агентству по атомной энергии (МАГАТЭ), который будет отвечать за надзор за разработкой и внедрением высокорисковых технологий ИИ. Это потребует исключительной политической мудрости и дипломатических усилий, но, учитывая катастрофические последствия, к которым может привести вышедшая из-под контроля геополитическая конкуренция в сфере ИИ, у нас нет другого выбора.

Уровень цивилизации: конечный вопрос о смысле человечества

Наконец, в самом широком масштабе цивилизации появление сверхразума заставляет нас заново обдумать самый фундаментальный вопрос: в чём заключается смысл нашего существования как человечества? На протяжении всей истории человечество всегда определяло себя как самый разумный вид на Земле. Наши когнитивные способности являются основой для создания искусства, науки, философии и права. Но как нам вести себя, когда появляется существо, всесторонне превосходящее нас по интеллекту?

Философ Ник Бостром в своей книге «Сверхразум» систематически изложил суть этого «конечного вызова» (Bostrom, 2014). Конечная цель сверхразума может не иметь никакого отношения к благополучию человечества и даже вступать в противоречие с нашим выживанием. А историк Юваль Харари опасается, что человечество может быть эволюционно вытеснено «Homo Deus» (Храри, 2017), а большинство людей превратится в придатки бесполезных «алгоритмов».

Эти, казалось бы, отдалённые философские размышления на самом деле имеют весьма реальное значение. Именно они определяют конечные границы и цели, которые мы ставим перед развитием ИИ.Хотим ли мы создать ИИ, который будет всего лишь более мощным инструментом, или «новый вид», обладающий собственным сознанием и правами? Стремимся ли мы к обществу с максимальной эффективностью или к обществу, способному сохранить человеческое достоинство, творческий потенциал и самостоятельность? Ответы на эти вопросы лежат не в самой технологии, а в ценностях, которые мы выбираем как цивилизация.

На уровне цивилизации в центре управления лежит глобальный, межкультурный диалог о ценностях. Нам необходимо достичь максимально широкого консенсуса в масштабах всего человечества относительно того, какое будущее мы хотим построить и какие «красные линии» мы не хотим пересекать. Этот процесс будет долгим и трудным, полным культурных, религиозных и идеологических конфликтов. Но это единственный путь, который гарантирует, что развитие сверхразума в конечном итоге будет служить долгосрочному процветанию человеческой цивилизации. Мы должны поднять «согласование ценностей» (Value Alignment) с уровня технической проблемы до уровня стратегической задачи цивилизационного масштаба.

Разбив проблему на пять вышеупомянутых уровней, мы видим, что управление сверхразумом — это не единичная задача, а сложная система, состоящая из взаимосвязанных, но при этом уникальных вызовов. Самоуправление на личном уровне, внутренние рамки на организационном уровне, государственная политика на правительственном уровне, глобальная координация на геополитическом уровне и диалог о ценностях на цивилизационном уровне вместе составляют целостную картину управления. В дальнейшем обсуждении мы будем постоянно опираться на эту многоуровневую структуру, чтобы обеспечить точность нашего анализа и в конечном итоге сформулировать практические решения.

2. Классификация управления: выявление и управление ключевыми рисками

После многоуровневого анализа воздействия сверхразума нам также необходим столь же структурированный подход к пониманию связанных с ним рисков. Общее обозначение всех потенциальных негативных последствий как «риски для выживания» или «опасности ИИ», хотя и способно привлечь внимание, совершенно не помогает в разработке эффективных стратегий реагирования. Это подобно тому, как если бы врач называл все болезни «проблемами со здоровьем», что не дает ориентиров для конкретного лечения. Для точного управления рисками мы должны классифицировать их источники и характер. Различные риски требуют совершенно разных решений: инструменты, которые полицейские используют для борьбы с преступниками, инструменты, которые инженеры используют для устранения уязвимостей в системах, и инструменты, которые городские планировщики используют для предотвращения цепных сбоев, очевидно, различаются. Мы предлагаем здесь трехкомпонентную классификационную модель, разбивающую основные риски, связанные с сверхразумными системами, на следующие категории: неправомерное использование (Misuse), несоответствие целей (Goal Misalignment) и системные цепные реакции (Systemic Cascade). Эта модель поможет нам выделить четкие очертания угроз из хаоса рискового тумана и целенаправленно распределить наши защитные ресурсы.