На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Когда Ник Бостром (Nick Bostrom) в своей книге «Сверхразум» с помощью строгой логики пришёл к выводу, что «несогласованный сверхразум может представлять экзистенциальную угрозу для человечества» (Bostrom, 2014), он не занимался паникёрством, а серьёзно исследовал проблему, от которой мы не можем уклониться. Когда Юваль Харари (Yuval Harari) предупреждает, что сочетание искусственного интеллекта и биотехнологий может привести к появлению «бесполезного класса» и коренным образом подорвать либеральные гуманистические ценности, он затрагивает самые глубокие тревоги нашего времени. Признание обоснованности этих опасений — первый шаг к тому, чтобы начать эффективно реагировать на них. Уклоняться от этих опасений или преуменьшать их значение — все равно что крепко закрывать глаза перед надвигающейся бурей.

Однако просто останавливаться на тревоге — этого далеко не достаточно, и даже можно сказать, что это опасно. Тревога — это мощный эмоциональный стимул, но сама по себе она не предлагает решений. Если дать ей развиваться, тревога часто приводит к двум одинаково бесполезным крайностям: одна из них — апокалиптическое отчаяние, когда считается, что всё уже предрешено, а любые усилия тщетны, в результате чего человек погружается в полную пассивность и фатализм; другая — это «страусиный» слепой оптимизм, когда люди пытаются успокоить себя непроверенными убеждениями вроде «технологии всегда способны решить свои проблемы» или «сингулярность ещё очень далека», отказываясь от глубокого анализа и заблаговременного планирования.

Общим ядром этих двух ментальностей является «ожидание и выжидание» — ожидание появления явного сигнала опасности или ожидание, что кто-то другой предложит идеальное решение. Это чрезвычайно опасная пассивная стратегия. Ведь, как мы уже доказывали ранее, особенностью развития сверхразума как раз и является «отсутствие сенсационных новостей». Когда сигналы опасности станут ясными, очевидными и неопровержимыми, мы, скорее всего, уже упустим оптимальный период для принятия эффективных мер. К тому моменту мы, возможно, окажемся в пассивном, уязвимом положении с крайне ограниченными возможностями выбора. Подобно лягушке, которую постепенно нагревают в теплой воде, когда мы наконец почувствуем, что вода стала кипящей, у нас, возможно, уже не останется сил выпрыгнуть из кастрюли.

Основная цель этой книги — помочь нам совершить ключевой когнитивный сдвиг: перейти от всеобщего беспокойства по поводу сверхразума к разработке системы реагирования, которую можно проанализировать и применить на практике. Нам нужна не «инструкция по прогнозированию будущего», дающая все стандартные ответы — в таком стремительно меняющемся и полном неизвестности будущем «операционная система ума», построенная на глубоких принципах, гораздо ценнее, чем набор разрозненных знаний и прогнозов.

Эта система реагирования призвана разбить грандиозный и абстрактный «вызов сверхразума» на области, характеризующиеся фундаментальной неопределённостью, которые можно понять, обсудить и по которым можно предпринять действия на разных уровнях (личном, организационном, национальном и даже глобальном). Любые попытки предложить «стандартные ответы» обречены на тщетность и являются проявлением высокомерия. Нам действительно нужен набор качественных «инструментов для принятия решений» и постоянно обновляемая «когнитивная карта». Именно поэтому в этой книге в качестве основного строительного блока используются «принципы» (Principles). Принципы — это универсальная мудрость, выходящая за рамки конкретных ситуаций и неоднократно проверенная на практике.

Они не так жестко фиксированы, как конкретные правила или инструкции, а дают нам отправную точку для размышлений, аналитическую рамку и компас для принятия решений при столкновении с новыми проблемами и в новых условиях. Они подсказывают нам, «как думать», а не «о чем думать». Рассматривая актуальную тему. В последующих главах мы систематически и глубоко рассмотрим ряд ключевых областей, таких как управление и власть, экономика и процветание, безопасность и риски, а также личностный рост и смысл жизни. По каждой теме мы будем следовать одному и тому же пути: во-первых, тщательно проанализируем суть и сложность проблемы; во-вторых, сформулируем ряд ключевых принципов для размышлений и практического применения; и, наконец, рассмотрим возможные пути преобразования этих принципов в конкретные стратегии и действия. Цель этой книги — не предложить готовых решений, а дать каждому читателю возможность обрести собственные инструменты и рамки для независимого мышления, взвешенного суждения и принятия более мудрых решений в эту эпоху, сулящую нечто выдающееся. Мы не можем остановить наступление эпохи сверхразума, но мы можем выбрать, в каком качестве мы будем встречать её — как пассивные, тревожные наблюдатели или как активные, трезвомыслящие созидатели.

Подробное объяснение ключевых принципов

Основой созданной нами системы реагирования являются не сложные прогнозные модели, а ряд простых, глубоких и применимых на практике ключевых принципов. Эти принципы представляют собой «когнитивный инструментарий», с помощью которого мы наблюдаем за миром, выносим суждения и определяем свои действия. Они не могут устранить неопределенность, но помогают нам сохранять трезвость ума и активность в тумане неопределенности. В «день, когда не будет сенсационных новостей» эти 10 принципов станут нашими самыми надёжными путеводителями.

Принцип 1: Оценивайте стадию развития технологии по кривой долгосрочной производительности, а не по единичным событиям. (Judge the stage of a technology by its long-term performance curve rather than by isolated, single events.)

Этот принцип требует от нас отвлечь внимание от отдельных, привлекающих внимание «прорывных событий» (таких как победа AlphaGo или выпуск какой-либо новой модели) и сосредоточиться на относительно скучных «кривых производительности», которые отражают эволюцию ключевых технологических возможностей с течением времени (например, точность алгоритмов в стандартных тестах или темпы снижения стоимости единицы вычислительной мощности). Единичные события очень легко вводят нас в заблуждение; они часто служат усилителями настроений в СМИ и на рынке, создавая иллюзию революции, «наступившей внезапно, как весенний ветер», или вызывая преждевременное разочарование в духе «ничего особенного».

Кривая производительности же раскрывает истинную динамику развития технологий и долгосрочные тенденции. Кривая производительности, демонстрирующая устойчивый экспоненциальный рост, даже если в краткосрочной перспективе и не становится сенсационной новостью, предвещает накопление огромного потенциала для перемен. Она помогает нам проникнуть сквозь шум и сделать стратегические суждения, более близкие к сути. Чтобы применить этот принцип, нам следует регулярно отслеживать и изучать отраслевые отчеты, публикуемые авторитетными организациями (такими как AI Index Стэнфордского университета, AI Progress Metrics Фонда «Электронный фронтир» и т. д.). Оценивая новую технологию ИИ, не стоит задавать только вопрос «Что она может делать сегодня?», но и спросить: «Как развивались её ключевые показатели производительности за последние пять лет? Какой прогнозируется темп роста в ближайшие два года?». Визуализируйте эти кривые и поделитесь ими со своей командой или организацией, чтобы использовать их в качестве основы для стратегических обсуждений.

Принцип 2: Рассматривайте интуитивное ощущение «еще рано» как гипотезу, которую необходимо проверить. (Treat the intuition of «it’s still early» as a hypothesis that needs to be tested.)

Когда мы сталкиваемся с революционной технологией, в душе часто возникает мысль: «Это интересно, но до того, как это по-настоящему повлияет на меня, ещё далеко», «Эта идея слишком опережает своё время, в ближайшей перспективе её невозможно реализовать». Этот принцип требует, чтобы мы не принимали такую интуицию «ещё рано» (It’s still early) за окончательный вывод, а превращали её в гипотезу, требующую тщательной проверки. Интуиция «еще рано» — это психологический защитный механизм, который позволяет нам чувствовать себя комфортно в ситуации когнитивного диссонанса, но в то же время она является питательной почвой для стратегической инерции.

В сферах с экспоненциальным ростом наше линейное представление о том, что такое «рано» и «поздно», полностью теряет смысл. Технология, которая сегодня кажется «еще ранней», может в очень короткие сроки стать «слишком поздней». Превращение интуиции в гипотезу заставляет нас перейти от пассивного восприятия к активному поиску подтверждений. Чтобы применить этот принцип, когда у вас или вашей команды возникает мысль «еще рано», немедленно запишите её в следующем формате: «Мы предполагаем, что «[какая-то технология]» не окажет существенного влияния на «[наш основной бизнес]» в течение «[определенного периода времени]». Мы будем наблюдать за «[каким-либо ключевым показателем]», чтобы подтвердить или опровергнуть эту гипотезу. Если этот показатель превысит «[какое-либо пороговое значение]», мы пересмотрим эту гипотезу».

Принцип 3: Предполагайте, что значительные изменения сначала возникают в крайних случаях, а не в основной деятельности. (Assume that major changes emerge first in edge cases rather than in the core.)

Этот принцип напоминает нам, что искра прорывных инноваций обычно возникает не в самом сердце зрелого бизнеса, а в тех «периферийных зонах», которым не уделяется должного внимания, где регулирование не столь строгое и где допускается высокий уровень ошибок. Мы должны активно и систематически отслеживать и анализировать динамику развития таких периферийных сценариев. Сильная инерция основного бизнеса и «иммунная система» заинтересованных сторон инстинктивно отторгают и подавляют радикальные инновации, которые могут угрожать существующей модели. А периферийные сценарии являются «чашкой Петри» и «полигоном» для новых видов. К тому моменту, когда периферийные инновации уже наберут силу и начнут проникать в центр, прежние лидеры рынка зачастую уже упускают оптимальный момент для реагирования. Уделять внимание периферии — значит уделять внимание будущему. В вашей организации можно создать механизм «сканирования периферии», например, регулярные встречи для обмена информацией или специальные виртуальные команды, поощряющие участников исследовать и делиться информацией о «странных», «нишевых» и «на первый взгляд неперспективных» приложениях ИИ и стартапах. И задайте себе вопрос: чем станет это периферийное приложение, если количество его пользователей увеличится в 100 раз? Что произойдет, если его ключевые технологии будут применены в нашей отрасли?

Принцип 4: Оценивайте события, привлекающие внимание, отдельно от фактов, которые действительно меняют структуру власти. (Evaluate attention-grabbing events separately from facts that actually reshape power structures.)

Нам необходимо чётко различать две разные категории явлений: одна — это «события» (Events), которые попадают в заголовки новостей и вызывают бурные дискуссии; они, как правило, носят символический и драматический характер; другая — это «факты» (Facts), способные реально и глубоко изменить соотношение сил между отдельными лицами, организациями или странами; они, как правило, носят структурный и постепенный характер. Внимание СМИ и общественности ограничено и чрезвычайно легко увлекается «событиями», что приводит к тому, что мы переоцениваем краткосрочное влияние некоторых событий и недооцениваем долгосрочные последствия некоторых фактов. Например, слушания в Конгрессе по вопросам этики ИИ — это «событие», а то, что производительность какой-либо модели ИИ с открытым исходным кодом по всем параметрам превосходит все коммерческие модели, — это «факт», причем влияние последнего на будущее расстановку сил может оказаться гораздо более значительным, чем влияние первого. Чтобы применить этот принцип, мы можем создать аналитическую модель «событие-факт»: каждый раз, сталкиваясь с важной новостью, связанной с ИИ, задавать себе два вопроса:

1) Является ли это «событием», привлекающим внимание, или «фактом», реально изменяющим соотношение сил?

2) Скрывается ли за этим «событием» какой-то более важный «факт», который мы пока не заметили?

Принцип 5: Превращайте неопределённость в явные гипотезы, вероятности и условия срабатывания. (Externalize uncertainty into explicit hypotheses, probabilities, and trigger conditions.)

Неопределённость — неотъемлемая черта будущего; мы не можем её устранить, но можем ею управлять. Этот принцип требует от нас преобразовать внутренние расплывчатые «ощущения» и «опасения» в чёткий, структурированный язык, пригодный для обсуждения и проверки, а именно: «Мы выдвигаем [гипотезу], оцениваем [вероятность] её реализации в X %, и если будет наблюдаться [определённое условие-триггер], мы приступим к реализации [определённого плана действий]». Расплывчатые опасения приводят лишь к бесконечным тревогам и спорам. Структурирование позволяет сделать обсуждения в команде более целенаправленными и рациональными.

Оно превращает вопрос, на который невозможно ответить («Что будет в будущем?»), в ряд небольших вопросов, которыми можно управлять и на которые можно ответить («Каковы наши основные предположения? Как мы будем их отслеживать? Каковы наши планы действий?»). Это мощный прием, позволяющий превратить неопределенность из «врага» в «объект принятия решений». Чтобы применить этот принцип, можно организовать семинар, посвященный одной ключевой неопределенности (например: «Приведет ли ИИ к снижению спроса на наш основной продукт в течение трех лет?»), и предложить членам команды записать свои предположения, оценки вероятности, а затем провести оживленную дискуссию, в результате которой будет сформирован набор общих ключевых предположений, для каждого из которых будут установлены четкие показатели отслеживания и планы «триггер-реакция».

Принцип шестой: сначала создайте структуру реагирования, а затем сформулируйте свою позицию. (Establish a response framework first, then form a position.)

Столкнувшись со сложными и спорными вопросами (такими как регулирование искусственного интеллекта или конфиденциальность данных), мы легко попадаем в ловушку преждевременного выбора между «за» и «против». Этот принцип требует от нас сдерживать такое желание и сначала выработать всеобъемлющую, многомерную «концепцию действий» (Framework), а уже в рамках этой концепции искать более конструктивную и гибкую «позицию» (Position). Слишком рано сформированная позиция действует как «якорь» для мышления, ограничивая наше восприятие и вызывая предвзятое отношение к информации, не соответствующей этой позиции.

А хорошая концептуальная основа подобна карте: она помогает увидеть проблему в целом, определить различных заинтересованных сторон и понять компромиссы между различными вариантами. Наличие концептуальной основы сначала позволяет сделать нашу позицию более устойчивой и гибкой, а также способствует объединению различных сил. Чтобы применить этот принцип, сталкиваясь с вопросом типа «Должна ли наша компания внедрять AIGC?», не следует сразу проводить голосование, а сначала совместно разработать рамку оценки, которая может включать такие аспекты, как потенциальная выгода, затраты на внедрение, технические риски, соблюдение законодательства, репутация бренда, влияние на сотрудников и другие. После тщательного анализа и оценки каждого аспекта естественным образом вырисуется позиция, гораздо более взвешенная, чем простое «да» или «нет».

Принцип 7: Ускоряйте принятие обратимых решений и повышайте строгость проверки необратимых решений. (Increase speed for reversible decisions, and increase the rigor of validation for irreversible ones.)

Основатель Amazon Джефф Безос (Jeff Bezos) делит решения на «двери первого типа» (Type 1 Door) и «двери второго типа» (Type 2 Door). Двери второго типа являются обратимыми: если, войдя в них, вы обнаружите, что вам не нравится, вы можете выйти и вернуться на прежнее место; такие решения следует принимать быстро.«Двери первого типа» являются необратимыми: как только вы входите в них, пути назад уже нет. Такие решения должны проходить чрезвычайно тщательный анализ и проверку. В эпоху быстрых изменений скорость принятия решений сама по себе является конкурентным преимуществом, но опрометчивые решения могут оказаться фатальными.

Разграничение решений по их обратимости дает нам практическое правило, позволяющее найти баланс между «скоростью» и «качеством». Это помогает нам сосредоточить ценные аналитические ресурсы на тех решениях, в которых мы действительно «не можем себе позволить проиграть», и в то же время дает команде свободу быстро пробовать и ошибаться в других областях. При принятии любого важного решения сначала задайте себе вопрос: «Это решение относится к первой или ко второй категории?». Если это решение второго типа, то делегируйте полномочия более небольшой команде, установите более сжатые сроки принятия решения и поощряйте их действовать по принципу «сначала стреляй, потом целься». Если это решение «первого типа», необходимо усилить процесс принятия решений, привлечь больше внешних точек зрения, провести более строгие «учения «красной команды»» (то есть поручить части участников специально играть роль оппонентов и подвергнуть предложение стресс-тестированию), а также потребовать от лиц, принимающих решение, четко изложить: «Почему мы считаем, что это правильно, и что произойдет, если мы ошибемся».

Принцип 8: Уделяйте приоритетное внимание сохранению вариантов действий. (Prioritize the preservation of optionality.)

В будущем, полном неопределённости, мы не можем точно предсказать, какой путь является единственно верным. Поэтому при принятии долгосрочных обязательств или осуществлении значительных инвестиций ключевым фактором должно стать следующее: расширяет ли это решение наши будущие возможности выбора или сужает их? Мы должны отдавать предпочтение тем стратегиям, которые обеспечат нам больше вариантов в будущем. Сама по себе возможность выбора является чрезвычайно ценным активом, особенно на ранних этапах, когда технологические направления и рыночная конъюнктура ещё не определились.

Слишком раннее вложение всех ресурсов в одну технологическую платформу, бизнес-модель или стратегическое направление является крайне рискованной стратегией. Как только внешняя среда изменится, компания может оказаться в ситуации «зависимости» и лишиться возможности маневра. Сохранение права выбора — это своего рода «страховка» на будущее. При оценке стратегических вариантов следует учитывать «ценность права выбора» в качестве одного из критериев. Например, при выборе поставщика технологий искусственного интеллекта (ИИ) помимо учета его текущих технологий и цен необходимо оценить открытость его платформы, переносимость данных, а также сложность смены поставщика. При осуществлении долгосрочных инвестиций следует подумать о том, можно ли разбить их на несколько этапов, сохраняя по окончании каждого этапа право выбора между «продолжением инвестиций», «сменой направления» или «прекращением».

Принцип девятый: делая ставки на будущее, контролируйте кредитное плечо и рисковую экспозицию. (When placing bets on the future, control leverage and exposure.)

Инвестиции и «ставки» на будущее необходимы, но мы должны, как профессиональные инвесторы, осторожно управлять нашим «кредитом» (Leverage) и «рисковой подверженностью» (Exposure). Кредит — это объем заимствованных внешних ресурсов (таких как долг, репутация), которые мы используем для увеличения нашей ставки; рисковая подверженность — это максимальный убыток, который мы можем понести в этой игре. Экспоненциальные возможности часто сопровождаются экспоненциальными рисками. Делая ставку в такой области, как сверхразум, легко поддаться соблазну огромной потенциальной прибыли и в результате чрезмерно использовать леверидж или подвергнуть себя слишком большой рисковой подверженности.

Если ставка не оправдается, последствия могут быть катастрофическими и даже поставить под угрозу само существование основного бизнеса. Контроль над кредитным плечом и рисковой подверженностью гарантирует, что даже в худшем случае мы сможем «выжить» и получим возможность принять участие в следующей игре. Чтобы применить этот принцип, можно представить себе экспериментальные инвестиции в ИИ как «портфель рисковых инвестиций» и установить четкий предел для средств и ресурсов (например, не более 10 % бюджета на исследования и разработки). Для каждого инвестиционного проекта следует проводить «стресс-тестирование», оценивая влияние полного провала проекта на общие финансовые и операционные показатели компании. Следует избегать ставок типа «выиграешь — заработаешь в 10 раз больше, проиграешь — обанкротишься» и делать больше асимметричных ставок, при которых «проиграешь — потеряешь в 1 раз, выиграешь — можешь заработать в 100 раз больше».

Принцип 10: Рассматривайте фразу «Я уже всё понял» как сигнал к пересмотру и переоценке. (Treat «I already understand» as a trigger for review and reassessment.)

Когда у нас возникает ощущение «Ага, я наконец-то полностью это понял» в отношении какого-то сложного понятия или системы, это зачастую не конец обучения, а сигнал опасности. Этот принцип требует от нас рассматривать такое «ощущение понимания» как тревожный сигнал, немедленно вызывающий «самокритику» и «глубокий анализ». В такой области, как сверхразум, где период полураспада знаний чрезвычайно короткий, а глубина познания практически безгранична, любое ощущение «полного понимания» почти наверняка является иллюзией. Скорее всего, это означает, что наша ментальная модель слишком упрощена или что мы перестали воспринимать новую информацию. Такая «иллюзия понимания» — это начало когнитивной ригидности. Использование этого ощущения в качестве сигнала к анализу — мощный способ борьбы с когнитивным самоуспокоением. Чтобы применять этот принцип, необходимо развивать в себе скромность, позволяющую признавать: «Я знаю, что я не знаю». Когда вам кажется, что вы уже «разобрались» в каком-либо концепте ИИ (например, «эмерджентные способности» или «проблема выравнивания»), заставьте себя сделать три вещи:

1) Найдите эксперта, придерживающегося иной точки зрения, и внимательно выслушайте его аргументы;

2) Попытайтесь объяснить эту концепцию простейшими словами «неспециалисту», который совершенно в ней не разбирается — вы обнаружите, насколько шатко ваше собственное понимание;

3) Прочитайте одну из последних научных статей, содержание которой противоречит вашим нынешним представлениям. Такое постоянное переосмысление собственных взглядов — единственный способ сохранить жизнеспособность своего мышления.

Итоги главы и список действий

Мы стоим на пороге новой эпохи, и то, как она начнётся, полностью перевернёт наше традиционное представление о «историческом моменте». Приход сверхинтеллекта не будет церемонией коронации, сопровождаемой звуками труб и салютами, а скорее бесшумным, глубоким и структурным геологическим сдвигом. В нём нет сенсационных новостей, есть только неуклонно растущая кривая производительности; в ней нет центральной сцены, а есть лишь слияние инноваций в бесчисленных периферийных сценариях; она не дает определённых ответов, а лишь ставит ряд фундаментальных вопросов о будущем образе жизни, от которых мы не можем уклониться. Основная цель этой главы — освободить нас от тщетного ожидания того драматического «дня сингулярности» и вместо этого создать основанную на принципах, постоянно развивающуюся систему наблюдения и принятия решений.

Мы доказали, что ключ к пониманию этой трансформации заключается в отказе от увлечения «событиями» и переходе к анализу «процессов». Мы рассмотрели S-образную кривую технологической эволюции, появление новых возможностей в крупных моделях, а также отставание социально-экономических систем в освоении инноваций — все эти факторы в совокупности составляют ключевую характеристику «постепенного скачка». Мы проанализировали, как инновации зарождаются в низкорисковых «периферийных зонах» и постепенно проникают в основные системы общества посредством комбинаторных инноваций и проверки ценности. В заключение мы подчеркнули необходимость перехода от пассивного «беспокойства» к активному «системному» подходу и предложили для этого набор когнитивных инструментов, состоящий из 10 ключевых принципов. Отказ от тщетных попыток найти «тот самый день» и сосредоточение внимания на происходящих структурных изменениях, формирующих будущее, — это не только более эффективная стратегия, но и необходимая практика для сохранения ясности ума в эпоху неопределенности.