На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Принцип 2: Рассматривайте энергетику, цепочки поставок микросхем и кадровые ресурсы как стратегические узкие места (Treat energy, chip supply chains, and talent as strategic bottlenecks.)

Что это: поднимите управление этими тремя ключевыми «узкими местами» — энергетикой, цепочками поставок микросхем и кадрами — с операционного уровня на самый высокий стратегический уровень. Это не просто ресурсы, а стратегические узкие места, от которых зависит выживание всей системы. Почему это важно: узкие места определяют максимальную пропускную способность системы. Какими бы передовыми ни были ваши алгоритмы и каким бы внушительным ни был ваш капитал, если ваш центр обработки данных остановится из-за нехватки электроэнергии, если поставки микросхем будут прерваны или если вашу ключевую команду переманит конкурент, все ваши преимущества мгновенно сведутся к нулю.

Игнорирование этих узких мест — самая большая стратегическая близорукость. Как применять: создайте межведомственную «группу по управлению стратегическими узкими местами», подчиняющуюся непосредственно высшему руководству. Энергетика: разработайте долгосрочные принципы энергетической безопасности, включая заключение долгосрочных контрактов, инвестиции в возобновляемые источники энергии, изучение возможностей децентрализованного энергоснабжения, а также использование показателя PUE (эффективность использования электроэнергии) центров обработки данных в качестве ключевого показателя эффективности. Цепочка поставок микросхем: составить подробную карту цепочки поставок, выявить всех ключевых поставщиков, оценить их геополитические риски, активно стремиться к созданию «второго и третьего источников поставок» и формировать стратегические запасы ключевых микросхем. Кадры: рассматривать кадровую стратегию как задачу, не менее важную, чем технологическая стратегия; создать комплексную систему, охватывающую весь цикл — от привлечения и развития до удержания кадров; а также формировать открытую и инклюзивную культуру инноваций.

Принцип 3: Сначала создавайте резервы, а потом стремитесь к эффективности (Build redundancy before pursuing efficiency.)

Что это такое: при столкновении с критическими стратегическими узкими местами уделять приоритетное внимание устойчивости и антихрупкости системы, а не максимальной экономической эффективности. Избыточность подразумевает создание резервных копий, альтернативных решений или буферных запасов на ключевых узлах, даже если это приведет к увеличению затрат в краткосрочной перспективе. Почему это важно: высокооптимизированная система, нацеленная на максимальную эффективность, зачастую чрезвычайно уязвима. Она похожа на натянутую до предела струну, которая может оборваться от малейшего возмущения. В эпоху искусственного интеллекта, полную неопределенности, выживание важнее эффективности.

Избыточность призвана обеспечить вам самый ценный ресурс в случае кризиса: время. Как применять: Систематически внедряйте принципы резервирования в управление стратегическими узкими местами. Резервирование энергоснабжения: Обеспечьте наличие резервных генераторов, систем бесперебойного питания (ИБП) и аккумуляторных систем хранения энергии. Резервирование цепочки поставок: В отношении незаменимых ключевых микросхем или компонентов, даже если это связано с более высокими затратами, активно поддерживайте и сертифицируйте второго поставщика. Резервирование кадров: избегайте появления «единственной точки отказа» в основной технической команде; с помощью таких механизмов, как управление знаниями и «парное программирование», обеспечьте резервирование ключевых знаний внутри команды и разработайте планы преемственности для ключевых должностей.

Принцип 4: Проведение симуляций отключения критически важных ресурсов (Conduct cutoff

simulations for critical resources.)

Что это такое: мы не должны ограничиваться лишь теоретической оценкой рисков, а должны регулярно моделировать сценарии внезапного прекращения или недоступности критически важных ресурсов (таких как электроэнергия, микросхемы, ключевые специалисты, облачные сервисы) и проводить практические учения. Почему это важно: только в условиях стресс-тестирования выявляются истинные слабые места системы. Ценность таких учений заключается не в предсказании будущего, а в повышении способности организации реагировать на неизвестные стрессовые ситуации, скорости принятия решений и эффективности взаимодействия. Они помогают выявить детали, упущенные при планировании, и проверить, действительно ли эффективны ваши резервные механизмы. Как применять: введите в практику регулярное проведение «учений по прерыванию поставок», организуя их не реже одного раза в год. Сценарии учений могут включать: энергетический кризис (например, прекращение обслуживания основным поставщиком электроэнергии на неделю), сбой в цепочке поставок (например, внезапное прекращение поставок ключевым поставщиком микросхем), утечку кадров (например, переход половины членов ключевой команды разработчиков алгоритмов к конкурентам). После учений необходимо провести подробный анализ, составить отчет о принятых мерах и отслеживать выполнение мер по улучшению.

Принцип 5: Формализуйте логику роста в виде явных уравнений (Formalize the logic of growth into explicit equations.)

Что это такое: абстрагируйте ключевые факторы, определяющие рост вашего бизнеса в сфере ИИ, в виде чёткой и поддающейся количественной оценке математической формулы. Эта формула должна раскрывать ключевые переменные роста и взаимосвязи между ними. Почему это важно: Четкая формула роста позволяет всей организации прийти к консенсусу относительно того, «что является наиболее важным». Она упрощает сложную бизнес-логику, превращая её в измеримую и оптимизируемую структуру, что делает распределение ресурсов и принятие стратегических решений более целенаправленными. Кроме того, она служит основой для прогнозирования и сценарного анализа. Как применять: определите свой основной «маховик роста» и сформулируйте его в виде формулы. Например, логика роста продукта AI SaaS может быть сформулирована следующим образом: рост = (количество новых пользователей коэффициент конверсии средняя ценность пользователя) – коэффициент оттока пользователей. При этом каждую переменную можно разбить на более мелкие составляющие. После определения этой формулы назначьте четких ответственных за каждую ключевую переменную и установите ключевые показатели эффективности (KPI), а также постоянно отслеживайте их изменения. Когда рост замедляется, вы можете быстро выявить узкие места, проанализировав, с какой переменной в формуле возникла проблема.

Принцип шестой: исходите из того, что преимущества масштаба накапливаются с течением времени (Assume that scale advantages compound over time.)

Что это: при разработке долгосрочной стратегии вы должны исходить из одного ключевого допущения: в сфере ИИ преимущества масштаба (будь то вычислительная мощность, объем данных или пользовательская база) будут, как снежный ком, самоусиливаться за счет эффекта сложного процента, создавая всё более высокие барьеры для конкурентов. Почему это важно: игнорирование эффекта сложного процента приведёт к тому, что вы серьёзно недооцените долгосрочные преимущества лидеров и будете питать нереалистичные иллюзии относительно сложности их догнать. В гонке ИИ время — друг лидеров и враг отстающих.

Незначительный разрыв сегодня под действием эффекта сложного процента через несколько лет может превратиться в огромную пропасть. Как применить: если вы находитесь в невыгодном положении с точки зрения масштаба, избегайте симметричной и изнурительной конкуренции с лидерами. Ваша стратегия должна заключаться не в том, чтобы «делать больше», а в том, чтобы «делать по-другому». Ищите нишевые рынки, которые лидеры не могут эффективно обслуживать из-за своих масштабов, или создавайте преимущества в новых измерениях, где еще не сформировался эффект масштаба. Если у вас уже есть преимущество в масштабе, ваша первоочередная задача — защищать и расширять его любой ценой. Реинвестируйте большую часть ресурсов в ключевые звенья, способные еще больше ускорить маховик сложного процента, и будьте начеку в отношении любых асимметричных атак, которые могут подорвать ваше преимущество в масштабе.

Принцип 7: Используйте кривые затрат для оценки конкурентной динамики (Use cost curves to assess competitive dynamics.)

Что это: углубленный анализ формы и тенденций изменения ключевых кривых затрат в вашей отрасли (особенно затрат на единицу вычислительной мощности и затрат на единицу данных), на основе которого можно судить о будущей конкурентной среде и перераспределении власти. Почему это важно: наклон кривой затрат определяет барьеры входа в отрасль и степень её концентрации. Если кривая затрат быстро снижается (то есть наблюдается крутая кривая обучения или эффект масштаба), то отрасль будет стремиться к концентрации и монополизации. Если кривая затрат пологая или снижается медленно, то рынок, вероятно, сможет вместить больше участников. Только понимая, на какой кривой затрат вы находитесь, можно определить, следует ли стремиться к масштабу или к дифференциации. Как применять: постройте и постоянно отслеживайте две основные кривые затрат: затраты на единицу инференции (Cost per Inference) — среднюю стоимость одного успешного вывода, выполняемого вашей моделью ИИ; затраты на единицу данных (Cost per Data Point) — среднюю стоимость получения одной высококачественной точки данных, пригодной для обучения. Анализируя динамику этих двух кривых, вы сможете определить: является ли ваша бизнес-модель экономически устойчивой? Имеют ли ваши конкуренты структурное преимущество в затратах? Как будущие технологические изменения повлияют на конкурентную среду?

Принцип 8: Избегайте зависимости от одного источника, создавайте систему с двумя или тремя поставщиками (Eliminate single-point dependencies and establish second- and third-source supply.)

Что это: это древняя мудрость, берущая начало в производственной сфере, но в эпоху ИИ она важна как никогда. Она требует систематического выявления и устранения абсолютной зависимости организации от какого-либо одного поставщика, одной технологии, одной платформы или одного эксперта. Почему это важно: зависимость от единственного источника является источником уязвимости системы. Она передает вашу судьбу во власть внешних факторов, которые вы не можете контролировать. Будь то геополитические риски, коммерческие споры, изменение технологического курса или кадровые перестановки — сбой в любой из этих точек может привести к катастрофическим последствиям. Как применять: продвигайте «устранение зависимости от единственного источника» как постоянный и систематический процесс. На уровне технологического стека: при выборе облачной платформы или ключевого программного обеспечения отдавайте предпочтение открытым, стандартизированным и легко мигрируемым вариантам, изучайте возможности мультиоблачной стратегии. На уровне цепочки поставок: в отношении всего ключевого оборудования и программного обеспечения введите обязательное требование о наличии как минимум двух независимых, сертифицированных поставщиков. На уровне персонала: как указано в принципе № 3, посредством управления знаниями и формирования команды обеспечьте, чтобы уход любого сотрудника не приводил к остановке ключевых проектов.

Принцип 9: Проводить сценарный анализ изменений в политике и мобильности талантов (Run scenario analyses on policy shifts and talent mobility.)

Что это: Проведение систематического сценарного анализа с использованием в качестве основных входных данных ключевых макроэкономических переменных, влияющих на развитие ИИ, в частности промышленной политики разных стран (такой как субсидии, регулирование, правила трансграничного обмена данными) и тенденций глобальной мобильности талантов. Почему это важно: Развитие ИИ уже давно перестало быть чисто технической проблемой; оно находится под сильным влиянием геополитики и национальных стратегий. Изменения в политике могут напрямую изменить конфигурацию рынка, а потоки талантов предвещают смещение центров инноваций в будущем.

Чувствительность к этим макроэкономическим силам и способность предвидеть их развитие являются предпосылкой для разработки надежной долгосрочной стратегии. Как применить: создайте специальную группу по стратегической аналитике, которая будет постоянно отслеживать динамику политики в области ИИ в ключевых странах (особенно в США, Китае и Европе), а также данные о глобальной миграции ведущих специалистов в области ИИ. На основе этой информации регулярно проводите сценарные моделирования. Например: сценарий А: усиление технологической декуплирования между США и Китаем. Проанализируйте, какое влияние это окажет на ваши поставки микросхем, доступ к рынкам и международное сотрудничество в области НИОКР.Сценарий B: в Европе принимается строгий закон о регулировании ИИ. Проанализируйте, как это повлияет на дизайн ваших продуктов и затраты на обеспечение соответствия нормативным требованиям. Сценарий C: в Сингапуре или Канаде возникает новый центр притяжения талантов в области ИИ. Проанализируйте, открывает ли это для вас новые возможности по созданию центра НИОКР или привлечению специалистов. На основе этих сценариев разработайте соответствующие планы действий и стратегические варианты.

Принцип 10: Рассматривайте недоступные ресурсы как жесткие ограничения (Treat unattainable resources as hard constraints.)

Что это: трезво осознавайте, что в любой момент времени всегда существуют ресурсы, которые вы не сможете получить, сколько бы капитала ни вложили. Эти «недоступные ресурсы» составляют жесткие границы вашего стратегического планирования. Почему это важно: честная оценка собственных возможностей — отправная точка эффективной стратегии. Попытки преодолеть жесткие ограничения зачастую приводят к огромной трате ресурсов и стратегическому провалу. Признание ограничений и поиск оптимального решения в рамках этих границ — это проявление высшей мудрости. Как применять: при стратегическом планировании четко составьте список ваших жестких ограничений. К ним могут относиться: недоступные литографы ASML; топовые графические процессоры, подпадающие под экспортный контроль; рынки определенных стран, доступ к которым закрыт; или архитекторы ИИ с десятилетним опытом, которых невозможно подготовить в краткосрочной перспективе. Рассматривайте эти жесткие ограничения как «фиксированные параметры» вашей стратегической модели, а не как «переменные». Ваша стратегическая цель должна заключаться не в изменении этих жестких ограничений, а в том, чтобы в рамках этих ограничений максимально эффективно использовать преимущества имеющихся ресурсов и найти уникальный и реалистичный путь к успеху.

В этой главе рассматриваются две движущие силы, определяющие наступление эры сверхразума: с одной стороны, четыре основных «ускорителя» — вычислительная мощность, данные, капитал и каналы распространения, — которые благодаря комбинированному усилению и сетевому эффекту расширяют границы возможностей ИИ с экспоненциальной скоростью; с другой — три «узких места», представленные энергетикой, цепочкой поставок микросхем и кадровыми ресурсами, которые, подобно жестким ограничениям физического мира и геополитики, постоянно угрожают стабильности этой высокоскоростной системы. Мы обнаружили, что логика роста в сфере ИИ по своей природе склоняется к принципу «сильные становятся сильнее»: преимущество масштаба будет постоянно накапливаться за счет эффекта сложного процента, что приведет к высокой концентрации рынка.

Мы не можем рассматривать развитие ИИ как чисто техническую проблему, а должны понимать его в контексте сложной системы, состоящей из технологических, экономических, социальных и геополитических факторов. В этой гонке за будущее ни наивный оптимизм, ни пессимистический фатализм не являются приемлемыми. Единственно правильная позиция — сохранять трезвое ощущение реальности, глубоко понимать внутренние законы динамики и на этой основе разрабатывать надежную и дальновидную стратегию.

С этой целью мы предлагаем рамочную концепцию действий, включающую 10 ключевых принципов. Основная идея этих принципов заключается в переходе от пассивного реагирования на изменения к активному управлению реальностью. Это требует от нас ориентироваться с помощью системной «карты», рассматривать ограниченные ресурсы как высший стратегический приоритет, укреплять устойчивость за счет создания резервов и проведения стресс-тестов, а также управлять ростом с помощью формализованной логики. Она подчеркивает необходимость поиска асимметричных конкурентных преимуществ при признании и уважении жестких ограничений. В конечном итоге, наш успех в управлении эпохой сверхинтеллекта зависит не от нашей способности предсказывать будущее, а от нашей готовности и мудрости формировать реальность.

План действий

Немедленно сформируйте свою аналитическую команду по «четырём картам»: назначьте ответственное лицо, начните составлять и постоянно обновлять стратегические карты вашей организации в области вычислительных мощностей, данных, капитала и каналов дистрибуции, а также проводите сравнительный анализ с основными конкурентами.

Включите три основных узких места в повестку дня высшего руководства: обеспечьте, чтобы вопросы энергетической безопасности, устойчивости цепочки поставок и кадровой стратегии стали постоянными темами заседаний совета директоров или высшего руководства, а также создайте специальную управленческую группу.

Проведите свое первое «учение на случай перебоев в поставках»: в течение ближайших шести месяцев выберите как минимум одну критическую уязвимую точку (например, сбой работы основного поставщика облачных услуг) и проведите всестороннее учение по реагированию на чрезвычайные ситуации, а затем оптимизируйте свою систему резервирования с учетом полученных результатов.

Определите и количественно оцените свою основную формулу роста: вместе со своей ключевой командой уделите один день обсуждению и описанию ключевых «маховиков», стимулирующих рост вашего бизнеса в сфере ИИ, и преобразуйте их в измеримую формулу.

Проанализируйте все свои «точки единственной зависимости»: проведите тщательный анализ рисков, выявите все критические зависимости от отдельных поставщиков, технологий или лиц и разработайте четкие планы по устранению зависимости для трех наиболее значимых рисков.

Глава 4. Риск — это не одно, а три понятия / Chapter 4 Risk Is Not One Thing It’s Three

Введение в главу

Мы стоим перед фундаментальным вызовом: наше понимание рисков, связанных с искусственным интеллектом (ИИ), значительно отстает от темпов развития самой технологии. ИИ с беспрецедентной силой преобразует всё вокруг, но риски, связанные с ним, заключаются не в единичных технических сбоях, а в сложных, многоуровневых системных проблемах. Если мы не сможем трезво осознать, систематически проанализировать и эффективно управлять этими рисками, мы, скорее всего, окажемся в будущем, полностью противоположном нашим ожиданиям.

В 2023 году технология «дипфейк» (Deepfake), созданная с помощью искусственного интеллекта, была использована для производства фальшивой политической рекламы и непристойных видеороликов с участием знаменитостей, что вызвало во всем мире серьезный кризис, связанный с достоверностью информации и общественным доверием. Эти события наглядно продемонстрировали огромные риски, связанные со злонамеренным использованием технологий ИИ.Практически одновременно передовой алгоритм рекомендаций, разработанный ведущими технологическими компаниями, без каких-либо злых намерений подталкивал пользователей к все более экстремальному и поляризованному контенту, усугубляя раскол в обществе. Этот случай выявил проблему возможного «несоответствия» между целями систем ИИ и долгосрочным благополучием человечества. А когда мировые финансовые рынки начали массово внедрять торговые алгоритмы на базе ИИ, незначительные колебания рынка за доли миллисекунды усиливались алгоритмами, вызывая цепную реакцию, охватывающую различные рынки и активы, что привело к беспрецедентному «молниеносному обвалу» (Flash Crash) — это, в свою очередь, позволило нам увидеть лишь верхушку айсберга системных рисков, связанных с ИИ.Эти три, казалось бы, не связанные между собой сценария указывают на одну ключевую проблему: наше понимание рисков ИИ значительно отстает от темпов развития самой технологии ИИ.

На протяжении долгого времени дискуссии об ИИ-рисках среди общественности и лиц, принимающих решения, часто заходят в тупик, сводясь к двум крайностям. С одной стороны, это «технологические оптимисты», которые считают, что все риски носят временный характер, и могут быть естественным образом устранены посредством технологических итераций и рыночной конкуренции, а любое регулирование в той или иной форме приведет к удушению инноваций. С другой стороны — «апокалиптические пессимисты», которые сосредоточиваются на отдаленных, напоминающих научно-фантастические фильмы сценариях типа «Терминатора», то есть на вероятности того, что общий искусственный интеллект (AGI) выйдет из-под контроля и уничтожит человечество. Обе эти точки зрения чрезмерно упрощают суть проблемы. Первая игнорирует структурный характер и актуальность рисков, вторая же, из-за своей «далекой перспективы», заставляет нас упускать из виду реальные угрозы, «находящиеся прямо перед глазами». На самом деле риски, связанные с ИИ, представляют собой не единичную проблему, а сложную систему, состоящую из множества рисков различного характера, происходящих из разных источников и имеющих разные пути воздействия. Беспорядочное объединение всех рисков под общим названием «риски ИИ» — это все равно что называть все болезни просто «болезнью» — не помогает нам поставить точный диагноз и назначить эффективное лечение.

Чтобы управлять сверхразумом, необходимо создать структурированную концепцию рисков, выходящую за рамки простых ярлыков «хорошо» и «плохо». Мы должны точно разделить риски на три основные категории: риски неправомерного использования (Misuse), риски несогласованности (Misalignment) и системные риски (Systemic). Эта «трехгранная» концепция имеет решающее значение, поскольку заставляет нас ответить на три фундаментальных вопроса: в чём заключается источник риска — в злонамеренности людей, в конструктивных недостатках системы или в непреднамеренном взаимодействии сложных систем? Какова природа риска — локальная и контролируемая или глобальная, способная привести к катастрофическим последствиям? Как нам действовать — как возложить ответственность на конкретных субъектов и целенаправленно направлять ресурсы на принятие мер?

В этой главе мы систематически изложим эту «трехгранную» концепцию. Мы подробно рассмотрим риск «неправомерного использования» и проанализируем, как ИИ применяется в качестве инструмента для интернет-мошенничества и создания автономного оружия. На примере компаний Cambridge Analytica и современных войн мы раскроем его повсеместный разрушительный потенциал. Затем мы сосредоточимся на риске «несоответствия» — более тонком, но более разрушительном вызове, — и объясним, как целевые функции ИИ расходятся со сложными ценностями человека, непреднамеренно приводя к катастрофическим последствиям, таким как «информационные пузыри» и алгоритмические предубеждения. Наконец, мы проанализируем «системные» риски и рассмотрим, как «разница в скорости» и «цепная реакция» ИИ, глубоко интегрированного в критически важную инфраструктуру, такую как финансовый и энергетический секторы, могут усиливать локальные потрясения и вызывать макроэкономическую нестабильность.

После определения и анализа рисков мы перейдем к решениям. Во второй половине этой главы будут представлены и разъяснены 10 ключевых принципов управления рисками ИИ. Это не пустые лозунги, а практическая методология, выработанная на основе мирового передового опыта, уроков неудач и передовых исследований, охватывающая ключевые аспекты — от разбиения рисков и распределения ответственности до тестирования «красной командой» и упреждающего учета этических аспектов. Мы убеждены, что только воплотив эти принципы в культуру и процессы, мы сможем одновременно пользоваться преимуществами ИИ и удерживать риски в приемлемых пределах.

Понимание рисков — это первый шаг к их управлению. Столкнувшись с «суперразумом» — этим мощнейшим обоюдоострым мечом, — нам необходимы трезвый реализм и основанная на принципах практическая мудрость. Настоящая глава предоставит прочную когнитивную основу и практическое руководство для этого. Давайте начнем с разбора рисков и прямо посмотрим в лицо самым серьезным вызовам нашей эпохи.