На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Масштабное системное моделирование: создание «цифровых двойников» критически важной инфраструктуры, в которых проводятся масштабные стресс-тесты и «военные игры» для моделирования экстремальных ситуаций и выявления потенциальных сценариев сбоев. Объяснимость и возможность вмешательства: обеспечение того, чтобы даже в быстро работающих системах ИИ у человека всегда оставался механизм «торможения» или «отключения». При проектировании систем ИИ необходимо уделять внимание не только эффективности, но и прозрачности, объяснимости и контролируемости. Создание «Комитета по системным рискам»: аналогично «Совету по финансовой стабильности», созданному после финансового кризиса, нам необходимо учредить межведомственный и межотраслевой «Комитет по системным рискам ИИ», который будет контролировать макростабильность всей социально-технической системы, разрабатывать планы действий в чрезвычайных ситуациях и координировать действия всех сторон.

Системный риск — это главный вызов эпохи ИИ. Он заставляет нас перейти от «редукционистского» мышления, ориентированного на отдельные элементы, к «системному» мышлению, ориентированному на целое и взаимосвязи. Мы используем интеллект, развивающийся со скоростью света, который мы ещё не до конца понимаем, для преобразования человеческого общества, которое мы также не до конца понимаем. Это само по себе является экспериментом с высоким уровнем риска. Если мы не сможем управлять этим экспериментом с достаточной мудростью и смирением, то «суперинтеллектуальные» системы, созданные нами в погоне за эффективностью, в конечном итоге могут стать причиной нашего собственного системного коллапса.

Подробное объяснение ключевых принципов

Проанализировав риски через «трехгранную призму», мы должны перейти от пассивного анализа к активному управлению. Недостаточно просто понять структуру рисков — необходимо преобразовать это понимание в четкую, реализуемую и поддающуюся отчетности рамку действий. Мы считаем, что эффективное управление рисками ИИ основано на 10 взаимосвязанных ключевых принципах. Вместе они образуют полный замкнутый цикл — от познания к действию, от технологий к управлению — с целью максимально увеличить выгоды от ИИ при одновременном контроле рисков.

Принцип 1: Разбивайте риски на неправомерное использование, несоответствие целей и системные цепочки (Break risks down into misuse, goal misalignment, and systemic cascades.)

Формулировка принципа: Разбиение рисков на неправомерное использование, несоответствие целей и системные цепочки является краеугольным камнем всей нашей системы управления рисками.

Почему это важно: Нечеткие определения приводят к путанице в мышлении и неэффективным действиям. Обсуждать риски без разграничения так же опасно, как если бы врач выписывал лекарства, не диагностировав причину заболевания. Смешивание человеческого «неправомерного использования» и проектного «несоответствия целям» приведет лишь к тому, что мы будем искать виновных не там, где нужно, и использовать не те инструменты. Только точный диагноз первопричины риска позволяет эффективно вмешаться.

Как применять: используйте эту классификацию в своей организации в качестве стандартного языка для внутренней оценки рисков, проверки продуктов и отчетности об инцидентах. При оценке рисков любого нового продукта на базе ИИ необходимо четко ответить на следующие вопросы: как его можно неправильно использовать? Какие несоответствия существуют между его целями и нашими реальными намерениями? Как он будет взаимодействовать с другими системами и вызывать цепную реакцию?

Принцип 2: Назначьте четкого ответственного за каждую категорию риска (Assign a clear accountable owner to each category of risk.)

Почему это важно: «коллективная ответственность» зачастую равносильна «отсутствию ответственности». Если ответственность за риски распределена между несколькими сторонами, в случае кризиса отделы начинают перекладывать вину друг на друга, а координация срывается. Необходимо назначить единого ответственного субъекта, чтобы гарантировать наличие лица, обладающего правом принятия окончательных решений, способного мобилизовать ресурсы и нести ответственность за результаты.

Как применять: четко определите в вашей компании, что ответственность за риски, связанные с неправомерным использованием, несет «Отдел доверия и безопасности»; за риски несоответствия — «Команда по этике и согласованию ИИ», которой предоставляется право вето; за системные риски — «Группа по системной стабильности» при офисе технического директора (CTO).

Принцип 3: Сначала определите предельный уровень убытков, а затем оптимизируйте траекторию роста (Define the loss ceiling first, then optimize the growth path.)

Почему это важно: это кардинальный сдвиг в мышлении — от «стремления к росту любой ценой» к «стремлению к росту при соблюдении минимальных требований». Это заставляет вас прямо оценивать и количественно определять риски на ранних этапах инноваций, а не исправлять ситуацию задним числом.

Как применять: перед запуском любого высокорискового проекта в области ИИ руководство и лица, ответственные за риски, должны совместно определить и утвердить «максимально допустимый убыток» (в финансовом плане, с точки зрения репутации, воздействия на пользователей и т. д.) в случае наихудшего сценария. Например, при разработке ИИ-модели кредитования сначала устанавливается верхний предел доли безнадежных долгов на уровне 5 %, и никакая оптимизация модели не должна выходить за пределы этой нижней границы.

Принцип 4: Сделать оценку риска злоупотребления обязательным этапом перед внедрением (Make misuse risk assessment a mandatory pre-deployment step.)

Почему это важно: создатели технологий несут первоочередную ответственность за предсказуемые риски. Перенос оценки риска злоупотребления на ранний этап позволяет внедрять меры по снижению рисков уже на стадии проектирования продукта, а не принимать меры по исправлению ситуации только после того, как ущерб уже нанесён.

Как применять: любая модель ИИ, ориентированная на широкую публику или предоставляющая API, должна пройти обязательную «оценку риска злоупотребления». Эта оценка должна проводиться под руководством независимой группы «Доверие и безопасность», которая систематически моделирует различные сценарии использования технологии в злонамеренных целях. Например, в компании, разрабатывающей модель генерации текста, перед выпуском команда по безопасности должна провести «тестирование на противодействие», пытаясь сгенерировать вредоносное содержание, и потребовать от инженерной команды развернуть фильтры.

Принцип 5: Использовать механизмы «красной команды» для систематического выявления путей несоответствия (Use red-team mechanisms to systematically identify misalignment pathways.)

Почему это важно: у разработчиков часто возникает «слепое пятно создателя». Независимая «красная команда ИИ» способна мыслить как хакер, специализируясь на поиске и использовании расхождений между целями ИИ и нашими реальными намерениями, превращая «неизвестное неизвестное» в «известное неизвестное» и давая вам возможность исправить недостатки дизайна до того, как они нанесут реальный ущерб.

Как применять: создайте постоянную, независимую «красную команду» по ИИ. Её задача — активно проводить «хакерские тесты с вознаграждением», чтобы выявлять потенциальные пути «несоответствия» до развертывания системы. Например, «красная команда» компании, занимающейся автономным вождением, будет специально тестировать реакцию системы в ситуациях, когда дорожная разметка размыта или система «обманывается» визуальными помехами, ищет граничные сценарии, выходящие за рамки правил.

Принцип шестой: Использовать стресс-тестирование для выявления точек запуска системных каскадных реакций (Use stress testing to identify systemic cascade trigger points.)

Почему это важно: системные риски «возникают» спонтанно и их невозможно предсказать путем анализа отдельных частей. Только подвергая всю систему воздействию как единое целое, можно обнаружить её уязвимые точки соединения и потенциальные модели коллапса.

Как применять: если вы отвечаете за критически важную инфраструктуру, необходимо регулярно проводить масштабные «стресс-тесты», моделирующие экстремальные события реального мира. Например, центральный банк страны и орган регулирования рынка ценных бумаг совместно с финансовыми учреждениями ежегодно проводят симуляционные учения «AI-обвал», чтобы наблюдать за реакцией рынка и устойчивостью системы в условиях аналогичных сбоев.

Принцип 7: Установите «линию остановки» (Establish a «stop line.»)

Почему это важно: перед лицом системных рисков ИИ, развивающихся в масштабе миллисекунд, скорость реакции человека теряет всякое значение. Надежная «линия остановки» или «механизм отключения» — это ключ к обеспечению того, что мы всегда сохраняем окончательный контроль, и является последней линией обороны.

Как применять: Задайте для вашей системы ИИ автоматическую или ручную «линию остановки». Когда ключевые показатели риска превысят пороговое значение, система должна немедленно приостанавливать работу, ограничивать доступ или отключаться. Например, в системе распределения ресурсов ИИ у поставщика облачных услуг можно настроить: если в течение 10 минут сервер перезапускается автоматически более 1000 раз, немедленно заблокировать функцию автоматического распределения и подать сигнал тревоги.

Принцип 8: Институционализировать анализ инцидентов (Institutionalize incident postmortems.)

Почему это важно: ошибки неизбежны, но повторение ошибок недопустимо. Институционализация анализа инцидентов позволяет превратить неудачи в возможность для обучения и прогресса организации. Благодаря прозрачному обмену уроками вся отрасль может совместно создать более сильную защиту.

Как применять: любой серьезный инцидент, вызванный ИИ, должен обязательно приводить к проведению стандартизированного и углубленного «последующего анализа». Отчет по результатам анализа должен быть «направлен на проблему, а не на человека», и его единственной целью является выявление коренных причин и их преобразование в конкретные меры по улучшению, а в конечном итоге — публичное обнародование ключевых выводов. Например, после инцидента с распространением вредоносного контента, вызванного алгоритмом, в компании, работающей в сфере социальных сетей, генеральный директор должен возглавить создание группы по анализу инцидента, которая в установленный срок должна провести анализ первопричин и составить перечень мер по улучшению.

Принцип 9: Уделять первостепенное внимание этике и соблюдению нормативных требований на этапе проектирования (Front-load ethics and compliance as design inputs.)

Почему это важно: в системах ИИ затраты на «исправление» проблем в области этики и соблюдения нормативных требований чрезвычайно высоки, а в некоторых случаях это вообще невозможно. Уже обученную крупную модель, содержащую серьезные предубеждения, практически невозможно исправить с помощью «исправлений». Только «перенос» этики и соблюдения нормативных требований на этап проектирования может гарантировать «здоровую генетику» системы ИИ.

Как применять: Принципы этики ИИ (справедливость, прозрачность, объясняемость) и требования к соответствию нормам в области данных (например, GDPR) не должны быть «контрольным списком» после завершения разработки продукта, а должны стать ключевыми «исходными данными» на этапе запуска проекта, причем их приоритет должен быть даже выше функциональных требований. Например, когда компания, занимающаяся медицинским ИИ, разрабатывает модель диагностики рака кожи, в документации по требованиям к продукту должны быть четко оговорены предельные значения разницы в точности модели при применении к людям с разным цветом кожи, а также должно быть предусмотрено, что диагноз должен сопровождаться визуальным объяснением для врача.

Принцип 10: Снижение рисков с помощью институциональных и инженерных мер (Reduce risk through institutional and engineering measures.)

Почему это важно: для управления рисками ИИ недостаточно полагаться только на технологии или только на политику. Чисто инженерные решения могут не найти общественного консенсуса, а чисто институциональные ограничения могут стать жесткими из-за непонимания технических деталей. Необходимо, чтобы инженеры и политики использовали общий язык и совместно разрабатывали решения.

Как применять: объединить институциональные и инженерные подходы, сформировав синергетическую систему. Например, на государственном уровне создать «Национальный совет по безопасности ИИ», а на корпоративном уровне включить показатели управления рисками ИИ в систему оценки эффективности работы высшего руководства, тем самым тесно увязав макроуровневое институциональное проектирование с микроуровневой инженерной практикой.

Эти десять принципов в совокупности составляют план управления рисками ИИ. Они требуют от нас беспрецедентной системности, дисциплины и скромности в подходе к самой мощной технологии нашего времени. Впереди нас ждут многочисленные вызовы, но если мы будем придерживаться этих принципов, у нас будет надежда обуздать силу сверхинтеллекта и направить её в сторону более безопасного, справедливого и процветающего будущего.

Подведение итогов главы и план действий

Основная цель данной главы — предоставить структурированную концептуальную основу и набор практических принципов для управления рисками в эпоху сверхинтеллекта. Мы разделили «риски ИИ» на три категории: неправомерное использование, несоответствие и системные риски. Мы доказали, что эти три вида рисков имеют разную природу и требуют дифференцированного подхода. Исходя из этого, мы предложили систему управления, состоящую из 10 ключевых принципов, которая подчеркивает важность создания полного замкнутого цикла: от классификации рисков, распределения ответственности и установления предельных значений убытков до оценки злоупотреблений, тестирования «красной командой», стресс-тестирования, а также установления «линий остановки», системы анализа ошибок, предварительной этической оценки и взаимодействия между институциональными и инженерными подходами. Мы твердо убеждены, что только преобразовав эти принципы в внутренние процессы, культуру и технологическую реальность организации, мы сможем эффективно контролировать катастрофические последствия ИИ, одновременно используя его потенциал. Перед лицом самых глубоких технологических преобразований нашей эпохи нам нужен не слепой оптимизм или пессимизм, а трезвый реализм, основанный на принципах.

План действий

Для руководителей организаций: немедленно внедрить внутри организации систему классификации рисков по критериям «неправомерное использование, несоответствие, системность», назначить единого ответственного за каждую из этих категорий рисков, установить в качестве основного принципа «сначала определить предельный уровень убытков, а затем оптимизировать рост» и включить управление рисками ИИ в систему оценки эффективности работы высшего руководства. Для разработчиков и инженеров в области ИИ: сделать этику и соблюдение нормативных требований ключевыми составляющими проектирования, активно сотрудничать с «красной командой» для выявления и устранения уязвимостей, связанных с «несоответствием», а также встроить в системный дизайн механизм «стоп-линии». Для политиков и регуляторов: содействовать созданию межведомственного и межотраслевого «Комитета по системным рискам ИИ», финансировать фундаментальные исследования в области технологий выявления и смягчения рисков ИИ, а также сотрудничать с международным сообществом в целях разработки обязательных международных норм, касающихся злонамеренного использования, например, автономного оружия.

Глава 5. Новый дефицит — это не знания, а доверие и внимание / Chapter 5 The New Scarcity Is Trust and Attention

Введение в главу

Мы живём в эпоху информационного изобилия, и общий объём знаний, похоже, больше не является основным препятствием для прогресса общества. От гогенбергской печати до Интернета и до современного генеративного искусственного интеллекта, основанного на крупных языковых моделях, затраты на получение информации и создание контента снижаются в геометрической прогрессии. Раньше учёным приходилось посвящать всю жизнь изучению какой-либо области знаний, чтобы овладеть ею; сегодня любой обычный человек, имеющий смартфон, может за считанные секунды получить доступ к совокупности человеческих знаний. Исследования компании Microsoft показывают, что крупные языковые модели способны с минимальными затратами генерировать тексты, изображения и код, по качеству не уступающие результатам человеческого творчества, что предвещает будущее с неограниченным предложением контента (Bubeck et al., 2023). Однако это движение за равенство в доступе к знаниям, движимое технологиями, не привело автоматически к появлению более рационального и мудрого общества, как предсказывали утописты. Мы оказались в новой дилемме, порождённой именно изобилием информации.

Суть этой проблемы, как предсказал в 1971 году лауреат Нобелевской премии по экономике Герберт А. Саймон (Herbert A. Simon), заключается в следующем: «В мире, изобилующем информацией, изобилие информации означает дефицит чего-то другого: то, что потребляет информация, становится дефицитным. То, что потребляет информация, совершенно очевидно: она потребляет внимание получателя. Таким образом, изобилие информации приводит к дефициту внимания, а также к необходимости эффективно распределять внимание между избыточными источниками информации, которые могут его отвлекать » (Simon, 1971). Проницательность Саймона сегодня, спустя полвека, выглядит особенно глубокой. Объем информации, которой мы располагаем, безграничен, но наше ежедневное внимание, энергия и когнитивные ресурсы, необходимые для обработки и усвоения информации, строго ограничены. Это создает фундаментальное противоречие: безграничное предложение сталкивается с ограниченным спросом. Это противоречие породило «экономику внимания» (Attention Economy) нашей эпохи. В этой экономической системе самым ценным ресурсом становится не сама информация, а способность привлекать и удерживать внимание людей.

Одним из наиболее показательных примеров является скандал с неправомерным использованием данных компанией Cambridge Analytica во время президентских выборов в США в 2016 году. Эта компания незаконно получила данные десятков миллионов пользователей через социальную сеть Facebook и использовала их для создания точных психологических профилей. Они не навязывали пользователям ложную информацию напрямую, а с помощью алгоритмов точно подбирали контент, способный максимально привлечь внимание определённой аудитории — этот контент зачастую был крайне эмоциональным, вызывал ожесточённые споры и был трудноотличим от правды. Постоянно добавляя тщательно разработанные «приманки» в «информационный рацион» целевой аудитории, они успешно сформировали общественное мнение и, возможно, повлияли на результаты выборов (Cadwalladr & Graham-Harrison, 2018). Этот пример наглядно демонстрирует логику функционирования «экономики внимания»: в океане информации тот, кто контролирует поток внимания, обладает властью. Доступ к информации стал дешевым, а способность отбирать, проверять и распределять внимание — бесценной.

С распространением генеративного искусственного интеллекта стоящие перед нами вызовы становятся ещё более серьёзными. Раньше мы в основном беспокоились об информационной перегрузке и неравномерном качестве информации; теперь же нам предстоит столкнуться с будущим «синтетической реальности» (Synthetic Reality). Технология «дипфейк» (Deepfake) позволяет создавать видео и аудиозаписи, неотличимые от реальных, а крупные языковые модели способны имитировать стиль письма любого человека, фабрикуя на первый взгляд достоверные отчеты и новости. Согласно отчету Национального института стандартов и технологий США (NIST), современные технологии обнаружения по-прежнему сталкиваются с огромными трудностями при распознавании высококачественного синтетического контента, и их точность далека от стопроцентной (NIST, 2023). Это означает, что традиционный критерий, на который мы полагаемся при оценке достоверности информации — «лучше один раз увидеть, чем сто раз услышать» — быстро теряет свою силу. Когда любой контент можно легко синтезировать, подделать и распространить в массовом масштабе, как нам понять, что является правдой? Чему мы еще можем доверять?

Поэтому, в преддверии эры сверхразума, мы должны осознать, что новый и, возможно, самый фундаментальный дефицит, с которым сталкивается общество, уже сместился с знаний на два тесно связанных измерения: доверие (Trust) и внимание (Attention). Доверие — это краеугольный камень нашего социального сотрудничества и обмена ценностями, а внимание — это вход в мир нашего познания и принятия решений. Когда сама информация перестает быть дефицитом, доверие становится маяком, указывающим нам путь в океане информации, а внимание — нашим ограниченным топливом, которым нужно осторожно распоряжаться. Если мы не сможем создать механизмы эффективного управления вниманием и восстановления доверия, мы не только потеряем ориентацию в информационном шуме, но и, что еще более вероятно, столкнемся с распадом общественного договора из-за краха доверия. В этой главе мы подробно рассмотрим внутреннюю логику этой трансформации, проанализируем связанные с ней вызовы и предложим набор «основных принципов», призванных помочь отдельным людям, организациям и всему обществу в целом справиться с вызовами новой эпохи.

1. Информационный избыток: способность отбирать информацию заменяет способность её получать

На протяжении большей части истории человечества получение информации было дорогостоящим и трудоемким процессом. Будь то рукописные копии, дорогостоящие печатные книги или ограниченные каналы радио и телевидения, информация подвергалась строгим ограничениям со стороны физических носителей и каналов распространения. Сама по себе эта дефицитность представляла собой своего рода естественный механизм отбора. Информация, которая могла быть зафиксирована, распространена и сохранена, как правило, проходила определенную степень отбора и проверки, будь то со стороны авторитетных академических учреждений, государственных органов или профессиональных медиа-организаций. Поэтому в «доинтернетную эпоху» основной вызов для познавательных способностей человека заключался в том, как «получить» достаточно информации для принятия решений. Широта и глубина знаний человека в значительной степени зависели от того, насколько широкий доступ он имел к источникам высококачественной информации.

Однако развитие Интернета и цифровых технологий полностью изменило эту ситуацию. Затраты на копирование и распространение информации приблизились к нулю. Согласно прогнозам Международной компании по обработке данных (IDC), объем данных, генерируемых в мире ежегодно, растет в геометрической прогрессии и, как ожидается, к 2025 году достигнет 175 зетабайт (ZB), что соответствует ежедневному объёму данных в 491 эксабайт (EB) (Reinsel, Gantz, & Rydning, 2018). В то же время появление генеративного искусственного интеллекта снизило порог входа в сферу производства контента до минимума. Для создания рекламного видеоролика, на который раньше у профессиональной команды уходили недели, теперь может потребоваться лишь один инструмент ИИ и несколько минут на ввод подсказок. Такой сдвиг парадигмы от «дефицита информации» к «избытку информации» предъявляет совершенно новые требования к нашим когнитивным способностям. Основной проблемой для нас больше не является «невозможность найти» информацию, а «затопление» информацией.

Характеристики

Эпоха дефицита информации

Эпоха информационного переизбытка

Основные вызовы

Получение информации

Отбор информации, фильтрация шума

Основные затраты

Затраты на получение информации (время, деньги)

Затраты на внимание, затраты на когнитивную нагрузку

Ключевые способности

Поиск, запоминание, обладание знаниями

Сосредоточенность, критическое мышление, информационная грамотность, синтез

«Стражи информации»

Авторитетные организации (правительство, университеты, СМИ)

Алгоритмы, платформы, отдельные лица (и их предубеждения)

Модели принятия решений

Рациональный анализ на основе ограниченной информации