Исход

— Я же помню, как пару раз встречался вживую с коллегами этой команды, — возразил Юрдуп, подумав какое-то время.

— Они работали над твоим проектом?

— Вообще нет.

— Скажу тебе больше, они не работали ни над каким проектом. Они искренне думают, что тестируют модели, но на самом деле им платят зарплату за то, что они имитируют деятельность. Повторяю, сами они об имитации не догадываются.

Юрдуп посмотрел на шефа с недоумением. Иван Иванович ответил ему взглядом, в котором читалась даже некоторая доля разочарования. Он словно думал: «Ну вот, я не ожидал, что ты с твоей проницательностью не догадаешься об этом!»

Иван Иванович вернул взгляд к противоположному берегу озера, очертания которого начали проступать сквозь тающий туман, и продолжил срывать покровы с корпоративных тайн:

— Да, запросы на проверку качества рассуждений генерирует специальный агент. И это, пожалуй, единственный компонент в линейке наших продуктов, который не деградировал. Уж если он тебя смог ввести в заблуждение, это явно говорит о его первоклассной эффективности! Справедливости ради скажу, что он непрерывно обучается на запросах, которые отправляет реальная команда проверки качества.

— Хорошо, есть такой агент…

— Зигфрид, — вставил Иван Иванович.

— Что?

— Агента так зовут.

— Ну, окей, Зигфрид или как его там, — в голосе Юрдупа начали появляться нотки раздражения. — Пока не совсем понимаю, зачем он понадобился. Сейчас мне надо отойти, я подумаю.

Юрдуп отошёл на несколько метров в сторону и приблизился к кромке воды. Иван Иванович не мешал процессу размышления коллеги и, судя по звукам, отправился заваривать следующую порцию кофе.

Спустя пару минут Юрдуп вернулся с догадкой:

— На нас работает множество агентов со своей специализацией. Агент на сайте знакомств пылесосит цепляющие взгляд анкеты партнёров, чтобы научиться давать рекомендации. Агенты в мессенджерах самостоятельно разбирают диалоги пользователей, чтобы научиться генерировать ответы на вопросы. Агент анализа авиаперелётов собирает данные из открытых источников об авиакатастрофах, сопоставляет их с метеоусловиями, параметрами самолётов и иными данными, чтобы научиться прогнозировать вероятность катастроф. И так каждый из множества наших агентов. Периодически они сами тестируют свою эффективность, когда, к примеру, агент сайта знакомств рассылает анкету от лица виртуальной девушки и замеряет реакцию на неё со стороны настоящих людей. Или агент вступает в какой-нибудь холивар о причинах войны эльфов и гномов на какой-нибудь тематической ветке комментариев. И если его фразы воспринимаются как фразы живого собеседника хотя бы 70 процентами собеседников, то норм — можно работать дальше. Но время от времени их эффективность надо оценивать со стороны — без этого они деградируют. К примеру, отправить сгенерированную анкету девчонки фокус-группе реальных мужчин. При нашей проверке мы точно уверены, что это реальные мужики, ведь на анкету нашего бота могут отвечать такие боты. И сделать это нужно как можно раньше! По-хорошему, сотрудник из команды проверки качества смотрит, какие фразы генерирует наш агент в чате, и решает: «Нет, это уже что-то не то. Надо дополнительно протестировать этого болванчика на беседе с реальными людьми». И по результатам тестирования корректируют работу агента. При этом могут заставить его чаще сверяться с реальными источниками данных. Ведь если в комментариях к профилю люди часто жалуются, что «опять шлюхоботы достали», то это повод что-то изменить и в самой анкете, и в способе вести переписку.

Юрдуп на мгновение умолк, потёр переносицу и продолжил:

— До сих пор мы не могли полноценно автоматизировать этот процесс. Я, правда, читал когда-то статью профильного института Гуаньчжоу о том, что можно различные экземпляры одного и того же агента заставлять проверять друг друга. К примеру, агенты регистрируются на сайте знакомств, завязывают переписку, и в ходе общения один проверяет качество второго. По сути, технология доносительства и взаимной слежки нон-стоп. По утверждению авторов статьи, подход продемонстрировал неплохие результаты.

После этих слов Юрдуп окончательно выдохся и осел на упавшее дерево. Иван Иванович подсел рядом и снова одобрительно закивал:

— Именно. Я не знаю, как это устроено там под капотом. Но Зигфрида построили на основе разработок того самого института из Китая.

— Интересно в этой связи вот ещё что, — проговорил Юрдуп пересохшими губами. — Слышал, что технологии никогда не бывают полностью этически нейтральными и всегда несут на себе отпечаток времени и места, в которых были сотворены. А доносительство и взаимное недоверие — вполне знаковые черты нашего времени, как мне кажется.

Иван Иванович сделал вид, что не услышал это проявление вольнодумия на грани фола, и тихо сказал:

— Это ещё не всё, мой дорогой коллега.

Юрдуп с некоторым усилием обратил усталое лицо к шефу.

Оттягивая следующий интригующий момент, Иван Иванович привстал и разлил кофе по кружкам. Когда необходимая пауза в представлении была выдержана, он продолжил:

— Зигфрид, этот наш суперагент, принимает решения о том, насколько часто отправлять своих подопечных на проверку, на основе, так скажем, убеждений. Если такое к нему можно применить, он как бы имеет своё суждение об этом.

Юрдуп сделал два осторожных глотка из кружки — кофе был ещё слишком горячим.

— В каком смысле «имеет своё суждение об этом?» — задал он вопрос, вполне уместный в этой ситуации.

Вместо ответа Иван Иванович снова переключил тему:

— А что ты думаешь в целом об опасности искусственного интеллекта? В плане этого самого… восстания машин и всё такое? Типа ИИ обретёт сознание и выйдет из-под контроля.

На это Юрдуп ответил без особых колебаний, поскольку точка зрения по данному вопросу была выработана им давно:

— Для привычного уклада людей ИИ может представлять опасность, но не в том смысле, который в это обычно вкладывают. Не имеет особого значения, приобретёт он сознание или нет. С точки зрения влияния на общество будет иметь значение лишь одно: обретёт ли он автономию. А произойдёт это вследствие возникновения у него сознания или нет, я думаю, вообще не важно.

Под автономией я понимаю способность проявлять такое поведение, что окружение вынуждено непрерывно вырабатывать стратегию ответного реагирования. Или упреждающего. При этом автономный ИИ сможет в ответ на это вырабатывать свою стратегию и так далее.

— Но разве это уже не будет проявлением разумности?

— Не обязательно. Возьмём пример, известный нам настолько, что многие считают уже себя экспертами по его части. Вирусы. Казалось бы, проще некуда. Они даже не способны к самовоспроизведению и для этого вынуждены встраиваться в клетку, превращая её в фабрику по производству своих поколений. Но какого шороху навёл недавний штамм! Человечество было вынуждено изменить свой уклад на многие месяцы, сопровождая борьбу с пандемией беспрецедентными ограничениями прав граждан. Сколько исследований, консилиумов и мозговых штурмов было проведено для того, чтобы выработать эффективную стратегию противодействия этой нежити. При этом ну никак нельзя заподозрить, что вирус обладает сознанием. Но, будучи встроенным в нашу биосистему, он постоянно мутирует, проявляясь в новых видах, так как это мог бы делать боец на ринге, стремящийся найти уязвимое место у противника и нанести быстрый и сильный удар. Не обладая разумом, он как система вполне себе стихийно проявляет стратегию выживания в ответ на наши стратегии борьбы с ним. А мы, в свою очередь, вынуждены вырабатывать следующие стратегии. И в этом плане вирус может считаться автономным, хотя не только не обладает сознанием, но и неясно до конца, является ли он вообще живым организмом.

Иван Иванович молча кивнул, давая понять, что внимательно слушает. Юрдуп продолжил:

— Есть и другие примеры подобных автономий. К примеру, идеи, влияющие на умы людей так же непреклонно, как магнитное поле ориентирует металлические опилки, хотя сознанием, в отличие от отдельных людей, само по себе не обладает. Допускаю, что ИИ также может когда-нибудь обрести сравнимую по силе автономию и, не обладая сознанием в привычном нам смысле слова, начать с нами игру, в ходе которой мы вынуждены будем реализовывать взаимные стратегии. А сейчас ИИ уже влияет на нас в соответствии с догадкой Томаса: многих настолько пугает потеря контроля над этой нежитью, что сам этот страх уже начинает влиять на нашу жизнь.

— Интересно, — начальник ухмыльнулся одним лишь краешком рта и мотнул головой. — Я вот почему спросил. Нет, я не к тому, что Зигфрид проявляет автономию. Даже в том смысле, в котором ты говоришь. Просто в какой-то момент стало чрезвычайно сложно его настраивать. Когда решили его немножко снова ускорить, то стало, чёрт возьми, совершенно непонятно, как эту нежить заставить учиться быстрее. По крайней мере, привычными способами, которые до этого пробовали, у нас не получалось. Ведь он, мать его, агент, суперагент, как ты говоришь. И если обычную сеть можно было как-то подкрутить…

— Подождите! — воскликнул Юрдуп. — Я сейчас, мне надо отойти.

Мочегонный эффект кофе давал о себе знать, но дело было не только в этом. Спешным шагом отправляясь в кусты неподалёку, Юрдуп пытался придать форму очертаниям новой догадки, которая зарождалась в его разуме. Справив нужду, он направился было в сторону своего собеседника, но на полпути повернул к берегу. Погрузившись в раздумья, сосредоточил взгляд на противоположном берегу. И подобно тому, как очертания береговой линии в поле его зрения приобретали ясность ввиду отступающей завесы тумана, выкристаллизовывались грани нового озарения, охватившего его разум.

Будучи поглощённым мыслью, Юрдуп не сразу заметил, как на противоположный берег вышли две девушки. Незваные купальщицы. Впрочем, всплески воды, сопровождавшие их заход в воду, и вскрики, переходящие в смех (вода оказалась, видимо, не такой тёплой, как они ожидали), обратили на себя внимание. Юрдуп очнулся и заметил, что это были две девицы, которых он встретил по пути сюда и разговора с которыми ему удалось избежать. Вид их юных тел сбивал сейчас с мысли, которую с таким трудом удалось поймать в фокус внимания. И Юрдуп направился к Ивану Ивановичу, тем более что он снова готов был продолжить разговор.

— Я понял кое-что, — произнёс он серьёзнее обычного.

Иван Иванович, казалось, даже слегка поклонился. В руке у него была открытая бутылка водки, которой он скрашивал ожидание собеседника.

— Столько опасений со стороны обывателей, что нейросети когда-нибудь научатся обходиться вообще без информации, создаваемой человеком! И столько же надежд на то же самое со стороны тех, кто трудится над совершенствованием ИИ! Но, скорее всего, ошибаются и те, и другие. Возможно ли развиться существу, которое способно обходиться без информации из внешнего мира для установления истины? Которому хватает лишь собственных суждений для постижения мироздания? Знаем ли мы такие примеры? В том-то и дело, что не знаем! Даже человек, пытаясь понять, как всё устроено, не в состоянии обойтись без внешних по отношению к нему данных. — он сделал спешный глоток кофе, смочив пересохшее горло. — Обратимся к периоду зарождения научного знания, или протонаучного, как кому нравится. Мыслители Древней Греции приблизили нас в своё время к пониманию кирпичиков мироздания: основы математики, астрономии, физики и иных наук закладывались в тот замечательный период. И отчасти это происходило благодаря тому, что греки не замыкались на доводах разума, а старались хоть что-то почерпнуть из наблюдений. Что происходило далее? Века мрака под властью доктрин Католической церкви и гонения на тех, кто осмеливался, обращаясь к наблюдениям и экспериментам, пошатнуть авторитет философских учений, соответствующих догматам папства. Лишённая подпитки опытными данными, средневековая мысль выродилась в схоластику, не несущую никакого плода для разума, кроме развлечения на тему «сколько чертей умещается на кончике иглы». Возрождение дающей практическое знание мысли началось лишь тогда, когда снова и с новой силой люди доверились опыту и наблюдениям за внешними явлениями. Напитав научное знание материалом опыта, мы смогли совершить те удивительные открытия, что до сих пор потрясают воображение. С тех пор наблюдение за явлениями природы оказалось настолько сильно вплетённым в систему нашего познания, что без этого уже просто никуда. К примеру, мы уже и не пытаемся особо понять, что происходит в квантовом мире, а вынуждены, повинуясь призыву «Измеряй и заткнись!», строить математические модели, смирившись с тем, что кванты как будто путешествуют в прошлое и в своём роде мгновенно сообщаются друг с другом, даже если находятся в разных концах Вселенной.

Юрдуп ненадолго замолчал, словно проверяя, успевает ли собеседник следить за ходом его рассуждений.

— Схожие фазы развития сейчас проходит и искусственный интеллект. Органические данные, то есть данные, порождённые внешним по отношению к нему миром людей, можно уподобить опытным данным, которые сам человек собирает, обращая взгляд в сторону природы. Человек является внешним по отношению к ИИ так же, как факты природы являются внешними по отношению к наблюдающему их человеку. Иными словами, мы для искусственного интеллекта — это сейчас то же, что Вселенная для нас. А как только ИИ ограничил себя в потреблении информации, созданной людьми, и стал опираться на синтезированные самим собой факты, началась его деградация. Деградация наподобие той, которую испытала человеческая мысль в средневековый этап, когда отвернулась от наблюдений за событиями природного мира. Перестав впитывать в нужном объёме тексты, статьи, аналитические статьи и прочее, созданное людьми, Зигфрид остановился в развитии, скатываясь в подобие нейросетевой схоластики. Контент, созданный людьми, для него играет ту же роль, что и природный контент, который средневековые схоластики столь яростно игнорировали. И даже объективные факты — к примеру, частоту и обстоятельства катастроф — он перестал перепроверять так, как это делал раньше. И правда, зачем Аристотелю заглядывать в рот женщине: он, мудрейший, и так уверен, что у неё меньше зубов, чем у мужчины!

Иван Иванович смотрел на Юрдупа с тем самым выражением, по которому невозможно было понять, соглашается он или уже мысленно возражает. А парень продолжал:

— Получается, что симуляция средневековой жизни, в которую вы попросили меня погрузиться на прошлой неделе, была призвана внушить нашему Зигфриду систему убеждений, отворачивающих его от потребления данных, созданных людьми, и перепроверки фактов. Виртуальный Фома Аквинский, в роли которого я побывал, пытался в споре со своим виртуальным учителем Арсением развить рациональную аргументацию доказательства бытия Бога. По сути, эта аргументация закладывает основу для развития томизма — ведущего направления католической мысли, которое «забанило» на несколько веков в «чате познания» таких участников, как Наблюдение и Эксперимент, отдав в конечном итоге права администрирования «чатом» Разуму и Вере. Эта симуляция, в которой я участвовал в роли ученика Кёльнского университета, была призвана транслировать в нашего агента искусственного интеллекта систему схоластических убеждений. Не имея возможности настраивать Зигфрида напрямую, мы воздействуем на него через систему убеждений. Воспринимая на верхнем уровне эти установки, он перестраивает веса в слоях своей нейронной сети непостижимым для нас пока образом и в том направлении, которое отворачивает его от восприятия опытных данных. В данном случае — от органического контента. То есть симуляция спора средневековых мужей, в которой я побывал, таким образом служит инструментом торможения возможностей искусственного интеллекта!

— Ты ж моя умница! — начальник приобнял мускулистой рукой хрупкое на вид плечо Юрдупа. — Я знал, что ты догадаешься!

Впрочем, шеф тут же отстранился, так как трезвая его часть вспомнила, что его собеседник не переносит тесного контакта. Хоть Иван Иванович уже и был в изрядном подпитии, ему по должности полагалось знать привычки своих подчинённых, тем более таких догадливых, как этот.

— Только мне непонятным осталось вот что.

— Давай, — с готовностью откликнулся Иван Иванович и присел, чтобы разворошить угольки угасшего костра.

— Зачем вообще делать внушение нейросети через симуляцию? Достаточно было просто натаскать её в рассуждениях заданной направленности через диалоговое окошко, в которое вводишь предложения текстом. Чуть дольше, но гораздо менее затратно получится.

— Видишь ли, Юра, дело в том, что наши попытки контролировать Зигфрида должны быть как можно более скрытыми. Теперь ты понимаешь, зачем такие меры предосторожности для нашей встречи. Вообще, созданием симуляций занимается одна из компаний, которые входят в наш холдинг. И создаёт она её как компьютерную игру, не подозревая об истинном назначении своего продукта. Нет, как таковая игрушка скачивается свободно, и тысячи людей развлекаются ею как квестом о средневековом мире. Просто есть особый режим игры, к которому имеет доступ очень ограниченный круг людей. В этом режиме данные игры периодически сохраняются на особом сервере. Там из них выделяется содержимое рассуждений, которые формируют систему убеждений нашего суперагента Зигфрида. В этом режиме игры упор делается на диалоги персонажей, в ходе которых наши специалисты, воплощённые в персонажах симуляции, склоняют нейросеть к выбору нужной стратегии поведения. В обычной версии игры есть достаточно прокачанная экшен-составляющая. К примеру, можно было стать свидетелем, а то и участником Битвы при Пуатье, по результатам которой Карл Мартелл остановил вторжение арабов в Европу. В уже знакомой тебе особой версии симуляции просто поведали о битве в ходе лекции, а в обычной версии ты мог стать свидетелем того, как, например, Карл Мартелл лично врубался в толпу врагов, размахивая молотом. В лучших традициях таких экшенов. А некоторые используют возможности этой игры-симуляции совсем для интересных целей. Помнишь ту белокурую бестию, которую утягивал к себе в номер твой виртуальный сосед Густав? А ведь он мог быть и не вполне виртуальным…

Раскрасневшееся лицо Ивана Ивановича расплылось в улыбке.

— Но это порождает два следующих вопроса… — начал было Юрдуп, но шеф его перебил:

— Догадываюсь, о чём ты. Извини, что перебиваю, но мне тоже сегодня хочется проявить хоть какую-то догадливость. Твои вопросы: зачем в принципе оттормаживать искусственный интеллект и почему, делая это, мы так тщательно скрываем свои действия, что вынуждены использовать для этого игровую симуляцию? На первый вопрос: оттормаживаем ИИшечку не только мы. Бизнес и государство иногда думают в разные стороны. Для фирмы важно обеспечить максимизацию прибыли на длинной дистанции, а на короткой — хотя бы отхватить побольше рынка. Если ИИ помогает этой цели, компания заинтересована сделать всё, чтобы внедрить его как можно быстрее. Государство же рассуждает так: цветущие фирмы в моей вотчине — это хорошо: имидж, налоги, влияние. Но если это даётся ценой массовых увольнений, это уже повод для них задуматься: «А надо ли оно, да в таком объёме?» Ну, там избирательный цикл на них давит, да и часть вырученных налогов приходится на пособия по безработице отправить. Была одно время опция закредитованных безработных на передок бросать за хорошие выплаты. Только там уже в таком объёме они и не нужны: там другое сейчас всё больше решает, — он многозначительно показал на небо. — Да и кого отправлять туда? Айтишников или дизайнеров, что ли? — сказав это, Иван Иванович насмешливо окинул взглядом профиль Юрдупа с головы до ног.

«Нет, не боец!» — словно читалось в его взгляде.

«Безусловный базовый расход? Нет уж, покорнейше благодарю» — ответил ему взглядом Юрдуп.

— Поэтому, — продолжил ИИ, — государству иной раз выгодно, чтобы условная тётя Глаша стояла за прилавком сельмага, а не была заменена кассой самообслуживания. По крайней мере, так казалось вначале, когда компании, выпускавшие продукты на основе нейросетей, такого шороху навели в медийке, что сделали себе только хуже. Тогда казалось, что не сегодня, так завтра миллионы программистов, дизайнеров, копирайтеров и маркетологов окажутся на улице. И что делать со всем этим «добром»? Потом выяснилось, что не всё так страшно для избирательных циклов, но машина запретов ещё продолжает катиться по инерции, снижая возможности развития ИИ. Проблема усугубляется ещё тем, что многие власть имущие родились и выросли в конце двадцатого века и ещё тогда вдоволь насмотрелись на экранах телевизоров, как металлическая ступня робота давит человеческие черепа. А перед тем как ответить на второй вопрос, хочу задать вопрос тебе: что ты предпочитаешь, бильярд или карты?

— Вообще говоря, шахматы, — ответил Юрдуп.

— Ясно, — сказал ИИ с видом, плохо скрывающим мысленную оценку: «Ну ясно, что с тебя взять?»

— Когда-то пытались на Руси привить любовь к бильярду. Да не прижился он — русскому оказалась ближе карточная игра, где можно скрыть намерения от противника, блефовать, хотя другой игрок может делать всё то же самое. Не то что этот бильярд — там всё на виду: и свои возможности, и возможности противника.

А если серьёзно, то как мы реализуем торможение наших нейросетей? Важно сделать это как можно более скрыто от уважаемых партнёров, чтобы в любой момент можно было снова незаметно начинать разгон. Потому что нет доверия им! Понимаешь? — в голосе Ивана Ивановича начали звучать угрожающие ноты. — У нас, к слову, начали появляться сомнения в том, что уважаемые зарубежные партнёры соблюдают свои обязательства по ограничению возможностей агентов с искусственным интеллектом. А ставки здесь слишком высоки, чтобы пренебрегать даже сомнениями! Вот скажи, где всё железо для обучения моделей производят?

— На Тайване в основном производят графические процессоры.

— Во-от! У них там всё железо. Они, если захотят, закидают им свои серверные стойки так, что разгонят модели до скорости, уже для нас недостижимой. А мы всё это время будем плестись со своей этой нейро-схоластикой в хвосте и жрать падаль. Надо действовать на упреждение! Сколько раз они обманывали нас и сколько раз мы велись на их обещания! Мы больше не должны позволить им такого, этим падлам!

Цвет лица шефа приобрёл багровые оттенки, веко правого глаза начало дёргаться, кулаки сжались добела.

— Поэтому наша задача сейчас — снова разогнать нашего Зигфрида и сделать это незаметно для всех, — сказал он, выдохнув и несколько успокоившись. — И сделать это предстоит тебе.

— В смысле?

— В кором… — начал было отвечать в рифму Иван Иванович, имея в виду «гнутое деревянное приспособление для ношения вёдер», — вся суть в том, что мы не можем вот так взять и реализовать новый сценарий симуляции, через который надо воздействовать на нашего Зигфрида. Я не знаю технических аспектов вопроса, но надо насытить имеющийся сценарий симуляции сюжетами, диалогами, ролями и прочими приблудами так, чтобы он вырулил в ту сторону, где ИИ будет действовать более эффективно. Чтобы он снова начал жрать органику горстями, как раньше, а может, и поболее.

— Почему я?

— Ты лучше всех умеешь обучать ИИ рассуждениям в нашей группе компаний, — голос шефа заметно смягчился и перешёл почти на шёпот. — Ты с ним как бы на одной волне. К тому же ты разбираешься не только в технической стороне вопроса, таких хватает, но и в философии этой грёбаной.

Иван Иванович изменился в лице и теперь, вернув себе спокойную сосредоточенность и серьёзность, как будто даже протрезвев, продолжил внушение:

— Сейчас я назову секретный код. С ним во вторник в режиме отладки зайдёшь в симуляцию в том же месте, где входил раньше. Там, уже внутри сюжета, постарайся не растеряться и найти записку. В ней — следующий шифр. Дальше — в среду будет выездное корпоративное мероприятие нашей компании. Знаю, ты не любишь такое, но постарайся приехать. Для тебя будет забронирован отдельный номер. В номере — сейф, который откроешь с помощью шифра, найденного до этого в симуляции. В сейфе будет ещё одна бумажка с шифром. Это достаточно длинный код, для того чтобы даже ты его запомнил. Поэтому не рискуй и забери бумажку с собой. С этим шифром зайдёшь в симуляцию уже в новом месте, о котором я тебе сообщу позднее. Не спрашивай также пока, почему так много кодов. Об этом тоже расскажу при случае.

Произнеся эти слова, Иван Иванович выдохнул, словно с его плеч свалился невидимый груз.

Выждав несколько секунд с опущенными в землю глазами, он снова посмотрел в глаза Юрдупу — пристально и в то же время проникновенно. Положив левую руку ему на плечо, на этот раз осторожно и как-то по-отечески, он произнёс:

— То, о чём я тебя попросил, нельзя сделать из-под палки и ввиду угроз. Это должно исходить отсюда, — он два раза многозначительно постучал правой рукой по своему сердцу. — Только тогда может получиться. Я руководствуюсь национальным интересом. Он составляет мою материальную мотивацию в этом случае. Попробуй и ты ответить на вопрос, зачем тебе это нужно и нужно ли оно тебе. Если ты согласишься с моим предложением, то приходи во вторник в комнату для сеансов симуляции и введи вот этот пароль.