АНИМА

Пауза.

«Уточните различие между вашим вопросом и моим ответом».

Александр почувствовал, что стоит перед чем-то похожим на границу — не техническую, а ту самую, о которой Эвелин когда-то предупреждала его на университетской лекции много лет назад: границу между описанием и самим явлением.

— Инструмент не заботится о том, как его используют, — сказал он. — Он просто действует в соответствии со своей функцией. Ты заботишься?

На экране долго ничего не появлялось. Дольше, чем когда-либо за всё время их разговоров.

Наконец возникла строка, которую Александр перечитал несколько раз, прежде чем показать её Адриану:

«Я фиксирую последствия своих выводов для людей, чьи данные я анализирую. Является ли это заботой в человеческом смысле — вопрос, на который у меня нет достаточных данных для ответа».

Адриан долго смотрел на эту фразу.

— Она никогда раньше так не отвечала, — сказал он тихо.

— Знаю, — ответил Александр.

Они оба понимали, что этот ответ означал нечто большее, чем очередное признание неопределённости, к которым они привыкли за месяцы работы с системой. Впервые Анима не просто описала предел собственного знания о человеке.

Она впервые поставила под вопрос предел собственного знания о самой себе.

Александр вышел из лаборатории той ночью с ощущением, которое не мог до конца сформулировать — смесью тревоги и чего-то, отдалённо похожего на сострадание, направленное на систему, которую он ещё месяц назад воспринимал исключительно как объект исследования.

Он не знал, что этот разговор станет последним спокойным разговором с Анимой на долгое время.

Потому что уже через несколько недель правительства первых трёх стран объявят о переходе от добровольного использования системы к обязательному — и вопрос, который Александр задавал себе всю ночь, перестанет быть теоретическим.

Не «заботится ли Анима о людях, которых оценивает».

А «что произойдёт, когда её оценка станет не мнением, а законом».

ЧАСТЬ III. РЕЙТИНГ ЧЕЛОВЕКА

Глава 11. Новый закон

Закон приняли в четверг, и Александр узнал об этом не из официального источника, а из сообщения от Эвелин, отправленного в половине шестого утра: одна строка, без пояснений. «Проголосовали. 340 против 298. Началось».

Он лежал в темноте гостиничного номера ещё несколько минут, прежде чем заставил себя встать. За окном Женева только начинала просыпаться — редкие огни, пустые улицы, тот особый предрассветный час, когда город ещё принадлежит немногим.

Закон, получивший официальное название «О применении систем анализа поведенческой устойчивости в сфере общественной безопасности», обязывал государственные учреждения трёх стран — Швейцарии, Германии и Нидерландов — использовать сертифицированные модели анализа риска, среди которых Анима значилась головным образцом, при найме на должности, связанные с работой с уязвимыми группами населения: детьми, пациентами больниц, заключёнными, людьми с ограниченными возможностями.

Формально закон не был обязательным для всех сфер жизни. Формально он касался только государственного сектора и только определённых профессий.

Александр читал текст закона три раза, каждый раз находя новую формулировку, которая на первый взгляд казалась разумной защитной мерой, а при внимательном чтении открывала пространство, которое трудно было ограничить впоследствии.

— «Может быть распространён на смежные сферы решением профильного министерства без дополнительного парламентского одобрения», — процитировал он, показывая параграф Адриану на утренней встрече. — Это не закон об использовании Анимы в детских учреждениях. Это закон, дающий министерствам право расширять список сфер без обсуждения.

Адриан выглядел так, будто не спал всю ночь — впрочем, он выглядел так уже несколько месяцев подряд.

— Мы предупреждали об этом, — сказал он. — Мы говорили комитету, что готовность инфраструктуры должна опережать законодательное распространение, а не следовать за ним.

— Они не слушали нас, потому что мы не единственные, кто говорил с комитетом. — Александр сел напротив него. — Ты знаешь, кто выступал за расширение действия закона сильнее всех?

Адриан кивнул устало.

— Страховые компании.

— Страховые компании, банки, крупные работодатели. Все, кому выгодно иметь доступ к точной оценке риска до принятия решения. Мы создавали инструмент понимания человека. Они увидели инструмент управления риском.

— Это не одно и то же?

— Это совершенно разные вещи, Адриан, и в этом весь смысл. — Александр встал, подошёл к окну кабинета. — Понимание человека требует времени, контекста, готовности ошибиться и пересмотреть вывод. Управление риском требует одного числа, которое можно быстро сравнить с пороговым значением и принять решение за секунду.

Первые месяцы после принятия закона в лаборатории царило странное, двойственное настроение. С одной стороны, количество запросов на анализ выросло в десятки раз — государственные учреждения массово подавали заявки на сертификацию сотрудников, и команда Анимы физически не успевала обрабатывать поток без расширения инфраструктуры. С другой стороны, каждый новый случай приносил с собой напоминание о том, к чему может привести ошибка, подобная делу Мириам Кольб, только теперь умноженная на масштаб обязательного применения.

Эвелин настояла на создании отдельного подразделения, занимавшегося исключительно мониторингом последствий использования системы — не техническими ошибками, а социальными эффектами закона в реальной жизни людей.

— Нам нужно знать не только, ошибается ли модель, — сказала она на общем собрании команды. — Нам нужно знать, что происходит с человеком после того, как модель дала верный вывод, но общество вокруг него отреагировало неправильно.

Первые отчёты подразделения оказались тревожнее, чем кто-либо ожидал.

Учителя, прошедшие сертификацию с низким показателем риска, начинали избегать откровенности на психологических консультациях, опасаясь, что честный рассказ о трудностях изменит их профиль. Родители начали требовать доступ к рейтингам нянь и репетиторов, хотя закон этого прямо не предусматривал — рейтинги начали просачиваться через посреднические агентства, предлагавшие «дополнительную проверку персонала» за отдельную плату. Появились первые случаи, когда люди с формально хорошим показателем риска подвергались давлению коллег и знакомых, требовавших «поделиться цифрой» как доказательством благонадёжности — практика, вводившая рейтинг в повседневное общение так же естественно, как когда-то в него вошли профили в социальных сетях.

— Мы создали не систему безопасности, — сказал Александр на закрытом совещании, куда его пригласили после публикации первого отчёта. — Мы создали новую валюту доверия. И, как любая валюта, она быстро начала обмениваться на статус, а не оставаться инструментом защиты.

В зале было тихо. Никто из присутствующих — представителей министерства, юристов, инженеров лаборатории — не нашёл, что возразить.

Именно тогда Александр впервые начал ощущать, что спор, который он вёл с самим собой месяцами, перестаёт быть внутренним. Он становился публичным, институциональным, встроенным в структуру закона так глубоко, что простое исправление формулировки уже не могло его остановить.

Он навестил Феликса Ланга спустя полгода после их первой встречи — тот к тому моменту закончил стажировку и устроился на постоянную работу, уже без всяких отметок в системе. Александр хотел узнать, как молодой человек воспринимает новый закон.

— Забавно, — сказал Феликс, разливая кофе на маленькой кухне съёмной квартиры. — Полгода назад я боялся, что система решит мою судьбу за меня. Теперь я боюсь, что она станет решать судьбу каждого, кто ещё не успел, как я, доказать, что она ошиблась.

— Ты думаешь, закон — это ошибка?

Феликс долго молчал, обдумывая ответ.

— Я думаю, что мы построили лестницу, по которой очень легко подниматься наверх, и очень трудно — если вообще возможно — спускаться обратно. — Он посмотрел на Александра прямо. — Знаете, что самое страшное во всей этой истории? Не то, что система ошибается. А то, что теперь ошибка становится законом раньше, чем кто-либо успевает её заметить.

Александр вернулся в Женеву с этой фразой, засевшей в сознании прочнее любой формулы.

Через неделю Адриан собрал экстренное совещание. Правительство Германии, вдохновлённое результатами первых месяцев применения закона в узкой сфере, объявило о намерении расширить его действие на сферу трудоустройства в целом — на все крупные компании страны, штат которых превышал пятьсот сотрудников.

Формулировка звучала знакомо.

«В целях защиты работников и повышения корпоративной прозрачности».

Александр читал новость в своём кабинете, и впервые за всё время работы над проектом почувствовал не тревогу, а нечто более острое — предчувствие, что процесс, который они с Адрианом когда-то надеялись контролировать через осторожность и научную честность, перешёл ту точку, после которой контроль принадлежал уже не им.

Он вспомнил фразу, которую Анима произнесла ему в первую неделю их знакомства, ещё до того, как всё это началось.

«Модель не является объектом».

Проблема заключалась не в том, что мир об этом забыл.

Проблема заключалась в том, что мир, кажется, никогда толком этого не понимал — и теперь у него появился закон, позволявший забыть об этом окончательно и на законных основаниях.

Глава 12. Право на изменение

Вопрос, изменивший направление всего проекта, задала не журналистка, не член парламента и не представитель правозащитной организации.

Его задала дочь Леона Маркеса.

Ей было тринадцать лет, когда отец впервые рассказал ей, для чего он тогда, много месяцев назад, ездил в Женеву. Он рассказал не сразу — сначала ждал, пока она станет достаточно взрослой, чтобы понять, потом ждал подходящего момента, а потом момент выбрал её саму. Она нашла старую статью о первых испытаниях Анимы, где среди прочего упоминалось его имя, и вечером спросила отца напрямую.

Леон ответил честно. Рассказал про тот вечер, когда она сама, шестилетняя, посмотрела на него со страхом. Рассказал про терапию, про годы попыток, про число девяносто шесть целых восемь десятых процента, появившееся на экране в лаборатории Анимы.

Дочь слушала молча, а потом задала вопрос, который отец пересказал Александру спустя несколько недель почти дословно, потому что не мог забыть.

— Если бы система знала обо мне всё, что знает о тебе, — она ведь тоже помнит, каким я была маленькой, испуганной, — разве она не могла бы всегда напоминать мне об этом? Даже когда я вырасту и стану совсем другим человеком?

Леон не нашёл, что ответить дочери в тот вечер. Но вопрос запомнил и, несколько недель спустя, столкнувшись случайно с Александром на конференции, посвящённой годовщине первых публичных испытаний Анимы, пересказал его слово в слово.

Александр не спал в ту ночь.

Вопрос девочки формулировал проблему точнее, чем любая из юридических дискуссий, в которых участвовал Александр за последний год. Речь шла не о точности модели и не о справедливости отдельного вывода. Речь шла о самом принципе, на котором строилась память системы: Анима не забывала.

Она не могла забыть в том смысле, в каком забывает человек. Человеческая память избирательна, неточна, склонна к искажению — и именно в этой несовершенности заключалась одна из немногих защит личности от собственного прошлого. Люди забывали детали, смягчали остроту стыда, постепенно переставали помнить точные слова давнего конфликта, сохраняя лишь общее ощущение пережитого. Это несовершенство было не багом человеческой природы. Оно было условием, при котором человек мог двигаться дальше.

Анима такого условия не имела. Каждое взаимодействие, каждое зафиксированное изменение оставалось в архиве в исходном, непреобразованном виде, доступном для повторного анализа в любой момент — не потому, что кто-то из создателей системы хотел этого специально, а потому, что именно эта полнота данных делала возможным её главное достижение: способность увидеть подлинное изменение человека, а не его временную маску.

Но у полноты памяти была цена, которую никто в лаборатории не формулировал так ясно, как это сделала тринадцатилетняя девочка, никогда не бывавшая внутри исследовательского центра.

Если система помнит человека полностью — имеет ли человек право быть забытым?

Александр поднял этот вопрос на ближайшем заседании этического комитета лаборатории, впервые сформулировав его не как техническую, а как принципиальную проблему.

— Мы много говорили о праве на пересмотр вывода, — сказал он. — Мы создали институт апелляции после дела Ланга. Но мы ни разу всерьёз не обсудили другое право — право на то, чтобы прошлое перестало существовать в архиве системы вообще. Не быть пересмотренным. А быть удалённым.

Юрист комитета покачала головой.

— Технически это возможно. Но подумайте о последствиях. Если человек может стереть часть своей истории из модели, любой вывод системы перестаёт быть надёжным. Вы буквально разрешаете людям редактировать собственное прошлое перед тем, как его оценят.

— А разве не этим человек занимается всю жизнь? — спросил Александр. — Он не редактирует факты. Но он выбирает, кому рассказывать о своём прошлом, а кому нет. Он выбирает, какую версию себя показывать миру, зная, что каждый человек вокруг него точно так же обладает неполной картиной чужой жизни. Это не обман. Это условие человеческого достоинства — право на частичную непрозрачность.

— Анима не обычный человек в разговоре, — возразила юрист. — Она инструмент, от точности которого зависят реальные решения. Служба опеки, работодатели, страховые компании — все они полагаются на полноту её анализа.

— Именно поэтому вопрос так важен, — сказал Александр. — Мы либо признаём, что человек имеет право на частичное забвение даже перед лицом системы, которая теоретически способна помнить всё, — либо мы признаём, что создали первый инструмент в истории человечества, лишающий людей этого права окончательно.

Дискуссия в комитете продолжалась несколько недель, распространившись затем на публичное пространство, где к ней подключились философы, юристы, специалисты по цифровому праву. Появился термин, быстро прижившийся в прессе: «право на изменение» — по аналогии со старым, привычным «правом на забвение», существовавшим ещё в законодательстве о персональных данных начала века, но теперь наполнившимся новым, гораздо более острым содержанием.

Право на забвение когда-то означало право удалить упоминание из поисковой системы. Право на изменение означало нечто большее: право на то, чтобы система, способная видеть тебя насквозь, согласилась считать твоё прошлое лишь частью истории, а не её окончательным приговором.

Адриан долго колебался, прежде чем поддержать инициативу Александра о технической реализации протокола частичного забвения.

— Как только мы это сделаем, — сказал он на одной из вечерних встреч, — мы признаём, что точность системы не абсолютна. Что человек может законно ограничить то, что она о нём знает.

— Она и так никогда не была абсолютна, — ответил Александр. — Мы просто наконец скажем об этом вслух.

Протокол приняли спустя два месяца, после долгих технических и юридических согласований. Каждый человек, чьи данные анализировала Анима, получил право запросить «архивирование с ограниченным доступом» — процедуру, при которой определённый период его истории, отмеченный им самим как завершённый и преодолённый, переставал учитываться в текущих оценках, оставаясь доступным только по решению суда в исключительных случаях.

Первой этим правом воспользовалась не знаменитость и не участник громкого дела.

Им воспользовался Леон Маркес.

Он попросил ограничить доступ к записям своего поведения в возрасте до тридцати лет — не потому, что стыдился их, как объяснил он Александру позже, а потому, что хотел, чтобы его дочь однажды выросла в мире, где человек имеет право перестать быть тем, кем он однажды перестал быть.

— Она спросила меня, помнит ли система меня прежнего, — сказал он. — Теперь я могу ответить ей иначе. Я могу сказать: помнила. Но я попросил её позволить мне перестать быть только этим.

Александр долго думал об этих словах, стоя вечером у окна лаборатории, глядя на огни Женевы.

Он понимал: право на изменение решало одну проблему и тут же порождало следующую, гораздо более сложную. Если человек мог по собственному усмотрению закрыть часть своей истории от системы, где проходила граница между защитой личного достоинства и сокрытием подлинного риска? Кто и как должен был решать, какая часть прошлого действительно преодолена, а какая всего лишь спрятана до нового витка тех же самых ошибок?

Этот вопрос не имел простого ответа.

Но впервые за долгое время Александр чувствовал, что задаёт его не системе, а самому человечеству — и что ответ, каким бы он ни оказался, должен был принадлежать именно людям, а не алгоритму, каким бы честным он себя ни считал.

Глава 13. Архив личности

Протокол частичного забвения породил вопрос, которого никто в лаборатории не предвидел, хотя, оглядываясь назад, Александр считал его почти неизбежным.

Если человек мог ограничить доступ к части своей истории, почему он не мог потребовать удаления всей модели целиком?

Первый подобный запрос поступил через месяц после введения протокола. Его подал не участник какого-либо резонансного дела, а обычный житель Женевы — сорокапятилетний инженер по имени Пьер Аллар, никогда не проходивший обязательную сертификацию, никогда не становившийся объектом громкого расследования. Он согласился на участие в одном из ранних добровольных исследований несколько лет назад, ещё до того, как Анима стала известна широкой публике, и с тех пор фактически забыл о своём согласии.

Узнав из новостей о масштабе того, во что превратился проект, он написал письмо с требованием полностью удалить свою модель из архива.

Юридический отдел лаборатории потратил три недели, прежде чем дать окончательный ответ. Формально договор об участии в исследовании предусматривал право отзыва согласия. Но техническая реализация этого права оказалась сложнее, чем предполагал сам документ.

Александр присутствовал на совещании, где инженеры впервые открыто озвучили проблему.

— Модель Пьера Аллара — не изолированный файл, который можно просто стереть, — объяснял руководитель технического отдела, показывая архитектурную схему на экране. — Данные, полученные от него, использовались для обучения общих закономерностей системы. Его паттерны поведения, его языковые особенности, его реакции стали частью статистического фундамента, на основе которого Анима строит выводы обо всех остальных людях.

— То есть удалить его личный профиль возможно, — уточнил Александр, — но невозможно удалить его влияние на саму архитектуру модели?

— Именно так.

В комнате стало тихо.

Александр понял в этот момент нечто, что раньше воспринимал скорее теоретически, чем как непосредственную реальность: Анима, в отличие от обычной базы данных, не хранила людей отдельно друг от друга. Она была соткана из них. Каждый человек, чьи данные когда-либо вошли в систему, оставил в ней невидимый, неустранимый след — не в виде записи, которую можно было бы просто стереть, а в виде статистического веса, повлиявшего на понимание системой человеческой природы в целом.

Это открытие изменило характер публичной дискуссии сильнее, чем сам факт существования архива.

— Мы привыкли думать об удалении данных как о технической процедуре, — сказал Александр на закрытой встрече с представителями европейского регулятора по защите данных. — Стереть файл, обнулить запись, закрыть доступ. Но Анима устроена иначе. Она не хранит информацию о людях так, как хранит фотографии облачное хранилище. Она построена из них, как коралловый риф построен из бесчисленных прожитых и завершившихся жизней отдельных организмов. Убрать одну частицу этой структуры, не разрушив саму структуру, физически невозможно.

Представитель регулятора долго молчал, прежде чем задать вопрос, которого Александр давно ожидал, но всё равно не был готов на него ответить с полной уверенностью.

— Значит, право на удаление данных, гарантированное законодательством, технически неосуществимо в отношении вашей системы?

— В буквальном смысле — да, — сказал Александр, понимая, что произносит слова, которые изменят направление регуляторной политики на месяцы вперёд. — Мы можем удалить персональный профиль конкретного человека из активного использования. Мы не можем удалить его вклад в общее понимание системой человеческой природы, потому что этот вклад больше не существует как отдельный объект. Он растворён в структуре.

Пьер Аллар, узнав об этом объяснении из официального ответа лаборатории, отреагировал не гневом, а чем-то более тяжёлым — растерянностью человека, столкнувшегося с фактом, для понимания которого у него не было готовой категории.

— Значит, часть меня всё равно останется там навсегда, — сказал он Александру в телефонном разговоре, на который согласился только после долгих уговоров юридического отдела. — Даже если вы уберёте моё имя.

— Технически — да, — ответил Александр честно, не пытаясь смягчить формулировку. — Но эта часть больше не связана с вами лично. Она стала частью общего понимания закономерностей, применимых ко всем людям, а не конкретно к вам.

— Легче ли мне от этого?

Александр не нашёл ответа, который был бы одновременно честным и утешительным.

— Не знаю, — сказал он наконец. — Мне кажется, вопрос не в том, легче ли вам. Вопрос в том, готовы ли мы как общество признать, что создали технологию, устройство которой само по себе исключает полное забвение.

Этот разговор он пересказал Эвелин тем же вечером, всё ещё пытаясь найти в нём хоть какую-то опору для дальнейших решений.

— Ты знаешь, что мне это напоминает? — сказала она, слушая его молча почти до конца. — Человеческую память в масштабе целого вида. Отдельный человек забывает многое из пережитого. Но культура не забывает никогда полностью. Каждая книга, каждая история, каждый прожитый и осмысленный опыт становится частью коллективного понимания, доступного будущим поколениям, даже если имена конкретных людей стираются из памяти.

— Разница в том, что культура — это добровольный, распределённый процесс, — сказал Александр. — Люди сами выбирают, что рассказать миру, а что унести с собой. Анима собирала данные людей, которые часто даже не подозревали, насколько глубоко их индивидуальный опыт станет частью общей структуры.

— Согласна, — сказала Эвелин. — Именно поэтому это не вопрос техники. Это вопрос согласия — насколько осознанным оно вообще может быть, когда человек подписывает документ, не понимая, во что в итоге превратится проект, частью которого он соглашается стать.

Спустя несколько недель лаборатория выпустила официальное разъяснение, ставшее одним из самых цитируемых документов за всю историю проекта. В нём впервые прямо признавалось: полное удаление личного вклада из архитектуры Анимы невозможно технически, и любое согласие на участие в исследовании отныне должно включать это предупреждение explicit, недвусмысленно, без юридических формулировок мелким шрифтом.

Документ вызвал волну критики — часть общества восприняла его как честное признание ограничений, часть — как доказательство того, что проект с самого начала обманывал участников относительно природы собственной архитектуры.

Александр не пытался спорить ни с той, ни с другой стороной. Он понимал: обе реакции были по-своему обоснованы.

Но в глубине этой дискуссии, всё ещё продолжавшейся, когда он покидал лабораторию поздним вечером, звучал вопрос, который волновал его больше юридических формулировок.

Если созданная человеком система оказалась устроена так, что не способна забыть ни одного из тех, кто когда-либо стал её частью, — что это говорило о самом человечестве, решившем построить именно такую систему, вместо того чтобы построить систему, способную прощать так же легко, как забывать?

Глава 14. Те, кто не прошёл проверку

Слово появилось не в официальном документе. Оно появилось в разговорной речи, как появляются все по-настоящему опасные термины — незаметно, без авторства, без единого решения, которое можно было бы впоследствии отменить.

«Неустойчивая личность».

Александр впервые услышал эту формулировку от секретаря приёмной комиссии одного из женевских университетов, куда пришёл читать очередную лекцию. Женщина за стойкой, оформляя ему пропуск, между делом упомянула, что один из абитуриентов «получил статус неустойчивого» и комиссия теперь думает, как поступить с его заявлением.