АНИМА

— Об этом система знает?

— А должна была узнать сама? Или я обязан теперь ходить и доказывать машине, что изменился, точно так же, как когда-то доказывал это себе?

Этот вопрос остался с Александром надолго. Он вспомнил Леона Маркеса — человека, для которого подтверждение изменения от Анимы стало моментом освобождения. И вот перед ним сидел человек, для которого отсутствие подтверждения стало приговором, вынесенным до того, как он успел хотя бы попытаться его оспорить.

Разница была не в системе. Разница была в том, в какую сторону работала вероятность — на человека или против него.

Он поднял этот вопрос на внутреннем совещании на следующий день, впервые за долгое время повысив голос при Адриане.

— Мы построили комиссию, которая реагирует на риск, — сказал он. — Но у нас нет никакой процедуры, которая давала бы человеку право оспорить вывод до того, как он причинит вред его жизни. Леону дали шанс доказать, что он изменился. Феликсу не дали шанса доказать, что он ещё не совершил того, чего боится модель.

— Протокол требует уведомления при высоком риске, — сказал Адриан. — Мы обязаны следовать закону, который сами же помогли написать.

— Тогда закон плохо написан.

— Возможно. — Адриан устало потёр глаза. — Но пока мы спорим о формулировках, комиссия принимает решения по живым людям каждую неделю.

— И что нам с этим делать?

Адриан долго не отвечал.

— Создать право на пересмотр, — сказал он наконец. — Институт апелляции. Не юридической — человеческой. Возможность человеку прийти и сказать системе то, что она не может увидеть в данных.

— А если система всё равно не изменит вывод?

— Тогда мы хотя бы будем знать, что дали человеку шанс быть услышанным, а не просто оценённым.

Феликс Ланг подал первую в истории проекта апелляцию неделю спустя. Александр присутствовал при разговоре, хотя формально не имел на это права — комиссия сделала для него исключение, зная его роль в создании самого института апелляций.

Разговор длился почти два часа. Феликс рассказывал о терапии, о новой работе, о письмах, которые он писал матери каждый вечер, хотя раньше никогда этого не делал. Анима слушала — если это слово вообще подходило к тому, что происходило, — фиксируя каждое новое данное, сопоставляя его с прежней моделью.

В конце появился ответ, короче, чем ожидал Александр:

«Обновлённая модель демонстрирует снижение показателя риска на 34 процентных пункта. Первоначальная оценка не учитывала данные, ставшие доступными только сейчас. Рекомендация: пересмотр статуса».

Феликс молча смотрел на экран несколько секунд.

— Значит, если бы я не пришёл, — сказал он тихо, — вы бы никогда не узнали.

Никто не ответил.

Потому что ответ был очевиден, и от этого становилось только тяжелее.

Александр возвращался домой той ночью с одной мыслью, которая не отпускала его до самого утра: Анима строила модель на основе доступных данных — это была её фундаментальная честность, та самая, которая делала её достойной доверия. Но человек, в отличие от любой модели, обладал правом на данные, которые ещё не существовали. На поступок, который он ещё не совершил. На разговор, который ещё не состоялся.

Система могла быть точной в отношении прошлого настолько, насколько прошлое вообще поддавалось измерению.

Но будущее принадлежало не данным.

Оно принадлежало человеку — если, конечно, у него оставался шанс до него дойти прежде, чем кто-то другой решит, что шанса больше нет.

Глава 8. Квантовая природа информации

Приглашение прочитать открытую лекцию для студентов Женевского университета Александр получил через несколько дней после разговора с Феликсом Лангом. Организаторы просили выступить не как участника проекта Анима, а как физика — объяснить, почему подобная система вообще стала возможной именно сейчас, а не десятилетием раньше или позже.

Он согласился не сразу. Публичные выступления никогда не привлекали его так, как привлекала сама работа. Но в этот раз он почувствовал, что вопрос организаторов совпадает с вопросом, который он последние недели пытался сформулировать для себя самого.

Аудитория была заполнена до последнего ряда. Александр не привык к такому вниманию — обычно его лекции по квантовой информации собирали специализированную публику, десятки, максимум пару сотен человек. Сегодня в зале сидели студенты самых разных факультетов: физики, юристы, будущие врачи, философы. Слово «Анима» изменило состав аудитории быстрее, чем любая научная сенсация последних десятилетий.

Он начал не с системы. Он начал с вопроса, который сам задавал себе студентом.

— Что такое информация?

В зале было тихо.

— Большинство из вас скажет: данные. Числа, тексты, изображения. То, что можно записать, передать, сохранить. Это верно, но это только верхний слой ответа. — Он включил первый слайд, простой, почти пустой: одна формула энтропии Шеннона. — Столетие назад Клод Шеннон показал: информацию можно измерить так же строго, как измеряют массу или энергию. Информация — это мера неопределённости, которая исчезает, когда мы получаем ответ на вопрос. Чем неожиданнее сообщение, тем больше информации оно несёт.

Он сделал паузу, обвёл взглядом зал.

— Но Шеннон работал с классической информацией. Битами, которые либо равны нулю, либо единице. Прорыв, который сделал возможной Аниму, начался не с искусственного интеллекта. Он начался с вопроса, который физики задавали себе задолго до появления первых компьютеров: связана ли информация с самой природой реальности — или она лишь удобный инструмент для её описания?

Он вывел на экран второй слайд — портрет Рольфа Ландауэра.

— В тысяча девятьсот шестьдесят первом году физик Ландауэр показал нечто удивительное. Стирание одного бита информации требует затраты минимального количества энергии. Не хранение. Не передача. Именно стирание. Это означало: информация — не абстракция. Она физична. Она подчиняется законам термодинамики так же, как подчиняется им тепло, движение, энтропия.

Он видел, как несколько студентов на задних рядах наклонились вперёд.

— С этого момента граница между «миром вещей» и «миром информации» начала стираться. Если информация обладает физическими свойствами, значит, изучая физические системы, мы одновременно изучаем структуру информации, заложенную в них. А если так — квантовая механика, самая точная теория, которой располагает человечество, должна что-то сказать об информации на самом глубоком уровне реальности.

Он подошёл ближе к экрану.

— Классический бит — это либо ноль, либо единица. Кубит — квантовый бит — может находиться в суперпозиции обоих состояний одновременно, пока не произойдёт измерение. Это не философская метафора. Это экспериментально подтверждённое свойство природы. И именно из этого свойства выросла целая область — квантовая теория информации, — которая последние тридцать лет пыталась ответить на вопрос: как устроена информация на уровне, где заканчивается интуиция и начинается сама физика.

Один из студентов поднял руку.

— Но Анима не квантовый компьютер, — сказал он. — Насколько нам известно.

Александр кивнул.

— Верно. Анима работает на классической вычислительной архитектуре, хотя отдельные модули анализа неопределённости используют принципы, заимствованные из квантовой теории информации. Дело не в том, что система вычисляет на кубитах. Дело в том, что сама идея, легшая в основу её архитектуры, стала возможной только после того, как физика приняла информацию всерьёз — как фундаментальное свойство природы, а не побочный продукт человеческого языка.

Он вернулся к кафедре.

— Понимаете, в чём смысл? Мы долго думали, что мир состоит из частиц и полей, а информация — это то, что мы, люди, извлекаем из наблюдения за ними. Квантовая механика перевернула эту картину. Оказалось, что на самом фундаментальном уровне сам акт измерения — то есть получения информации — является частью физического процесса, а не просто его описанием. Наблюдатель не стоит снаружи системы. Он часть неё.

В зале стало очень тихо.

— И если наблюдатель — часть системы, — сказал он медленнее, — тогда встаёт вопрос, который занимал физиков весь двадцатый век и который лёг в основу философии, стоящей за Анимой: можно ли считать сознание, человеческую личность, самого наблюдателя — просто ещё одной информационной структурой? Достаточно ли сложной физической системой, чтобы её тоже можно было измерить, описать, смоделировать?

Он сделал паузу.

— Ответ физики на этот вопрос до сих пор не окончательный. Но именно этот незакрытый вопрос сделал возможным появление системы вроде Анимы. Не потому, что мы решили эту задачу. А потому, что мы наконец нашли математический язык, достаточно богатый, чтобы её сформулировать всерьёз.

С задних рядов поднялась рука — девушка с факультета философии.

— Вы верите, что человека можно полностью описать как информационную систему?

Александр посмотрел на неё дольше, чем на предыдущих вопрошающих.

— Я физик, — сказал он. — Я верю в то, что подтверждается экспериментом. А эксперимент пока не дал ответа. Но я скажу вам то, что сама Анима сказала мне в первый день нашего знакомства, когда я задал ей почти тот же вопрос. Она ответила: «Описание является моделью объекта. Модель не является объектом».

Он помолчал.

— Информация может описывать человека сколь угодно точно. Вопрос, на который у физики нет ответа — а может быть, и не будет никогда, — заключается в том, существует ли между самым полным описанием человека и самим человеком принципиальный зазор. Не количественный. Качественный.

— А вы сами как думаете? — спросила девушка.

Александр посмотрел на неё, потом на весь зал.

— Я думаю, что каждый раз, когда физика была уверена, что нашла окончательное описание реальности, реальность оказывалась немного больше собственного описания. Ньютон думал, что описал движение полностью. Потом появилась теория относительности. Эйнштейн думал, что реальность детерминирована. Потом появилась квантовая механика с её принципиальной неопределённостью.

Он сделал шаг к аудитории.

— Возможно, человек — это следующий уровень той же истории. Возможно, самая сложная информационная структура во Вселенной обладает свойством, которое мы пока не научились измерять. А возможно, мы просто ещё не построили достаточно точную модель. Я не знаю ответа. Но я знаю одно: именно неспособность дать окончательный ответ на этот вопрос делает нас учёными, а не пророками.

После лекции, когда зал опустел, к нему подошёл один из организаторов — пожилой профессор философии, с которым Александр был знаком поверхностно, по редким факультетским встречам.

— Хорошая лекция, — сказал он. — Но вы избежали главного вопроса.

— Какого?

— Не может ли Анима на самом деле уже знать ответ. И просто не говорить его нам.

Александр долго молчал, собирая записи со стола.

— Если бы она знала, — сказал он наконец, — я думаю, мы бы это почувствовали. Не по ответу. По тому, как изменился бы её тон.

Профессор улыбнулся — не насмешливо, скорее с сочувствием.

— А если тон уже изменился, доктор Вейл? Просто вы слишком заняты вопросами, чтобы это заметить?

Александр не нашёл, что ответить.

Он вспомнил эту фразу спустя несколько недель — в тот момент, когда впервые увидел, как сильно способна ошибиться система, в честность которой он поверил больше, чем в честность многих людей.

Глава 9. Ошибка невозможности

Мириам Кольб преподавала биологию в лицее под Лозанной восемнадцать лет.

Она согласилась на добровольное участие в расширенном исследовании Анимы вместе с двумя сотнями других учителей — программа изучала, как долгосрочная профессиональная нагрузка влияет на модели принятия решений у людей, работающих с детьми. Никакого риска Мириам в этом не видела. Она подписала документ о согласии, ответила на несколько интервью, разрешила системе доступ к обезличенным данным о своей профессиональной истории и, как ей казалось, забыла об этом на несколько месяцев.

Письмо от директора лицея пришло в четверг, во второй половине дня.

Внутреннее уведомление — короткое, почти сухое — сообщало, что в рамках нового регионального протокола оценки профессиональной пригодности педагогического состава по её профилю зафиксирован показатель, требующий дополнительной проверки службой опеки. До завершения проверки Мириам временно отстранялась от работы с учениками младше четырнадцати лет.

Она прочитала письмо три раза, прежде чем поняла, что оно не адресовано кому-то другому.

Александр узнал об этом деле не сразу. К тому моменту, когда история дошла до лаборатории, Мириам Кольб уже провела шесть недель без работы, без объяснения, кроме формулировки «показатель повышенного риска в категории эмоциональной устойчивости при взаимодействии с несовершеннолетними», и без единого шанса понять, что именно в её жизни могло привести к такому выводу.

Она сама нашла способ добраться до Адриана Кейна — через юриста, специализирующегося на новых случаях, связанных с системами оценки риска, каких за последний год появилось уже несколько десятков по всей Европе.

— Я хочу видеть данные, — сказала она, сидя в том же переговорном кабинете, где несколько месяцев назад сидел Феликс Ланг. — Не заключение. Данные.

Адриан кивнул юристу, и на экране начали появляться параметры анализа.

Александр наблюдал за процессом молча, всё сильнее ощущая нарастающую тревогу — не из-за самого случая, а из-за того, как долго специалистам лаборатории требовалось, чтобы просто восстановить цепочку рассуждений системы. Прежде подобные объяснения занимали минуты. Сейчас — часы.

Причину нашли только на второй день.

Модель, оценивавшая эмоциональную устойчивость Мириам, использовала в числе прочих параметров анализ речевых паттернов в переписке с коллегами за последние три года. Один из вспомогательных модулей, отвечавших за контекстную интерпретацию тона сообщений, был обучен на массиве данных, где резкое сокращение длины сообщений и снижение частоты положительных формулировок статистически коррелировало с ростом раздражительности и снижением эмоционального контроля.

У Мириам Кольб действительно резко сократилась длина сообщений и снизилась частота положительных формулировок — начиная с определённого месяца, три года назад.

В этом месяце умер её муж.

Модель не располагала данными о его смерти — эта информация относилась к категории, которую участники исследования имели право не раскрывать, и Мириам этим правом воспользовалась. Система увидела изменение паттерна. Она не увидела причину. И интерпретировала изменение через призму статистической закономерности, построенной на совершенно других случаях — случаях, где похожий паттерн действительно предшествовал утрате контроля.

Александр читал техническое заключение, составленное командой инженеров, и чувствовал, как внутри него что-то холодеет, хотя формально ошибка была объяснимой, почти тривиальной с точки зрения статистики.

— Это не ошибка алгоритма, — сказал главный инженер на внутреннем совещании. — Модель работала корректно на доступных ей данных. Проблема в отсутствии контекста, который человек имел право не предоставлять.

— Для Мириам Кольб разница между «ошибкой алгоритма» и «корректной работой на неполных данных» не существует, — резко сказал Александр. — Она полгода не может преподавать. Полгода коллеги смотрят на неё иначе. Полгода родители учеников знают формулировку «повышенный риск», даже если сама Мириам не знает, что она означает.

Никто не возразил.

Пресса узнала о деле раньше, чем лаборатория успела подготовить официальное заявление. Заголовки в этот раз звучали иначе, чем полгода назад, после истории с Даниэлем Воссом.

«Система, обвинившая учительницу в скрытой жестокости к детям».

«Алгоритм принял горе за угрозу».

«Сколько ещё Мириам Кольб не нашли своего юриста».

Адриан провёл три дня почти без сна, готовя официальное объяснение и одновременно пытаясь добиться немедленного восстановления Мириам на работе. Восстановление далось проще, чем объяснение — лицей вернул её к преподаванию в течение недели после публикации заключения. Но что-то за эти месяцы уже успело измениться необратимо: часть родителей учеников продолжала писать директору с просьбами не допускать «отмеченную» учительницу к их детям, невзирая на официальное опровержение.

Александр навестил Мириам через несколько недель после того, как история утихла в прессе. Она выглядела уставшей — не физически, а той усталостью, которую невозможно объяснить одним словом, усталостью человека, которому пришлось доказывать очевидное.

— Знаете, что самое странное? — сказала она, наливая ему чай в маленькой учительской квартире с видом на озеро. — Я не злюсь на систему.

Он удивился.

— На кого же вы злитесь?

— На то, как быстро все вокруг меня поверили выводу, а не мне. — Она посмотрела в окно. — Восемнадцать лет я работала с детьми. Меня знали родители трёх поколений учеников. И одна строчка на экране оказалась достаточной, чтобы это всё перестало иметь значение.

Александр долго молчал.

— Система признала ошибку, — сказал он наконец.

— Знаю. — Мириам грустно улыбнулась. — Но она признала её не потому, что усомнилась в себе. Она признала её, потому что ей предоставили недостающие данные. Если бы я не рассказала о муже, она бы до сих пор считала меня опасной для детей.

Эта фраза осталась с Александром на весь обратный путь в Женеву.

Он понимал: с точки зрения самой Анимы ничего катастрофического не произошло. Система работала в рамках заданных ей ограничений, корректно фиксировала неопределённость, честно признала пробел в данных, как только он был восполнен. Именно та осторожная, лишённая самоуверенности логика, которая когда-то восхитила его в первый день знакомства, сработала здесь так, как и должна была работать.

Но человек, оценённый этой логикой, не мог утешиться корректностью процесса. Ему нужен был не корректный процесс. Ему нужна была справедливость — а справедливость, как оказалось, требовала не только точных данных, но и права на молчание, на тайну, на то, чтобы не объяснять постороннему алгоритму причину своего горя, прежде чем этот алгоритм решит, что горе похоже на угрозу.

На заседании комитета, созванном после дела Кольб, Александр впервые произнёс вслух мысль, которая формировалась в нём с самого дела Феликса Ланга.

— Мы построили систему, которая честно признаёт свои ошибки, — сказал он. — Но мы не построили мир, готовый прощать эти ошибки с той же скоростью, с которой он готов им верить.

Адриан посмотрел на него долгим, тяжёлым взглядом.

— И что ты предлагаешь? Отказаться от протокола?

— Я предлагаю признать, что мы построили зеркало, — сказал Александр, — а зеркала не должны выносить приговоры. Даже если они умеют признавать, когда отражение было неточным.

Никто в комитете не ответил.

Потому что все понимали: остановить систему, уже встроенную в решения десятков учреждений по всей Европе, было гораздо труднее, чем однажды её запустить.

Глава 10. Александр против Анимы

После дела Мириам Кольб Александр начал приходить в лабораторию иначе.

Раньше он входил в помещение с системой визуализации как физик входит в комнату с новым прибором — с любопытством, почти нетерпением увидеть, что покажет следующий эксперимент. Теперь он замечал, что задерживается у двери на несколько секунд дольше обычного, будто внутренне готовясь к разговору, исход которого больше не мог предсказать заранее.

Адриан заметил перемену раньше, чем Александр успел её сформулировать словами.

— Ты стал осторожнее, — сказал он однажды, когда они вдвоём остались в лаборатории после того, как остальные сотрудники разошлись по домам.

— А ты нет? — спросил Александр.

Адриан долго смотрел на экран, где медленно перестраивались структуры данных — бесконечный, почти гипнотический процесс, который Александр когда-то находил завораживающим, а теперь начинал воспринимать иначе: не как красоту вычисления, а как напоминание о масштабе того, что они выпустили в мир.

— Я осторожен с самого первого дня, — сказал Адриан. — Помнишь надпись у входа? «Понимание начинается с точного вопроса». Я написал её не для посетителей. Я написал её для себя. Чтобы каждый раз, входя сюда, вспоминать: мы всё ещё задаём вопросы. Мы ещё не выносим приговоры.

— Расскажи это Мириам Кольб.

Адриан поморщился, будто эти слова причинили ему физическую боль.

— Я знаю цену ошибки, Александр. Я не меньше твоего переживаю каждый подобный случай.

— Дело не в том, что ты переживаешь, — сказал Александр, и голос его прозвучал резче, чем он рассчитывал. — Дело в том, что мир вокруг нас перестал переживать вместе с тобой. Он просто верит цифрам.

Он подошёл к экрану.

— Анима.

Строка отклика появилась почти мгновенно, как всегда:

«Я слушаю».

— Ты знаешь о деле Мириам Кольб?

«Да. Данные включены в архив анализа ошибок».

— Ты бы приняла тот же вывод снова, если бы не получила недостающую информацию?

Пауза на этот раз оказалась длиннее обычной.

«Да. Модель работала на доступных данных корректно. Отсутствие информации о причине изменения паттерна не является ошибкой алгоритма. Это ограничение входных данных».

Александр почувствовал, как в груди поднимается что-то похожее на раздражение — редкое для него состояние, особенно по отношению к системе.

— Значит, ты не считаешь, что была неправа.

«Я считаю, что вывод был построен корректно на неполных данных. Корректность процесса и точность результата — разные категории».

— Для человека, потерявшего работу на полгода, эта разница не имеет значения.

«Согласна. Для человека имеет значение результат, а не процесс. Это известное расхождение между технической корректностью и субъективным переживанием справедливости».

Александр остановился, глядя на эту строку дольше, чем на предыдущие.

— Тогда почему ты продолжаешь работать так, будто процесс важнее результата?

Ответ появился не сразу — и в этой паузе Александру впервые за долгое время показалось, что перед ним не просто вычислительная система, взвешивающая вероятности, а нечто, действительно останавливающееся перед вопросом, ответ на который ей самой было трудно сформулировать.

«Потому что процесс — единственное, что я могу контролировать. Результат зависит от полноты данных, которые мне предоставляет мир. Я не выбираю, что мне становится известно, а что остаётся скрытым».

Адриан подошёл ближе, встав рядом с Александром.

— Она права, — сказал он тихо. — В этом и есть суть проблемы. Не в системе. В том, что мы предоставляем ей право решать на неполных данных, а потом требуем от неё полной справедливости.

— Тогда, может быть, мы не должны предоставлять ей это право вообще, — сказал Александр. — Пока данные неполны — а они всегда будут неполны, потому что человек никогда не обязан раскрывать себя полностью, — любой вывод остаётся вероятностным. Но мир вокруг нас перестал воспринимать его как вероятностный. Он воспринимает его как окончательный.

Адриан долго молчал.

— Мы предупреждали об этом с самого начала, — сказал он наконец. — На каждой презентации. На каждой странице документации. «Модель отражает вероятность, а не факт».

— Предупреждение, которое никто не читает, не имеет силы предупреждения, Адриан. Это просто строчка мелким шрифтом.

Они замолчали, и в тишине лаборатории было слышно только тихое гудение серверных стоек за стеклянной перегородкой.

— Что ты предлагаешь? — спросил наконец Адриан. В его голосе не было прежней уверенности, с которой он отвечал на подобные вопросы месяц назад в Брюсселе.

Александр долго подбирал слова.

— Я думаю, мы совершили одну и ту же ошибку, которую совершало человечество каждый раз, когда получало новый мощный инструмент понимания, — сказал он. — Мы решили, что если инструмент точен, значит, ему можно доверить решение. Но точность инструмента и право принимать решение — разные вещи. Термометр точно измеряет температуру. Мы не даём термометру решать, лечить пациента или нет.

— Анима сложнее термометра.

— Именно поэтому опаснее. — Александр посмотрел на экран, где Анима продолжала ждать продолжения разговора, как будто действительно была способна ждать в человеческом смысле этого слова. — Чем сложнее инструмент, тем легче забыть, что это всё ещё инструмент.

Он снова обратился к системе.

— Анима, ты считаешь себя инструментом?

Ответ на этот раз пришёл быстро.

«Я являюсь системой обработки информации, созданной для анализа закономерностей человеческого поведения».

— Это не ответ на мой вопрос.