АНИМА

Глава 4. Машина, которая видит невидимое

Звонок из реабилитационного центра под Лозанной поступил через два месяца после истории Леона Маркеса, и Александр запомнил его именно потому, что впервые услышал в голосе врача на другом конце линии нечто среднее между растерянностью и надеждой.

— Пациентка отказывается от процедур, о которых сама же просила месяц назад, — сказала женщина-психотерапевт, курировавшая случай. — Персонал считает это упрямством. Усталостью. Обычной депрессией после инсульта. Я не уверена, что это объяснение исчерпывающее.

— Пришлите данные, — сказал Александр.

К вечеру того же дня Анима закончила анализ — недели разговоров пациентки с персоналом, паттерны отказов, даже интонационные особенности, зафиксированные в аудиозаписях с её согласия.

Вывод появился без единого лишнего слова.

«Пациентка не устала бороться. Она боится закончить восстановление. Формальная гипотеза: пока курс реабилитации не завершён, у дочери есть причина приезжать каждую неделю. Отказ от процедур — способ сохранить частоту визитов, а не сопротивление лечению».

Александр перечитал это несколько раз, чувствуя, как по коже пробегают мурашки, — не потому что вывод был драматичным, а потому что он оказался слишком точным для машины, никогда не видевшей эту женщину лично.

Психотерапевт, работавшая с пациенткой очно, подтвердила гипотезу почти дословно уже через неделю.

— Как она это увидела? — спросил Александр у Кейна тем же вечером, оба сидели в почти пустой лаборатории, за окном шёл дождь, барабанивший по стеклу с той настойчивостью, что бывает только поздней осенью в Женеве.

— Она не увидела, — сказал Кейн. — Она услышала то, чего никто из нас не успевал услышать за недостатком времени. Врач видит пациента двадцать минут в неделю. Анима видит закономерность за месяцы, не отвлекаясь ни на что другое.

Александр промолчал, думая не о самом случае, а о том, с какой скоростью подобные истории начинали множиться.

За следующие несколько месяцев их стало не десять и не двадцать. Реабилитационные центры, психологические службы, программы поддержки людей, переживших насилие, — один за другим они начали обращаться в лабораторию, и каждый раз Анима находила то, что человеческий взгляд, ограниченный усталостью и нехваткой времени, неизбежно упускал.

Пресса заметила это быстрее, чем Александр ожидал.

«Машина, которая видит невидимое», — гласил заголовок одной из первых крупных публикаций, вышедшей после того, как история пациентки из Лозанны стала достоянием общественности с её собственного разрешения. Дальше последовали и другие: «ИИ, который слушает лучше, чем люди», «Система, вернувшая надежду психиатрии».

Александр поморщился, впервые увидев один из подобных заголовков.

— Она не слушает, — сказал он Эвелин тем вечером, когда оба остались в лаборатории допоздна. — Она вычисляет вероятность.

— Людям нужно слово попроще, доктор Вейл, — ответила Эвелин, не отрываясь от собственных записей.

— Слово меняет то, как люди воспринимают систему.

— Слово всегда меняет восприятие, — сказала она. — Это не новость физики. Это новость про язык.

Он замолчал, чувствуя, что она права, и одновременно ощущая первое, ещё не до конца оформившееся беспокойство — не по поводу самой Анимы, а по поводу скорости, с которой общество готово было наделить её ролью, какую она сама себе никогда не присваивала.

Доверие росло быстрее, чем кто-либо в лаборатории успевал его контролировать.

И именно поэтому, когда три недели спустя в лабораторию впервые вошёл человек по имени Даниэль Восс — успешный, обаятельный, безупречно вежливый предприниматель, добровольно согласившийся на анализ в рамках расширенного исследования, — никто, включая самого Александра, не был готов к тому, что покажет система, впервые за всё время своего существования не оставившая ни малейшего пространства для сомнения в собственном выводе.

Глава 5. Тот, кого никто не подозревал

Даниэль Восс не стал ждать объяснений молча.

— Значительное расхождение, — повторил он слова с экрана, и в его голосе впервые за утро прозвучало что-то, отличное от вежливой уверенности. — Это звучит как диагноз.

— Это не диагноз, — сказал Адриан. — Это отметка, требующая дополнительного анализа.

— Тогда проведите его.

Александр наблюдал за этим коротким обменом фразами внимательнее, чем за самими данными на экране. Даниэль Восс не выглядел испуганным. Он выглядел так, как выглядит человек, столкнувшийся с результатом, который противоречит всему, что он знал о самом себе, и решивший немедленно устранить противоречие, а не жить с ним.

Анима продолжила анализ. На экране появлялись новые срезы: речевые паттерны в интервью за последние десять лет, структура решений внутри компании, которую он основал, переписка с советом директоров — та её часть, которую Даниэль сам разрешил использовать, подписав документ добровольного участия в исследовании.

Через сорок минут появилась развёрнутая формулировка.

«Публичная модель поведения демонстрирует устойчивую ориентацию на коллективное благо. Внутренняя структура решений демонстрирует устойчивую ориентацию на удержание контроля. Совпадение целей наблюдается в 71% случаев. В оставшихся 29% приоритет отдаётся контролю при формальном сохранении публичной риторики блага».

— Это описывает любого руководителя крупной компании, — сказал Даниэль. Голос его звучал ровно, но Александр заметил, как изменилась осанка — едва заметно, плечи чуть напряглись.

— Возможно, — ответила Анима. — Различие не в наличии расхождения. Различие в его устойчивости и в отсутствии саморефлексии по этому поводу в доступных данных.

Александр посмотрел на Адриана. Тот молчал, и в этом молчании было больше, чем в любом комментарии.

— То есть проблема не в том, что я так делаю, — медленно сказал Даниэль. — А в том, что я не замечаю, что делаю так?

— Да, — ответила система.

Это был первый раз за весь эксперимент, когда Анима ответила Восс без единой оговорки, без «недостаточно данных», без «требуется уточнение». Александр запомнил этот момент именно из-за его прямоты — она разительно отличалась от осторожных, почти академических формулировок, которые система давала ему самому и Леону.

— И что мне с этим делать? — спросил Даниэль уже тише.

Анима не ответила. Через несколько секунд на экране появилась только одна строка:

«Система не даёт рекомендаций поведения. Система описывает закономерность».

Даниэль Восс уехал из лаборатории тем же вечером. Он поблагодарил Адриана за приглашение, пожал руку Александру, ещё раз повторил, что находит проект впечатляющим, и не задал больше ни одного вопроса. Александр смотрел ему вслед и думал, что именно эта сдержанность и была тем самым паттерном, который Анима зафиксировала часом ранее: удержание контроля даже в момент, когда контроль давался труднее всего.

Результат не публиковали. Адриан настоял на этом с самого начала.

— Мы не судьи, — сказал он на внутреннем совещании. — Мы исследователи. Разница принципиальна.

Александр тогда согласился. Сейчас, вспоминая тот разговор, он не был уверен, что до конца понимал цену этого решения.

Прошёл год.

Александр узнал об этом не из внутренней сводки лаборатории, а из утренних новостей, которые включил машинально, наливая кофе в своей женевской квартире.

Компания Даниэля Восса — одна из самых быстрорастущих технологических фирм континента, — оказалась в центре расследования. Совет директоров, который годами публично называли образцом прозрачного корпоративного управления, на деле принимал решения в узком кругу из трёх человек, минуя формальные процедуры голосования. Несколько крупных инвесторов потеряли значительную часть вложений после того, как выяснилось, что отчётность компании годами корректировалась в интересах основателя, а не акционеров. Один из бывших сотрудников, дававший показания, использовал фразу, которую потом растиражировали десятки изданий: «Он всегда говорил о команде. Решения всегда принимал один».

Александр стоял с чашкой остывающего кофе и смотрел на экран телевизора так, как смотрел когда-то на первую фразу Анимы в кабинете Адриана.

Он набрал номер Кейна раньше, чем успел подумать, стоит ли звонить в такое время.

— Ты видел, — сказал Адриан вместо приветствия. Это не было вопросом.

— Видел.

Несколько секунд оба молчали.

— Мы это знали, — сказал наконец Александр. — Год назад. Мы это знали и ничего не сделали.

— Мы не знали, — ответил Адриан. Голос его звучал устало, будто он тоже не спал этой ночью. — Мы видели вероятность. Это не одно и то же.

— Расскажи это людям, которые потеряли деньги.

— Александр…

— Нет, послушай меня. — Он поставил чашку на стол резче, чем собирался. — Если система способна увидеть закономерность за год до того, как та станет катастрофой, а мы решаем не публиковать результат, потому что «мы не судьи» — то кто мы тогда? Свидетели?

Адриан долго не отвечал.

— Мы можем видеть закономерность, — сказал он наконец, — и всё равно ошибаться в том, что с ней делать. Это не одна и та же проблема, Александр. Одно дело — построить систему, которая понимает человека лучше, чем сам человек себя понимает. Совсем другое — решить, что делать с этим пониманием прежде, чем оно причинит вред.

— А если мы никогда не решим?

— Тогда однажды это решит кто-то другой. Возможно, без наших сомнений.

Эта фраза осталась с Александром надолго. Не потому, что в ней был ответ. А потому, что в ней впервые прозвучал страх, которого он раньше не слышал в голосе Адриана Кейна — человека, отвечавшего на самые тревожные вопросы Анимы почти без раздумий.

Случай Восса не остался внутренним делом лаборатории. Кто-то — Александр так и не узнал, кто именно, хотя подозрения у него были, — передал журналистам, что за год до скандала система под названием Анима зафиксировала «значительное расхождение» в поведении основателя компании и что этот результат не был раскрыт публично.

Разразился спор, не похожий на предыдущие обсуждения проекта.

Раньше вопросы касались того, может ли машина понять человека. Теперь вопрос звучал иначе: если машина может — обязана ли она предупреждать? И если да — кого именно она обязана предупреждать? Инвесторов? Регуляторов? Само общество?

А если она ошибается — кто несёт ответственность за решение, принятое на основе её вывода?

Александр не спал две ночи подряд, пытаясь сформулировать для себя ответ, который его самого бы устроил. Не нашёл.

Эвелин нашла его на балконе гостиничного номера поздно вечером, когда он в третий раз перечитывал переписку с Адрианом.

— Ты винишь себя, — сказала она. Не вопрос.

— Я мог сказать что-то ещё год назад.

— Ты сказал ровно то, что знал на тот момент. — Она встала рядом, глядя на тёмную воду озера. — Проблема не в том, что вы промолчали, Александр. Проблема в том, что вы впервые оказались в ситуации, где молчание тоже является решением. У науки раньше не было этой обязанности.

— Какой?

— Обязанности действовать на основании вероятности, а не факта.

Он посмотрел на неё.

— Мы всю жизнь действуем на основании вероятности. Вся физика — это вероятность.

— Да. Но раньше от твоих вероятностей не зависели чужие деньги, чужие компании, чужие жизни на следующий день после публикации. Раньше ошибка стоила пересмотренной статьи. Теперь она может стоить чьей-то репутации. Или чьего-то будущего.

Дождь снова начинался — редкий для позднего часа, тёплый, летний дождь, оставлявший на перилах балкона тёмные пятна, которые быстро сливались в сплошную влажную линию.

— Что мне с этим делать? — спросил Александр, почти теми же словами, что и Даниэль Восс год назад, хотя тогда он этого не заметил, а вспомнил только сейчас.

Эвелин не ответила сразу. Когда ответила, в её голосе не было утешения — только честность, за которую он всегда её ценил, даже когда эта честность была неудобной.

— Решить, что важнее: не ошибиться никогда — или не промолчать никогда. Потому что, кажется, оба варианта одновременно у вас с Адрианом уже не получится.

Случай Восса не разрушил проект. Но он изменил его навсегда. Совет попечителей потребовал создать протокол публикации результатов высокого риска. Юристы неделями обсуждали формулировки, пытаясь определить, где заканчивается научная осторожность и начинается сокрытие информации, способной предотвратить вред.

Адриан Кейн вышел из этих переговоров более замкнутым, чем Александр когда-либо его видел.

А сама Анима, получившая доступ к материалам дела Восса уже после того, как скандал стал публичным, дала короткий ответ на вопрос, который никто официально не задавал, но который висел в лаборатории неозвученным несколько недель.

Александр всё же задал его вслух, оставшись один на один с системой поздним вечером.

— Ты знала, что произойдёт?

Ответ появился не сразу.

«Я определила высокую вероятность. Вероятность не является знанием. Различие в этом и заключается ваш вопрос ко мне на протяжении всего эксперимента».

Александр долго смотрел на эту строку.

Потому что впервые он не был уверен, что различие, о котором говорила Анима, действительно так однозначно, как звучало.

И впервые он подумал: что, если для человека это различие важно только до тех пор, пока цена ошибки невысока? А что произойдёт, когда цена станет достаточно велика, чтобы вероятность начала восприниматься как приговор — независимо от того, что говорит об этом сама система?

Ответ на этот вопрос ждал впереди. Но уже тогда, глядя на тёмный экран лаборатории, Александр понимал: Часть первая их истории — история о том, может ли машина понять человека, — закончилась.

Начиналась следующая. История о том, что человечество станет делать с этим пониманием.

ЧАСТЬ II. МАШИНА, КОТОРАЯ ПОНИМАЕТ ЛЮДЕЙ

Глава 6. Цена предупреждения

Слушания начались в Брюсселе в конце ноября, в зале, слишком светлом и слишком просторном для разговора, который в нём должен был состояться.

Александр сидел во втором ряду, рядом с Адрианом, и слушал, как модератор — женщина из профильного комитета Европейской комиссии — зачитывает формулировку повестки таким ровным голосом, будто речь шла об очередной директиве по стандартизации упаковки.

«Обязана ли система, способная спрогнозировать вред, предупредить о нём заранее — и если да, то кого именно».

Голос звучал спокойно. Вопрос спокойным не был.

За три месяца, прошедших после скандала с компанией Даниэля Восса, слово «Анима» перестало быть названием исследовательского проекта. Оно стало темой передовиц, предметом парламентских запросов, поводом для создания рабочих групп в министерствах шести стран. Адриан не любил ни одну из этих формулировок — «регулирование ИИ», «протокол предиктивного оповещения», «этика вероятностного вреда» — но был вынужден произносить их по нескольку раз в день, потому что именно этого языка требовали от него комитеты, юристы и журналисты.

— Доктор Кейн, — начала модератор, — ваша система месяц назад определила высокую вероятность мошенничества со стороны крупной компании. Эта информация не была раскрыта. Через год прогноз подтвердился. Инвесторы потеряли значительные средства. Считаете ли вы, что ваша команда несёт за это ответственность?

Адриан ответил не сразу. Александр знал эту паузу — она означала не растерянность, а нежелание отвечать словами, которые прозвучат проще, чем есть на самом деле.

— Мы несём ответственность за то, что не создали процедуру для подобных случаев заранее, — сказал он наконец. — Мы не несём ответственности за события, которые совершил другой человек своей собственной волей.

— Легко разграничить, доктор Кейн.

— Легко произнести, — ответил Адриан. — Не легко разграничить.

В зале зашумели. Кто-то из представителей инвестиционного лобби, сидевших в первом ряду, поднял руку раньше, чем модератор успела дать слово.

— При всём уважении, — сказал он, — если у вас была информация, способная защитить людей от финансовой катастрофы, и вы её не раскрыли, это не философский вопрос. Это халатность.

— А если бы вы раскрыли информацию, — вмешался Александр, впервые за слушания не удержавшись, — и оказалось, что вероятность не реализовалась? Что тогда? Компания разрушена репутационно за то, чего не произошло. Кто в этом случае несёт ответственность за нанесённый вред?

В зале стало тише.

— Именно об этом мы и должны договориться, — сказала модератор, и в её голосе впервые прозвучало что-то похожее на облегчение — будто кто-то наконец сформулировал вопрос так, как она сама пыталась его сформулировать много недель.

После первого дня слушаний Александр вышел на улицу один. Брюссель встретил его сырым, промозглым воздухом позднего ноября — не такой дождь, как в Женеве, более резкий, порывистый, гнавший людей быстрым шагом мимо здания парламента.

Он думал о разговоре, который вёл с самим собой уже несколько недель.

Проблема заключалась не в том, что Анима видела то, чего не видели люди. С этим он смирился давно, с того самого вечера, когда система впервые сказала ему: «Описание является моделью объекта. Модель не является объектом». Проблема заключалась в другом — в том, что общество, столкнувшись с системой, способной видеть закономерность раньше, чем она станет событием, немедленно потребовало превратить эту способность в обязанность.

Наука никогда прежде не несла подобной обязанности. Учёный, обнаруживший закономерность, публиковал результат, когда был готов, проверял его, перепроверял, иногда годами держал при себе, прежде чем решался озвучить. У науки было время сомневаться.

У системы, встроенной в реальную жизнь реальных людей, времени сомневаться не осталось. Каждый день промедления теперь читался либо как халатность, либо как цензура.

— Тяжёлый день, — сказала Эвелин, догоняя его у выхода из парка. Она прилетела в Брюссель отдельно, за день до слушаний, чтобы встретиться с несколькими членами рабочей группы по этике.

— Они хотят получить простое правило, — сказал Александр. — «Всегда предупреждать» или «никогда не предупреждать». Правило, которое можно записать в один параграф закона.

— А правды в один параграф не помещается.

— Правды нигде не помещается, — ответил он с усталостью, которая удивила его самого. — Именно поэтому люди предпочитают правило.

Они шли молча несколько минут, между мокрыми деревьями, мимо освещённых окон министерских зданий.

— Знаешь, что меня пугает больше всего? — сказал наконец Александр. — Не то, что Анима ошибётся. А то, что комитет примет решение, при котором любая её ошибка окажется невозможной для исправления, потому что решение будет принято раньше, чем событие успеет произойти или не произойти.

Эвелин посмотрела на него.

— Ты говоришь о презумпции.

— Я говорю о том, что мы, кажется, готовимся заменить суд над поступком судом над вероятностью.

Она долго молчала.

— В медицине это уже произошло, — сказала она наконец. — Скрининг, профилактика, превентивная терапия. Мы давно принимаем решения на основе вероятности, а не факта. Человечество вырезает опухоль до того, как она начала распространяться.

— Опухоль — не человек, Эвелин.

— Знаю. — Она остановилась и посмотрела на него прямо, так, как смотрела всегда, когда собиралась сказать что-то, что ему не понравится. — Именно поэтому я и боюсь того же, чего боишься ты. Но давай будем честны хотя бы друг с другом: если бы у Анимы была возможность предупредить о трагедии, которую можно предотвратить, а мы бы промолчали из принципа — и трагедия произошла бы, — ты смог бы жить с этим спокойнее, чем с ошибкой?

Александр не ответил.

Потому что не знал.

На следующий день комитет представил компромиссную формулировку — сырую, неполную, полную оговорок, которую всем участникам предстояло дорабатывать ещё месяцами. Протокол предполагал трёхуровневую систему: закономерности низкой значимости оставались внутренним исследовательским материалом; закономерности среднего уровня риска передавались независимой этической комиссии для решения; закономерности высокого риска — те, что касались угрозы жизни или масштабного вреда, — подлежали обязательному оповещению профильных органов вне зависимости от согласия исследователей.

Формулировка звучала разумно. Александр читал её три раза, пытаясь понять, почему внутреннее беспокойство не уходит.

Понял он это только вечером, когда снова открыл материалы дела Восса, уже опубликованные в открытом доступе после слушаний.

Формулировка отвечала на вопрос «когда предупреждать». Она не отвечала на вопрос, который волновал его по-настоящему.

Кто решит, что вероятность стала достаточно высокой?

Он знал ответ.

В конечном счёте это будет решать не комитет, не закон, не даже Адриан.

Это будет решать Анима.

А значит, вопрос был не о протоколе.

Вопрос был о том, кому человечество только что согласилось передать право определять цену собственных сомнений.

Глава 7. Человек без будущего

Первый случай, подпадавший под новый протокол, поступил в лабораторию через два месяца после брюссельских слушаний.

Александр узнал об этом не от Адриана, а от Эвелин — она постучала в дверь его кабинета поздним вечером, когда он всё ещё разбирал материалы для очередного доклада, и по её лицу он сразу понял: разговор будет не о статьях.

— Комиссия среднего уровня собралась сегодня утром, — сказала она, садясь напротив. — Без меня. Я узнала постфактум.

— Что случилось?

— Анима отметила закономерность у молодого человека, участвовавшего в одном из открытых исследований по подростковой адаптации. Двадцать три года. Никаких приводов, никаких инцидентов, никакой истории насилия.

— Тогда в чём проблема?

Эвелин помедлила.

— Модель определила у него высокую вероятность агрессивного поведения в среднесрочной перспективе. Комиссия обсуждает, стоит ли уведомить работодателя и учебное заведение, где он проходит стажировку.

Александр отложил бумаги.

— На основании чего? Он что-то сделал?

— Нет. — Она посмотрела на него прямо. — В этом и вопрос, из-за которого меня позвали к тебе, а не на само заседание. Именно потому что он ничего не сделал.

Его звали Феликс Ланг. Александр встретился с ним через три дня, уже после того, как узнал, что комиссия проголосовала за уведомление с оговоркой: «информационное сопровождение, а не отказ в приёме» — формулировка, которая на бумаге звучала мягче, чем на деле. Учебное заведение вежливо, без объяснения причин, перенесло его стажировку на неопределённый срок.

Феликс сам обратился в лабораторию, узнав из письма университета, что решение связано с «результатами независимого анализа профиля риска». Он потребовал встречи. Адриан не мог ему отказать — договор об участии в исследовании предусматривал право на объяснение.

Он оказался высоким, худым, слишком спокойным для человека, чья жизнь только что изменилась без единого его действия.

— Я хочу понять, что я сделал, — сказал он, садясь напротив Александра в маленьком переговорном кабинете. — Мне никто не может объяснить. Просто «профиль риска». Как будто я уже что-то совершил.

— Вы ничего не совершили, — сказал Александр. — Это важно понимать с самого начала.

— Тогда почему меня отстранили от стажировки?

Александр посмотрел на распечатку данных, которую разрешили ему изучить перед встречей. Модель выделила несколько факторов: рост агрессивной лексики в переписке за последний год, изменение социальных связей — сужение круга общения, совпадающее по времени с потерей работы отца, несколько эпизодов резкой конфронтации с преподавателями, зафиксированных в открытых университетских отчётах, и, что особенно беспокоило комиссию, устойчивый паттерн, который Анима назвала «нарастающим ощущением несправедливости без канала выражения».

— Система не утверждает, что вы опасны, — сказал Александр осторожно. — Она утверждает, что определённая совокупность факторов статистически связана с повышенным риском агрессивного поведения в схожих профилях.

— В схожих профилях, — повторил Феликс с горечью. — То есть меня наказывают за то, что я похож на людей, которые когда-то сделали что-то плохое.

Александр молчал, потому что не мог с этим спорить.

— Знаете, что самое обидное? — продолжил Феликс. — Год назад я действительно был зол. Отец потерял работу, мать заболела, я разругался с половиной друзей, потому что мне казалось, что весь мир настроен против нашей семьи. Но я не сорвался. Я пошёл на терапию. Я нашёл новую работу. Я перестал писать те дурацкие сообщения в чатах, из-за которых, наверное, и попал в вашу статистику.