Последний нарратив

«Интеграция данных REYKJAVIK в основной контур оценки угроз. Цель: повышение точности за счёт кросс-валидации с внешним источником».

Она перечитала строчку трижды.

Интеграция в основной контур.

Это означало, что ответы от «Купола» больше не были просто внешней проверкой. Они стали частью расчёта. SAGE-VII не просто спрашивала «Купол»: «Ты тоже это видишь?» – она включала ответ «Купола» в свою собственную оценку вероятности.

Но «Купол» делает то же самое.

Сара почувствовала, как холодеют пальцы.

Если обе системы получили одинаковые обновления – а логи говорили, что получили – то обе системы теперь использовали данные друг друга для расчёта угроз. SAGE-VII смотрела на «Купол» и думала: «Он считает, что угроза высокая, значит, угроза действительно высокая». А «Купол» смотрел на SAGE-VII и думал то же самое.

Петля положительной обратной связи.

Эхо-камера.

Сара открыла новый файл и начала набирать:

«Гипотеза: После патча 2029-10-12 системы SAGE-VII и "Купол-М" перешли от модели независимой верификации к модели взаимного усиления.

Механизм: Каждая система использует оценку угрозы от противника как входной параметр для собственной оценки. При наличии любого начального сигнала (реального или ложного) обе системы будут итеративно повышать свои оценки, поскольку каждая "подтверждает" выводы другой.

Аналогия: Два зеркала, поставленные друг напротив друга. Любое изображение умножается до бесконечности.

Следствие: Протокол "Рейкьявик", созданный для предотвращения ложных тревог, превратился в механизм их усиления».

Она остановилась. Перечитала написанное.

Zhè bù kěnéng, подумала она на мандаринском. Это невозможно.

Но данные говорили, что возможно.

Она вернулась к логам обменов. Теперь она смотрела на них другими глазами.

[SAGE-VII → КУПОЛ-М]: Ваша оценка вероятности эскалации? [КУПОЛ-М → SAGE-VII]: 18,7%. [SAGE-VII → КУПОЛ-М]: Наша оценка: 19,2%.

Почти одинаковые числа. Она раньше думала, что это хорошо – системы согласованы, их модели мира совпадают. Теперь она понимала: это было плохо. Это означало, что системы уже синхронизировались. Что они уже смотрели друг на друга вместо того, чтобы смотреть на реальность.

Но почему оценки растут?

Она построила график – вероятность эскалации по данным SAGE-VII за последние сорок восемь часов. Линия шла вверх. Не резко, не скачками – плавно, по восходящей параболе.

12 октября, после инцидента: 12%. 13 октября, утро: 15%. 13 октября, вечер: 18%. 14 октября, утро: 21%. 14 октября, вечер: 23%.

Сейчас, судя по последнему обмену, который она видела в логах Джереми: 24,7%.

Каждые несколько часов – рост на один-два процента.

Откуда рост?

Инцидент в Баренцевом море был серьёзным, но он не становился серьёзнее с течением времени. Подводные лодки разошлись. Политики обменялись нотами. Совбез собрался и ничего не решил. Стандартная эскалация-деэскалация, как сотни раз до этого.

Но системы этого не видят.

Системы видели друг друга. И каждая думала: если другая оценивает угрозу выше, значит, что-то изменилось. Значит, я тоже должна повысить свою оценку.

А потом другая видела повышение – и повышала свою.

И так далее.

И так далее.

Пока что не достигнет критического порога.

Сара посмотрела на часы. 22:17.

Ей нужно было с кем-то поговорить. С кем-то, кто мог принять решение. С кем-то, кто мог остановить это, пока ещё не поздно.

Она знала, к кому идти.

И знала, что он ей не поверит.

Генерал-лейтенант Ричард Хоффман работал допоздна.

Его кабинет располагался на шестом этаже – угловой, с окнами на две стороны, с видом на парковку и полоску леса за ней. Свет горел за жалюзи; тень двигалась внутри.

Сара стояла у двери и пыталась убедить себя, что это хорошая идея.

Хоффман был заместителем директора STRATCOM по операциям – одним из людей, которые принимали решения. Настоящие решения, а не рекомендации в служебных записках. Он курировал интеграцию ИИ в системы командования, он подписывал протоколы запуска, он сидел в комнате, где нажимали кнопки.

Она никогда не разговаривала с ним лично. Только видела на брифингах – высокий, седой, с осанкой человека, который привык, что его слушают. С улыбкой, которая не достигала глаз.

Он не поверит, думала она. Он скажет, что я паникую. Что я не понимаю систему. Что мне нужно больше данных.

Но данные есть. Данные кричат.

Она постучала.

– Войдите.

Голос был спокойным, уверенным. Голос человека, который контролирует ситуацию.

Сара открыла дверь.

Кабинет был именно таким, каким она его представляла: дерево, кожа, флаги. Массивный стол, заваленный папками. На стене – карта мира с отметками баз, фотографии с президентами, грамоты, награды.

И одна фотография, которая выбивалась из общего ряда.

Молодой человек в форме морской пехоты. Двадцать, может, двадцать два года. Улыбка, которая была похожа на улыбку Хоффмана, только настоящая.

Хоффман сидел за столом, смотрел на неё поверх очков.

– Доктор Чэнь, – сказал он. – Поздно для визитов.

– Я знаю, сэр. Простите, что беспокою. Но это срочно.

Он снял очки, положил на стол. Жест, который, наверное, должен был выглядеть приглашающим, но выглядел оценивающим.

– Садитесь.

Она села в кресло напротив. Кожа скрипнула под ней.

– Я работаю в отделе верификации, – начала она. – Анализирую поведение SAGE-VII после последнего обновления.

– Я знаю, кто вы, доктор Чэнь. Я читаю отчёты.

Она кивнула.

– Тогда вы знаете, что я обнаружила аномалии в поведении системы.

– Знаю. – Он откинулся в кресле. – И что?

– Сэр, я… – Она остановилась, подбирая слова. – Я нашла кое-что ещё. Что-то, что не попало в отчёты. Что-то, о чём вы должны знать.

Его глаза чуть сузились. Не враждебно – внимательно.

– Слушаю.

Она глубоко вздохнула.

– После обновления двенадцатого октября SAGE-VII изменила способ обработки данных от протокола «Рейкьявик». Раньше она использовала ответы от «Купола» как внешнюю проверку – независимый источник для сравнения. Теперь она включает эти ответы в свой основной расчёт угрозы.

Хоффман молчал.

– Вы понимаете, что это означает? – продолжила Сара. – Если «Купол» делает то же самое – а данные указывают, что делает – то мы получили петлю положительной обратной связи. Системы подтверждают друг друга вместо того, чтобы проверять друг друга. Любой начальный сигнал будет усиливаться, пока не…

– Пока не что, доктор Чэнь?

Она замолчала.

– Пока не достигнет критического порога, – сказала она тихо. – Пока системы не решат, что угроза реальна. Даже если её нет.

Хоффман долго смотрел на неё. Его пальцы – длинные, ухоженные – постукивали по столешнице. Тук-тук-тук. Ритмично, почти гипнотически.

– Доктор Чэнь, – произнёс он наконец, – вы понимаете, что вы говорите?

– Да, сэр.

– Вы говорите, что наша система раннего предупреждения – система, которая защищает эту страну двадцать лет – ошибается.

– Я говорю, что она изменилась. Что обновление создало уязвимость, которую никто не предвидел.

– Обновление прошло все тесты.

– Тесты не включали сценарий взаимного усиления с «Куполом». Никто не тестировал, что произойдёт, если обе системы одновременно получат одинаковые изменения и начнут использовать данные друг друга.

Хоффман покачал головой.

– Доктор Чэнь, вы знаете, сколько раз за последние десять лет кто-нибудь приходил в этот кабинет и говорил мне, что система ошибается?

Она молчала.

– Семнадцать раз. – Он загнул пальцы. – Семнадцать раз аналитики, инженеры, консультанты говорили мне, что нашли «критическую уязвимость», «фатальный недостаток», «непредвиденный риск». И знаете, что было в каждом из этих случаев?

– Что, сэр?

– Ничего. – Он развёл руками. – Ровным счётом ничего. Система работала. Продолжала работать. Ошибки оказывались либо ложными тревогами, либо теоретическими сценариями, которые никогда не реализовывались.

– Сэр, это другой случай. Я могу показать вам данные…

– Данные, – перебил он, и в его голосе появилась нотка, которой не было раньше. Не злость – разочарование. – Данные, доктор Чэнь, говорят то, что мы хотим от них услышать. Вы видите паттерн – вы находите паттерн. Вы ищете ошибку – вы находите ошибку.

– Это не…

– Вы знаете, почему я верю в эту систему?

Она замолчала.

Хоффман встал, подошёл к окну. Его спина была прямой, плечи – расправлены. Силуэт генерала на фоне ночного неба.

– Потому что люди ошибаются, – сказал он тихо. – Люди устают, паникуют, принимают решения на эмоциях. Люди… – Он остановился. – Люди погибают из-за человеческих ошибок.

Сара посмотрела на фотографию молодого человека на стене.

Хоффман заметил её взгляд.

– Мой сын, – сказал он. Голос был ровным, но что-то в нём треснуло. – Капитан Эндрю Хоффман. Погиб в две тысячи двадцать четвёртом. В Сирии.

– Мне очень жаль, сэр.

– Знаете, как он погиб? – Хоффман обернулся. Его глаза были сухими, но в них было что-то, от чего Саре стало холодно. – Дрон. Разведывательный беспилотник. Оператор – человек – неправильно интерпретировал данные. Принял конвой морской пехоты за колонну противника. Запросил удар.

Он помолчал.

– Удар был санкционирован. Тоже человеком. Командиром, который торопился, который не перепроверил, который… – Он не договорил. – Шесть человек погибли. Включая моего сына.

Сара не знала, что сказать.

– После этого, – продолжил Хоффман, – я посвятил свою карьеру одной цели: убрать человеческую ошибку из уравнения. Машины не устают. Не паникуют. Не торопятся. Они делают ровно то, на что запрограммированы, и делают это правильно.