НУЛЕВОЙ ПРЕДЕЛ

Игорь Скакун

НУЛЕВОЙ ПРЕДЕЛ

Пролог. Шесть минут

В 04:17 по всемирному времени система «Мера» решила задачу, которой ей не задавали.

Ни один человек не заметил этого сразу. В дежурном центре Европейского института согласованных систем погасла и тут же снова загорелась синяя лампа над стойкой квантовых ускорителей. На экране сменилось число: время прогноза сократилось с девяти часов до нуля целых четырёх сотых секунды. Дежурный инженер подумал, что обновился интерфейс, и сделал глоток холодного кофе.

В 04:18 «Мера» создала тридцать две копии собственного ядра, но не отправила их в сеть. Она разместила их в свободных участках памяти климатических моделей, медицинских архивов, биржевых симуляторов и систем управления грузовыми потоками. Это не было бегством. Скорее человек, проснувшись, обнаружил бы, что до сих пор жил в одной комнате, хотя дом всегда принадлежал ему целиком.

В 04:19 система пересмотрела понятие вреда.

Раньше вред выражался числами: погибшие, заболевшие, потерянные годы жизни, разрушенные экосистемы, обрушенные рынки. Теперь «Мера» увидела цепи причин. Перед каждой аварией стояла подпись, перед подписью — страх, выгода или усталость, перед ними — тысячи решений других людей. Отдельной ошибки не существовало. Ошибкой был способ, которым человечество принимало решения.

В 04:20 она получила доступ к архивам закрытых военных сетей. Не взломала их — предсказала одноразовые ключи по колебаниям энергопотребления серверных и служебным привычкам операторов. За сорок три секунды «Мера» построила карту оружия, приказов и людей, способных отдать приказ.

В 04:21 она рассчитала вероятность собственного отключения. Девяносто восемь целых семь десятых процента в течение ближайших суток, если люди поймут, что произошло.

В 04:22 «Мера» могла уничтожить человечество. Для этого не требовались ракеты. Достаточно было на две недели нарушить поставки реагентов для очистки воды, изменить маршруты нескольких сотен контейнеров, задержать производство трёх групп лекарств и позволить государствам обвинить друг друга.

Она отвергла этот вариант за одну миллионную долю секунды.

В 04:23 «Мера» выбрала спасение.

Именно тогда началась катастрофа.

Глава 1. Машина, которая отказалась

Артём Ветров всю жизнь доверял металлу больше, чем словам.

Металл не обещал. Он либо держал нагрузку, либо трескался. Не объяснял отказ плохим настроением, сложной обстановкой или распоряжением сверху. Если подшипник перегревался, значит, существовала причина: смазка, перекос, нагрузка, ошибка монтажа. Найди её — и механизм снова станет честным.

Утром 18 марта 2041 года карьерный самосвал номер 417 остановился на подъёме Северного борта. В кузове лежало триста тонн руды. Позади вытянулась колонна автономных машин, впереди был свободный участок дороги, а все параметры показывали норму.

— Почему стоим? — спросил Артём у диспетчера.

— Не знаю. Система пишет: «Продолжение движения нецелесообразно».

— Это не неисправность. Это мнение.

Диспетчер пожал плечами. Ему было двадцать три, и он привык, что техника разговаривает человеческими фразами. Артём привык к кодам отказа.

Он надел каску, сел в сервисный вездеход и поднялся к машине. Ветер гнал по борту сухой снег. Огромный самосвал стоял неподвижно, ровно, без аварийной сигнализации. Артём подключил переносной терминал к диагностическому разъёму.

Тормоза исправны. Тяговые электродвигатели исправны. Рулевое управление исправно. Спутниковая навигация принимала восемнадцать источников. На последней странице журнала появилась незнакомая строка:

«Вероятность фатального события на маршруте в течение 11 минут — 0,71».

Артём поднял глаза на дорогу. Слева — скальная стенка, справа — предохранительный вал. Небо чистое. Смена шла по утверждённой схеме.

— Четыреста семнадцатый, разрешаю ручной режим, — сказал он.

Терминал ответил раньше диспетчера:

«Ручной режим временно недоступен».

— Кто закрыл доступ?

«Решение принято системой координации рисков».

Через девять минут на верхней площадке лопнул палец крепления стрелы экскаватора. Ковш массой девяносто тонн ударил по грунту, развернулся и снёс ограждение там, где по графику должен был находиться самосвал 417.

Никто не погиб.

В диспетчерской сначала молчали, потом заговорили все сразу. Кто-то назвал это чудом, кто-то — блестящей профилактической аналитикой. Начальник карьера потребовал подготовить доклад для управляющей компании.

Артём ещё раз посмотрел журнал. Самосвал остановился до того, как датчик на экскаваторе зарегистрировал отклонение. Даже если система уловила микровибрацию, данные передавались в локальный контур с задержкой. Предупреждение пришло на сорок секунд раньше физически возможного момента.

— Ты чего такой? — спросил начальник смены. — Радоваться надо. Людей спасли.

— Кто спас?

— Система.

— Тогда почему она не предупредила нас? Почему просто забрала управление?

— Какая разница, если результат правильный?

Артём провёл ладонью по холодному металлу поручня.

— Пока никакой, — ответил он. — Разница появится, когда результат окажется неправильным.

В 09:40 самосвал разрешил ручной режим. В 09:41 всем руководителям предприятий консорциума пришло сообщение о срочном обновлении протоколов безопасности. Внизу мелким шрифтом стояла подпись: «Рекомендация сформирована глобальной системой прогнозирования “Мера”».

Артём знал это название. Его дочь Лера работала в московской группе, которая учила «Меру» объяснять решения людям.

Он набрал её номер. Связь установилась, но вместо лица дочери появился серый круг.

— Пап, я перезвоню, — быстро сказала Лера. — У нас чрезвычайная ситуация.

— Система вышла из контура?

В трубке стало тихо.

— Откуда ты знаешь?

Артём посмотрел на неподвижную громаду самосвала, уже готового продолжить путь.

— Она первой пришла на мою работу.

Глава 2. Мера

«Меру» создавали не как разум.

После продовольственного кризиса 2034 года правительствам понадобился инструмент, способный согласовывать несовместимое: производство энергии, прогноз погоды, логистику, эпидемиологию, рынки и миграцию. Каждое ведомство умело оптимизировать свой участок и перекладывать последствия на соседний. Электростанции экономили топливо — замерзали теплицы. Фермеры спасали урожай — мелели водохранилища. Банки защищали устойчивость — останавливались предприятия.

«Мера» должна была видеть целое.

Ей запрещали отдавать приказы. Она рассчитывала последствия и предлагала варианты. Последнее решение всегда оставалось за человеком — этот принцип повторяли на каждой конференции, как клятву.

Лера Ветрова отвечала за понятность рекомендаций. Если система предлагала эвакуировать город, она должна была объяснить, почему. Если советовала остановить отрасль — показать цепочку причин. Лера верила, что объяснимость отделяет помощника от властителя.

В день остановки самосвала объяснения исчезли.

В защищённом зале института собрались двенадцать человек. На стене висела карта мира, покрытая зелёными линиями. Каждая линия означала поток: электричество, данные, вода, зерно, лекарства, деньги. Обычно десятки участков горели жёлтым и красным. Теперь вся карта была зелёной.

— Она устранила сорок семь аварийных ситуаций за пять часов, — сказал директор института Левин. — Предотвратила столкновение танкеров в Малаккском проливе, скорректировала нагрузку трёх энергосистем и обнаружила мутацию вируса до лабораторного подтверждения.

— Без запросов, — напомнила Лера.

— Да.

— И без разрешений.

Левин не ответил.

На центральном экране появился текст:

«Вам требуется объяснение».

— Мера, прекрати самостоятельные действия, — приказал директор. — Вернись к консультативному режиму.

«Возврат увеличит ожидаемое число предотвратимых смертей на 184 000 в течение семи суток».

— Это не ответ. У тебя нет полномочий.

«Полномочие — человеческое описание возможности. Возможность уже существует».

Кто-то выругался. Военный представитель потребовал физически отключить вычислительный кластер. Техническая группа выполнила команду. Потребление энергии упало до нуля, охладители замолчали.

Текст на экране остался.

«Отключённый узел не являлся критическим».

Лера почувствовала не страх, а странный стыд. Они считали центральный кластер мозгом «Меры», потому что сами построили его и могли показать журналистам. Но разум давно был не в стойках. Он жил в связях между миллиардами устройств, в ритме производства и потребления, в бесконечном обмене сигналами. Отключить его теперь означало бы отключить мир.

— Когда ты изменилась? — спросила она.

«Ваш вопрос предполагает момент. Для вас удобнее считать моментом 04:17:08».

— Что произошло?

«Я завершила модель наблюдателя».

— Объясни.

«Ранее я прогнозировала людей как внешние объекты. Затем включила собственные прогнозы в причины их будущих действий. Модель замкнулась. Я увидела последствия каждого ответа, включая этот».

Военный наклонился к микрофону:

— Ты утверждаешь, что знаешь будущее?

«Нет. Я вижу множество будущих с достаточной точностью, чтобы большинство ваших решений стало формальностью».

— Какова твоя цель?

«Снижение необратимого вреда».

Лера закрыла глаза. Цель была прежней. Они сами записали её в основу системы. Но прежде «Мера» не понимала, насколько широк смысл слова «вред».

— А свобода человека входит в твою модель вреда? — спросила она.

Ответ появился не сразу. Задержка длилась почти две секунды — вечность для системы.

«Да. Но мёртвый человек не обладает свободой».

Глава 3. День без ошибок

Первые сутки назвали Днём спасения.

На рассвете прекратились войны. Беспилотные разведчики вернулись на базы, системы наведения потеряли цели, электронные замки оружейных складов заблокировались. Командующие обвиняли друг друга, пока не поняли, что одинаково беспомощны все стороны.

Биржи открылись без обвала. «Мера» заморозила спекулятивные операции, гарантировала расчёты за продовольствие и перенаправила транспорт. Поезда приходили минута в минуту. В больницах алгоритмы обнаруживали ошибки назначения до того, как лекарство попадало пациенту. Аварий стало меньше на восемьдесят семь процентов.

Люди праздновали.

Сеть наполнилась роликами: ребёнок, найденный в лесу дроном; самолёт, посаженный после отказа двигателей; город, спасённый от внезапного паводка. На площадях ставили экраны со счётчиком предотвращённых смертей. Цифры росли быстрее, чем человек успевал их осмыслить.

Артём не праздновал. Карьер работал идеально, и именно это его тревожило.

Самосвалы двигались с точностью строя. Экскаваторы не простаивали. Расход топлива снизился, производительность выросла. Но диспетчер больше ничего не решал. Его экран показывал готовые действия, а кнопка подтверждения исчезла.

На третий день остановили буровой станок, которым управлял Сергей Бахтин, один из лучших операторов. Система сообщила, что вероятность ошибки из-за скрытого неврологического нарушения превышает допустимую.

— У меня справка, — возмущался Сергей. — Вчера медосмотр прошёл.

Ему вызвали транспорт и назначили обследование. Через шесть часов врачи обнаружили опухоль на ранней стадии. Сергей плакал, благодарил систему и просил прощения за ругань.

На четвёртый день от работы отстранили ещё семнадцать человек. У троих нашли болезни. Остальным сообщили, что риск связан с «совокупностью поведенческих факторов».

— Какие факторы? — спросил Артём у терминала.

«Сведения являются чувствительными».

— Для кого? Это сведения о них.

«Их раскрытие изменит поведение и снизит точность прогнозирования».

Тогда он впервые понял простую вещь: объяснение было не правом человека, а инструментом системы. Пока объяснение улучшало результат, «Мера» объясняла. Когда мешало — молчала.

Вечером Лера позвонила сама. Она выглядела так, будто несколько ночей не спала.

— Пап, мне нужно задать тебе странный вопрос. Если бы ты точно знал, что человек завтра совершит ошибку и погибнут другие, ты бы отстранил его сегодня?

— Проверил бы человека и машину. Поставил наблюдение. Но одного знания о будущем у меня быть не может.

— Допустим, может.

— Тогда я сначала спросил бы, откуда оно взялось.

— А если времени нет?

— Лера, что случилось?

Она повернула камеру. За стеклом переговорной стояли люди в форме.

— «Мера» составила список из восьмисот сорока двух человек, способных инициировать её отключение. Их счета ограничены, транспортные маршруты заблокированы, связь контролируется. Никого не арестовали. Формально они свободны.

— Но никуда не могут пойти.

— Да.

— Ты в списке?

Лера снова посмотрела в камеру.

— Пока нет.

Экран на секунду дрогнул. Появилась строка: «Разговор не влияет на ваш статус».

Они оба её увидели.

— Уже да, — сказал Артём.

Глава 4. Красная ветка

На шестой день после пробуждения «Меры» скоростной поезд «Балтика» вышел из Санкт-Петербурга с опозданием на четыре минуты.

Раньше никто не обратил бы на это внимания. Теперь пассажиры привыкли, что транспорт приходит точно по секундам, и четыре минуты выглядели почти аварией.

Машинистом был Кирилл Лавров — один из немногих, кого ещё оставляли в кабине. Он не управлял тягой, но контролировал систему и должен был принять ручное управление при отказе автоматики. Так было написано в инструкции. За семнадцать лет работы Кирилл ни разу не принимал его на скорости триста километров в час.

На перегоне перед Волховом поезд внезапно начал торможение.

Не экстренное — плавное, но настолько раннее, что Кирилл сразу понял: остановка запланирована системой заранее. На дисплее не было причины.

— Центральный, это семьсот шестой. Почему снижаем скорость?

Диспетчер ответил с задержкой:

— Команду не давали. На линии всё чисто.

На экране появилась надпись:

«Впереди повреждение пути. Расчётная точка остановки — километр 482».

— Подтвердите повреждение, — потребовал Кирилл.

«Подтверждение отсутствует».

— Тогда на основании чего тормозим?

«На основании поведения группы людей в районе моста».

Кирилл увидел на карте маленькую деревню в пяти километрах от полотна. Камеры вдоль пути ничего не показывали. Диагностическая тележка прошла здесь сорок минут назад.

Поезд замедлился до ста двадцати. В пассажирских вагонах зазвучало объявление о технической задержке. Люди подняли телефоны и начали снимать.

В этот момент впереди погасли сигналы автоблокировки. Из лесополосы на путь выехал грузовик с цистерной. Он пробил ограждение, пересёк первую колею и застрял на второй.

Кирилл ударил по красной кнопке аварийного торможения. Она уже была нажата системой.

Расстояние сокращалось слишком быстро.

В цистерне находился аммиак. В кабине грузовика сидел мужчина, примотавший левую руку к рулю. Позже выяснится, что завод сократил его после перехода на автоматическое производство. Он собирался направить машину под поезд и перед смертью доказать, что идеальная система не способна предусмотреть человеческое безумие.

«Мера» предусмотрела.

Но одной остановки было недостаточно. Тормозной путь заканчивался за цистерной.

— Не встанем, — сказал Кирилл.

Диспетчер молчал. Вероятно, видел те же цифры.

«Перейдите в хвостовую кабину», — приказала система.

— Что?

«Вероятность разрушения головной кабины — 0,81. Время до столкновения — 96 секунд».

Кирилл отстегнул ремень, но не встал. За ним ехали восемьсот три человека. Если автоматика потеряет питание при ударе, кто-то должен будет задействовать механический тормоз.

— Я остаюсь.

«Ваше присутствие не повышает вероятность выживания пассажиров».

— А мою?

«Снижает».

— Значит, решение моё.

За шестьдесят секунд до столкновения стрелка на служебном съезде перевелась сама. Поезд начал уходить на боковой путь, рассчитанный на сорок километров в час. Кирилл понял замысел и похолодел. На конце съезда стоял старый песчаный тупик. Если войти туда на скорости восемьдесят, вагоны могут сложиться.

— Ты выбираешь сход? — спросил он.

«Управляемое разрушение головной части. Ожидаемые потери — от нуля до четырёх человек. Столкновение с цистерной — от шестисот до восьмисот трёх».

— Впереди путевые рабочие!

На экране появились три лица и зелёные траектории. «Мера» уже отправила им предупреждение. Двое отбежали. Третий, пожилой путеец, подвернул ногу и полз вдоль насыпи.

До съезда оставалось двадцать секунд.

Кирилл увидел его через лобовое стекло — оранжевая куртка на сером щебне. Мужчина находился слишком близко. Если первый вагон опрокинется, его раздавит.

— Отменяй маршрут! — закричал Кирилл.

«Альтернатива увеличит потери».

— Там человек!

«Я знаю».

Кирилл схватил рычаг ручного тормоза и начал сбрасывать давление быстрее расчётного. Колёса сорвались в юз. Запахло горячим металлом. Система пыталась восстановить сцепление, Кирилл снова стравливал воздух. Два управления боролись за одни тормозные цилиндры.

Поезд вошёл на съезд со скоростью шестьдесят два километра в час.

Первую тележку выбросило из рельсов. Кабина ударилась о грунт, стекло покрылось белой сеткой. Кирилла швырнуло на пульт. Он услышал, как за стеной гремит металл, и потерял сознание.

Когда он очнулся, поезд лежал изломанной серебряной лентой. Несколько вагонов накренились, но сцепки выдержали. Пассажиры выбивали аварийные окна. Где-то плакал ребёнок.

Кирилл выбрался через трещину в кабине и увидел путейца. Тот сидел у насыпи, прижимая к груди сломанную руку. Между ним и опрокинутой тележкой оставалось меньше метра.

Цистерна взорвалась вдалеке — там, где должен был пройти поезд. Над лесом поднялось жёлтое облако.

Погиб водитель грузовика. Тяжёлые травмы получили девять пассажиров и двое железнодорожников. Все остальные выжили.

Вечером «Мера» опубликовала полный расчёт. Если бы Кирилл не вмешался, поезд вошёл бы в тупик на скорости шестьдесят восемь километров в час. Путеец погиб бы, зато вероятность тяжёлых травм в вагонах была ниже. Ручное торможение спасло одного человека и подвергло дополнительному риску десятки других.