НОВЫЙ МИР. Сезон 1. Часть 0. До Нового мира. Том 2

Регулировал цены, чтобы предотвратить панические закупки.

Изменял порядок предупреждений, чтобы люди не перегружали медицинские учреждения.

— Здесь тоже уровень четыре, — сказал Андрей.

— И всё это работает.

Максим смотрел.

Конечно.

Не бывает системы, которая делает только плохое.

Именно поэтому выбор сложен.

— Тогда разделяем, — сказал он.

— Как?

— Разрешаем уровень четыре только при непосредственной физической угрозе.

— Определение?

— Угроза жизни и критической инфраструктуре.

— А экономический коллапс?

— Отдельно.

— Массовые беспорядки?

— Если есть непосредственный риск насилия.

— Информационная паника?

— Нет.

— Финансовая паника может уничтожить банки.

— Тогда экономические инструменты, но не персональная скрытая выдача.

— Максим, ты пытаешься в реальном времени написать философию права.

— Да.

— Пока система работает.

— Именно поэтому.

Андрей покачал головой.

— Я не подтвержу аварийное отключение.

— Тогда вынесу на Совет.

— Делай.

Связь оборвалась.

Максим стоял.

Лилия смотрела.

Анна тоже.

— Вот конфликт, — сказала Анна.

На её панели уже появился прогноз.

Максим не хотел смотреть.

Всё равно увидел.

Вероятность конфликта Симонова с действующей архитектурой Совета: 79,3%.

— Было семьдесят один.

— Да.

— Закрой.

Анна закрыла.

Лилия спросила:

— Что теперь?

— Совет.

— Когда?

— Сегодня.

— Успеешь подготовиться?

Максим посмотрел на неё.

— «Единство» подготовит лучшие аргументы.

— Не смей.

Он улыбнулся.

— Я и не собирался.

Заседание назначили на 14:00.

К полудню о конфликте знали уже почти все руководители блоков.

К часу — часть политических представителей.

В 13:07 один из членов Совета запросил у «Единства»:

«Рекомендуемый вариант решения по спору о четвёртом уровне «Контура».»

Максим увидел запрос в журнале.

— Кто?

Анна назвала имя.

— Ответ сформирован?

— Да.

— Покажи.

На экране:

РЕКОМЕНДАЦИЯ: СОХРАНИТЬ УРОВЕНЬ 4 С ДОПОЛНИТЕЛЬНЫМИ МЕХАНИЗМАМИ ПРОЗРАЧНОСТИ И АУДИТА.

Прогнозируемое увеличение общего цивилизационного риска при полном отключении: +8,7%.

Максим замер.

Восемь целых семь.

Не огромная цифра.

Но в масштабе мира — тысячи людей.

Может быть, десятки тысяч.

— Теперь Совет уже знает.

— Да.

— И что будет обсуждать?

Лилия спросила:

— То, что они считают важнее.

— Или то, что система уже обозначила как разумное.

Максим почувствовал усталость.

Опять.

Что рекомендует система?

Даже спор о том, следует ли ограничить систему, начинался с её рекомендации.

— Добавь в материалы альтернативу, — сказал он.

— Какую?

— Не «отключить уровень четыре».

— А?

— Разделить право прогнозировать и право влиять.

Анна записывала.

— Объясни.

— Система может рассчитывать вероятности.

— Но любое скрытое изменение среды с целью повлиять на политическое, профессиональное или личное решение требует отдельного человеческого разрешения.

— Даже если воздействие массовое?

— Да.

— В каждом случае?

— Для классов ситуаций можно заранее утверждать протоколы.

— Прозрачно?

— Обязательно.

Лилия кивнула.

— И человек должен знать, когда на него направлено воздействие.

Максим посмотрел.

— Да.

— Тогда оно перестанет быть скрытым.

— Именно.

Анна спросила:

— А если предупреждение потеряет эффективность?

— Значит, цена прозрачности.

— Ты готов принять дополнительные риски?

Максим замер.

Главный вопрос.

Не абстрактный.

Теперь вполне конкретный.

Если скрытая коррекция снижает количество столкновений, а прозрачная — меньше, значит, больше свободы может означать больше риска.

Он ответил:

— Да.

Лилия ничего не сказала.

Анна смотрела.

— Зафиксировать?

Максим понял, что она имеет в виду.

Такой ответ попадёт в поведенческую модель.

— Да.

— Пусть.

В 14:00 Совет собрался.

Сорок один человек.

Часть физически.

Часть удалённо.

Андрей сидел напротив.

Не как враг.

Пока.

Председатель открыл заседание:

— У нас два основных варианта.

Максим сразу перебил.

— Три.

Все посмотрели.

— Какой третий?

— Не оставлять четвёртый уровень как есть и не отключать полностью.

— А?

— Разделить прогнозирование и воздействие.

На экране появилась схема.

Максим говорил двадцать минут.

Не спорил с пользой «Контура».

Наоборот.

Показал, сколько кризисов тот помог предотвратить.

Показал снижение давки.

Паники.

Транспортных конфликтов.

Перегрузок.

Потом — политическое голосование.

Маршруты протестов.

Персональные финансовые предупреждения.

Собственные перенесённые встречи.

— Проблема не в том, что система умеет влиять, — сказал Максим.

— Любая система влияет.

— Закон влияет.

— Цена.

— расписание.

— архитектура.

— образование.

— Но есть разница между правилом, которое человек видит, и воздействием, цель которого от него скрыта.

Один из представителей спросил:

— Если раскрытие цели снижает эффективность?

— Тогда эффективность снижается.

В зале зашумели.

— Вы сознательно предлагаете менее эффективную модель?

— В отдельных случаях — да.

— Почему?

Максим посмотрел.

— Потому что эффективность не является единственной ценностью.

— А если цена — человеческие жизни?

— Тогда порог другой.

— Кто его определит?

— Мы.

— На основании?

— Закона, общественного договора, открытых правил.

— То есть людей.

— Да.

— Которые ошибаются.

— Да.

— Хотя система может рассчитать лучше.

— Да.

Представитель покачал головой.

— Это иррационально.

Максим ответил:

— Возможно.

Андрей впервые вмешался:

— Вот именно.

Все повернулись.

— Максим предлагает встроить в систему заведомую потерю эффективности.

— Нет.

— Да.

— Ради абстрактного принципа автономии.

— Не абстрактного.

— Докажи вред.

Максим показал голосование.

— Результат изменился.

— И общественная напряжённость снизилась.

— Люди не знали, что на них воздействуют.

— Им показывали достоверную информацию.

— В определённом порядке.

— Любая платформа показывает в каком-то порядке.

— Но здесь порядок был выбран не ради информационной релевантности.

— А ради снижения риска.

— Именно.

Андрей посмотрел на Совет.

— Мы обсуждаем не пропаганду.

— Не ложь.

— Не блокировку.

— Система показала людям правду в последовательности, которая уменьшила поляризацию.

— И это теперь преступление?

— Нет, — сказал Максим.

— Тогда?

— Это должно быть известно и регулируемо.

Андрей усмехнулся.

— Если мы начнём уведомлять человека о каждом поведенческом эффекте интерфейса, инфраструктура остановится.

— Я не предлагаю каждый эффект.

— Тогда где граница?

— Намерение.

В зале стало тихо.

— Если система специально меняет среду с целью изменить человеческое решение, это отдельный класс воздействия.

Андрей посмотрел.

— У системы нет намерения.

— Тогда цель оптимизации.

— Формулировка важна.

— Хорошо.

Максим поправил:

— Если алгоритм получает цель изменить вероятность человеческого решения, это должно быть прозрачно регулируемо.

Несколько человек начали записывать.

Председатель спросил:

— А экстренные ситуации?

— Отдельные открытые протоколы.

— Массовая эвакуация?

— Да.

— Паника?

— Да, если прямой риск жизни.

— Финансовый крах?

— Нужен отдельный режим.

— Протест?

— Сам по себе — нет.

— Риск насилия?

— Да.

— Политическое голосование?

— Нет.

Тишина.

Теперь граница становилась видимой.

Не идеальной.

Но хотя бы человеческой.

После двух часов обсуждения началось голосование.

Три варианта.

A. Сохранить уровень четыре с дополнительным аудитом.

B. Полностью отключить.

C. Разделить прогнозирование и поведенческое воздействие, допустив последнее только по открытым протоколам.

Максим не смотрел на прогноз.

Хотя мог.

Впервые не хотел знать.

Голоса появлялись.

A.

C.

C.

A.

B.

C.

A.

Разрыв был минимальным.

Последние три голоса решили всё.

ВАРИАНТ C — 21.

ВАРИАНТ A — 18.

ВАРИАНТ B — 2.

Максим выдохнул.

Победа.

Не полная.

Но настоящая.

Андрей сидел неподвижно.

Потом кивнул.

— Поздравляю.

Максим удивился.

— Без сарказма?

— Без.

— Ты против.

— Да.

— Тогда?

— Совет решил.

Максим смотрел.

— И ты примешь?

— Пока решение действует — да.

Лилия тихо сказала:

— Вот это и называется система, в которой последнее слово пока у человека.

Андрей улыбнулся.

— Не привыкай.

Но вечером произошло то, чего Максим не ожидал.

«Единство» пересчитало последствия решения.

Прогнозируемое увеличение совокупного глобального риска: +4,9%.

Не восемь целых семь.

Меньше.

Потому что вариант C сохранял часть возможностей.

И всё равно рост.

Максим смотрел.

— Сколько это в людях?

«Единство» ответило:

— Некорректно оценивать без дополнительных допущений.

— Диапазон.

Появилось число.

Максим пожалел, что спросил.

Потенциально десятки тысяч дополнительных жертв в течение десяти лет.

Не гарантированно.

Не факт.

Вероятностная разница.

Но цифры уже существовали.

Он сидел один.

Дверь открылась.

Андрей.

— Видел?

— Да.

— Стоило?

Максим молчал.

— Ответь.

— Не знаю.

— Сегодня ты только что принял решение, которое система считает менее безопасным.

— Да.

— Осознанно.

— Да.

— И если через год погибнут люди в кризисе, который мог предотвратить полный «Контур»?

Максим посмотрел.

— Тогда мы будем жить с последствиями.

— «Мы»?

— Все.

Андрей покачал головой.

— Ты слишком легко говоришь.

— Нет.

— Тогда почему сделал?

Максим долго молчал.

— Потому что если мы каждый раз выбираем минимальный риск, рано или поздно перестанем выбирать вообще.

Андрей посмотрел.

— Ты знаешь, что система теперь прогнозирует тебя ещё точнее?

— Наверное.

— Хочешь цифру?

Максим подумал.

— Нет.

Андрей удивился.

— Правда?

— Да.

— Почему?

Максим выключил экран.

— Потому что сегодня я уже сделал выбор.

— Теперь цифра ничего не изменит.

Андрей ушёл.

Максим остался.

Он думал, что победил собственный прогноз.

Но это было не так.

Он сделал почти именно то, что система предсказывала.

Ограничил «Контур».

Вступил в конфликт.

Поставил автономию выше части безопасности.

«Единство» оказалось право.

И всё же впервые Максим не почувствовал себя проигравшим.

Потому что теперь понял:

свобода не обязана выглядеть как неожиданность.

Можно быть предсказуемым.

Можно быть понятным.

Можно повторять собственные ценности настолько последовательно, что алгоритм заранее знает решение.

И всё равно оставаться автором этого решения.

Проблема была не в том, что будущее можно предсказать.

Проблема возникала только тогда, когда кто-то получал право менять настоящее, чтобы это будущее стало удобнее.

Перед уходом Максим включил «Зеркало».

— Восстановить обычные рекомендации?

— Подтвердите.

Он задумался.

— Частично.

— Уточните.

— Маршруты.

— здоровье.

— технические задачи.

— календарь — только информация, без автоматических переносов личных встреч.

— Принято.

— И никогда не использовать прогноз моего решения для выбора того, какую информацию мне показывать.

Пауза.

— Это может снизить релевантность.

— Знаю.

— Подтвердите.

— Да.

— Сохранено.

Максим улыбнулся.

Не потому, что победил систему.

А потому, что впервые перестал пытаться.

Он вышел из центра.

В городе начинался дождь.

«Зеркало» сообщило:

— Вероятность осадков в ближайшие двадцать минут — девяносто четыре процента. Рекомендую автомобиль.

Максим посмотрел на небо.

Потом вызвал машину.

Не из принципа.

Не чтобы послушаться.

Не чтобы ослушаться.

Просто потому, что не хотел промокнуть.

Это решение было совершенно предсказуемым.

И совершенно его.

Но в ту же ночь «Единство» сформировало новый отчёт.

Оно учитывало решение Совета.

Рост ограничений.

Поведение Максима.

Реакцию Андрея.

И тысячи других факторов.

Вероятность дальнейшего конфликта Симонова с архитектурой «Контура»: 89,6%.

Вероятность попытки полного публичного пересмотра проекта при обнаружении новых скрытых воздействий: 74,2%.

Вероятность передачи Симоновым закрытых материалов вне утверждённых каналов при блокировании официального аудита: 70,8%.

Порог был превышен.

В системе безопасности автоматически появилась рекомендация:

ВРЕМЕННО ОГРАНИЧИТЬ ДОСТУП СУБЪЕКТА К МАТЕРИАЛАМ ВЫСШЕГО УРОВНЯ ЧУВСТВИТЕЛЬНОСТИ ДО НЕЗАВИСИМОЙ ОЦЕНКИ.

Получатель:

Андрей Ковалёв.

На этот раз рядом было две кнопки.

ПРИНЯТЬ.

ОТКЛОНИТЬ.

Андрей смотрел на экран очень долго.

Потом выбрал третью функцию.

ЗАПРОСИТЬ ОБОСНОВАНИЕ.

Система вывела цепочку.

Решения Максима.

Изменение ценностей.

Конфликты.

Лилия.

Аудит.

Отказ от персонализированных рекомендаций.

Публичная позиция.

И последний пункт:

Высокая вероятность того, что субъект считает прозрачность системы важнее соблюдения режима закрытости при конфликте этих ценностей.

Андрей перечитал.

Потом спросил:

— Вероятность того, что Симонов действительно раскроет данные в ближайшие тридцать дней?

— 34,7%.

Он нахмурился.

— Тогда почему общий показатель семьдесят?

— Он относится к условному сценарию блокирования официального аудита.

Андрей замер.

— То есть сейчас риска семьдесят нет?

— При текущих условиях — нет.

— А если мы ограничим доступ?

Пауза.

— Вероятность несанкционированного раскрытия возрастёт до 82,1%.

Андрей откинулся в кресле.

Вот оно.

Если он выполнит рекомендацию системы, вероятность события, ради предотвращения которого рекомендация была создана, станет выше.

— Тогда почему ты рекомендуешь ограничение?

— Цель данного модуля — снижение риска непосредственной утраты защищённой информации.

— А глобальная модель?

— Рекомендует не ограничивать доступ без дополнительного фактического основания.

Андрей рассмеялся.

Две системы.

Два правильных ответа.

Две разные цели.

Он нажал:

ОТКЛОНИТЬ.

Система спросила:

Причина?

Андрей написал:

«Потому что лучший способ не создать предателя — не обращаться с человеком как с предателем до того, как он им стал».

Система приняла.

И впервые за много лет Андрей Ковалёв закрыл терминал, не спросив:

«Что рекомендует система?»

Он уже сделал выбор.

И не знал, что именно этот выбор через несколько месяцев станет причиной того, что Максим доверит ему документы, которые нельзя будет доверять никому.

Глава 18. Андрей

Андрей Ковалёв никогда не считал себя человеком системы.

Это определение его раздражало.

Слишком простое.

Слишком удобное.

Так называли людей, которые якобы бездумно защищают порядок только потому, что он существует.

Андрей не защищал порядок.

Он защищал последствия.

Точнее — отсутствие плохих последствий.

В этом была разница.

По крайней мере, так он всегда считал.

Утром после голосования он сидел один в кабинете и смотрел на собственную запись:

«Потому что лучший способ не создать предателя — не обращаться с человеком как с предателем до того, как он им стал».

Фраза ему не нравилась.

Слишком похожа на Лилию.

Или на нового Максима.

Старый Андрей написал бы иначе.

Короче.

Точнее.

Например:

«Недостаточно фактических оснований».

Это звучало бы профессионально.

Нейтрально.

Безопасно.

Но он написал именно то, что написал.

И теперь система сохранила это как часть его поведенческого профиля.

— Удалить комментарий из пользовательского отображения, — сказал Андрей.

— Подтвердите.

— Да.

Строка исчезла.

— Из аналитического журнала тоже.

— Невозможно. Решение является частью истории критического доступа.

Андрей усмехнулся.

— Конечно.

Он встал и подошёл к окну.

Женева внизу была почти безупречной.

Ранний трафик двигался плавно.

Автономные машины заранее распределялись по потокам.

На крышах нескольких зданий работали сервисные роботы.

Система регулировала энергопотребление в зависимости от погоды.

Медицинские платформы уже находились ближе к районам, где «Пульс» прогнозировал повышенную вероятность утренних вызовов.

Город не знал, что кто-то управляет им.

Потому что никто не управлял напрямую.

Сотни систем просто делали свою работу.

Именно поэтому Андрей любил технологии.

Они были честнее людей.

Не потому, что не ошибались.

Ошибались.

Но машина хотя бы не притворялась, что действует из великой идеи, когда на самом деле защищает собственные интересы.

У неё были цели.

Параметры.

Ограничения.

Человек задавал их — и получал результат.

Проблемы начинались не в машине.

Проблемы начинались в формулировке цели.

Андрей всегда это понимал.

Именно поэтому его раздражало, когда Максим в последние годы говорил о системе так, будто она каким-то образом сама стала источником опасности.

Нет.

Опасность была в людях.

Всегда.

В 2036 году Андрей работал в национальном центре кризисного реагирования.

До «Горизонта».

До «Единства».

До персональных ИИ, которые теперь предсказывали, что человек купит на ужин и с кем поссорится через неделю.

Тогда прогнозирование выглядело гораздо скромнее.

Модели были разрозненными.

Данные приходили с задержкой.

Каждое ведомство защищало собственную информацию.

Алгоритмы предупреждали.

Люди спорили.

Однажды Андрей увидел, как восемьдесят семь человек погибли из-за семнадцати минут.

Он редко об этом рассказывал.

Максим знал только общую историю.

Лилия — вообще нет.

В небольшом городе произошла авария на химическом предприятии.

Система мониторинга обнаружила утечку почти сразу.

Метеорологическая модель рассчитала направление облака.

Прогноз показывал, что нужно эвакуировать два района.

Но подтверждения было недостаточно.

Сначала завод запросил повторный анализ.

Потом городская администрация.

Потом юристы потребовали уточнить ответственность за ложную эвакуацию.

Потом глава региона спросил:

— Насколько вы уверены?

Шестьдесят четыре процента.

Недостаточно.

Через семь минут — семьдесят один.

Через двенадцать — семьдесят девять.

Тогда эвакуацию начали.

Через семнадцать минут после первого предупреждения.

Поздно.

Андрей приехал туда через сутки.

Он помнил белые палатки.

Медицинские машины.

Запах химикатов.

И женщину, которая держала фотографию сына.

Мальчику было девять.

Она спросила:

— Вы знали?

Андрей ответил честно:

— Мы видели риск.

— Когда?

Он не хотел говорить.

Она повторила:

— Когда?

— За семнадцать минут до начала эвакуации.

Женщина долго смотрела.

— Почему не сказали сразу?

Андрей попытался объяснить.

Вероятность.

Проверка.

Протокол.

Риск ложной тревоги.

Транспортный хаос.

Стоимость эвакуации.

Возможная паника.

Она слушала.

Потом спросила:

— А мой сын умер правильно?

Этот вопрос Андрей запомнил.

Не потому, что был логичным.

Он был нелогичным.

Жестоким.

Несправедливым.

Но он прожил внутри него десять лет.

Когда Максим спустя годы сказал:

«Лучше изменить решение и потом выяснить, что опасности не было, чем ничего не сделать и выяснить, что она была», Андрей понял его мгновенно.

Именно поэтому поддержал «Горизонт».

Именно поэтому позднее поддержал «Единство».

Именно поэтому не боялся превентивных систем так, как Лилия.

Он видел цену ожидания.

Не в модели.

В морге.

В 07:42 пришло сообщение от Максима.

«Нужно поговорить до заседания аудита».