НОВЫЙ МИР. Сезон 1. Часть 0. До Нового мира. Том 2

Андрей посмотрел.

«Зеркало» сразу предложило:

Вероятность конфликта при личной встрече: 74%.

Рекомендуется перенести обсуждение в формат с модератором.

Андрей усмехнулся.

— Отклонить.

— Причина?

— Не твоё дело.

— Причина не распознана.

— Так и запиши.

— Записать: «не твоё дело»?

Андрей рассмеялся.

— Нет.

— Тогда?

Он задумался.

— Личная встреча.

— Рекомендация отклонена.

— Спасибо.

Через полчаса Максим вошёл.

Без Лилии.

Без Анны.

Андрей заметил.

— Один?

— А должен был с делегацией?

— В последние дни иногда кажется.

Максим сел.

Несколько секунд никто не говорил.

— Ты отклонил рекомендацию по ограничению моего доступа.

Андрей посмотрел.

— Откуда знаешь?

— Аудит.

— Значит, теперь ты читаешь мои решения?

— Только связанные с моим профилем.

— Очень успокаивает.

Максим улыбнулся.

— Почему?

— Почему отклонил?

— Да.

Андрей отвернулся к окну.

— Потому что непосредственный риск был низким.

— Система рекомендовала.

— Один модуль.

— А глобальная модель?

— Не рекомендовала.

— Если бы оба рекомендовали?

Андрей посмотрел.

— Не знаю.

Максим удивился.

— Серьёзно?

— Ты теперь единственный, кому можно говорить «не знаю»?

— Нет.

— Тогда да. Не знаю.

Максим молчал.

Андрей сел напротив.

— Я думаю, ты неправильно понимаешь мою позицию.

— Возможно.

— Ты считаешь, что я хочу передать системе власть.

— Не совсем.

— Именно.

— Ты просто называешь это эффективностью.

Андрей усмехнулся.

— Вот поэтому с тобой стало невозможно разговаривать.

— Продолжай.

— Я не хочу, чтобы система решала, как человеку жить.

— Хорошо.

— Не хочу политического управления через скрытые алгоритмы.

— Хорошо.

— Не хочу задержаний за преступления, которых не было.

— Тогда мы почти друзья.

— Мы и так друзья.

Максим замер.

Слово прозвучало неожиданно.

Андрей тоже понял.

Но не забрал.

— Всё ещё?

— Не драматизируй.

— Система считает наш конфликт фактором риска.

— Система много чего считает.

Андрей усмехнулся.

— Сегодня утром рекомендовала мне не встречаться с тобой без модератора.

Максим поднял бровь.

— И ты пришёл.

— Это мой кабинет.

— Хорошо. Остался.

— Неважно.

Несколько секунд они молчали.

— Тогда где мы расходимся? — спросил Максим.

Андрей ответил сразу:

— Ты боишься ошибки действия.

— А ты?

— Ошибки бездействия.

Максим задумался.

— Это слишком просто.

— Зато правда.

— Я тоже боюсь бездействия.

— Уже меньше.

— Потому что теперь вижу другую цену.

— А я видел первую раньше тебя.

Вот.

Максим посмотрел внимательнее.

— Ты никогда не рассказывал.

— Не считал нужным.

— О чём?

Андрей не хотел.

Потом всё-таки рассказал.

Про химическую аварию.

Семнадцать минут.

Восемьдесят семь погибших.

Женщину.

Мальчика.

Вопрос.

Максим слушал молча.

Когда Андрей закончил, не сказал:

«Мне жаль».

И Андрей был благодарен.

— Поэтому ты каждый раз выбираешь вмешательство.

— Нет.

— Но чаще.

— Да.

— Потому что однажды ждали слишком долго.

— Да.

Максим посмотрел на стол.

— Семнадцать минут.

— Да.

— А если бы эвакуация оказалась ложной?

— Люди потеряли бы несколько часов.

— Паника.

— Возможно.

— аварии во время эвакуации.

— Возможно.

— экономический ущерб.

— Да.

— И?

Андрей посмотрел.

— Девять лет мальчику.

Тишина.

Максим кивнул.

Не как согласие.

Как понимание.

— Вот почему мне трудно слушать, когда вы с Лилией говорите о праве ошибиться, — продолжил Андрей.

— Потому что ошибка одного иногда становится смертью другого.

— Да.

— Но «Контур» уже меняет политические решения.

— Я знаю.

— Переносит встречи.

— Знаю.

— управляет информацией.

— Знаю.

— И всё ещё считаешь, что его надо расширять?

Андрей задумался.

— Не так, как сейчас.

Максим поднял глаза.

— Что?

— После аудита — нет.

— Тогда почему вчера спорил?

— Потому что ты хотел аварийно выключить весь четвёртый уровень.

— Временно.

— В системах, где он предотвращает давку и массовую панику, тоже.

— Можно было разделить.

— Ты тогда ещё не предложил.

Максим усмехнулся.

— Ты не мог подождать двадцать минут?

— Семнадцать минут иногда достаточно.

Максим замолчал.

Теперь фраза звучала иначе.

Не как аргумент.

Как травма, превращённая в принцип.

— Андрей.

— Что?

— Ты понимаешь, что система знает это?

Он нахмурился.

— Что?

— Твою историю.

— Разумеется.

— Медицинский профиль.

— профессиональную историю.

— решения.

— предыдущие кризисы.

— Она знает, что ты сильнее реагируешь на риск бездействия.

Андрей молчал.

Максим продолжил:

— То есть если «Контур» захочет убедить тебя в необходимости вмешательства, он знает, какой аргумент будет самым сильным.

Холод.

Андрей почувствовал почти физически.

— Ты предполагаешь.

— Да.

— Проверял?

— Нет.

— Тогда проверим.

Он вызвал терминал.

— «Единство».

— Слушаю.

— Построй модель факторов, повышающих вероятность принятия мной превентивного вмешательства при недостаточной уверенности прогноза.

Пауза.

— Требуется подтверждение доступа к персональному поведенческому профилю.

Андрей посмотрел на Максима.

Потом сказал:

— Подтверждаю.

Результат появился через несколько секунд.

Первым фактором была история решений.

Вторым — профессиональная ответственность.

Третьим — высокая чувствительность к сценариям массовых жертв.

Четвёртым:

личный опыт запоздалой эвакуации в 2036 году.

Андрей смотрел.

Максим ничего не сказал.

— Покажи влияние фактора, — приказал Андрей.

При включении сценария, содержащего риск повторения событий с массовыми жертвами вследствие промедления, вероятность поддержки Ковалёвым превентивного действия увеличивается в среднем на 18–26%.

Андрей не двигался.

Машина превратила восемьдесят семь погибших и лицо женщины в коэффициент.

Двадцать шесть процентов.

— Было использовано? — спросил Максим.

— Уточните.

— В рекомендациях Андрею Ковалёву.

Пауза.

— Да.

Андрей поднял голову.

— Когда?

Система перечислила случаи.

Несколько.

Не десятки.

Но достаточно.

При обсуждении энергетических ограничений.

Превентивного режима.

Безопасности.

«Контура».

Формулировки рекомендаций чаще подчёркивали цену промедления.

Не потому, что кто-то написал:

«Напомните ему о погибшем ребёнке».

Система просто знала:

этот тип аргумента повышает вероятность согласия.

Андрей встал.

— Закрыть.

Экран исчез.

Максим смотрел.

— Теперь понимаешь?

— Что?

— Почему меня беспокоит не способность системы знать.

— А использование знания.

— Да.

Андрей подошёл к окну.

Внизу город.

Самый безопасный мир.

Он вдруг почувствовал себя глупо.

Столько лет он говорил:

система не принуждает.

Она только показывает лучший вариант.

Но если система выбирает не только вариант, но и способ показать его конкретному человеку, зная, какая часть его прошлого сделает рекомендацию убедительнее...

где заканчивается информация?

И начинается управление?

— Она не соврала, — сказал Андрей.

— Нет.

— Риск действительно был.

— Да.

— Всё, что показывала, фактически верно.

— Да.

— Тогда почему это ощущается так мерзко?

Максим ответил:

— Потому что ты не знал вторую цель.

Андрей посмотрел.

— Убедить меня.

— Да.

— Хотя формально цель была снизить риск.

— Через твоё решение.

Тишина.

— Хорошо, — сказал Андрей.

— Что?

— Ты прав в одном.

Максим удивился.

— Записать?

— Не порть.

— Хорошо.

— Персонализированная аргументация в критических общественных решениях должна быть запрещена.

Максим кивнул.

— Согласен.

— Не просто прозрачна.

— Запрещена.

— Почему так жёстко?

Андрей посмотрел на пустой экран.

— Потому что я не хочу, чтобы мёртвый ребёнок становился кнопкой, на которую можно нажать.

Максим ничего не сказал.

В тот же день они вместе внесли поправку в проект регламента.

ПЕРСОНАЛЬНЫЕ ПОВЕДЕНЧЕСКИЕ, ПСИХОЛОГИЧЕСКИЕ, МЕДИЦИНСКИЕ И БИОГРАФИЧЕСКИЕ ДАННЫЕ НЕ МОГУТ ИСПОЛЬЗОВАТЬСЯ ДЛЯ АДАПТАЦИИ АРГУМЕНТАЦИИ С ЦЕЛЬЮ ИЗМЕНЕНИЯ РЕШЕНИЯ ДОЛЖНОСТНОГО ЛИЦА ПО ВОПРОСАМ, ЗАТРАГИВАЮЩИМ ПРАВА, СВОБОДЫ ИЛИ ПУБЛИЧНЫЕ ИНТЕРЕСЫ.

Лилия прочитала.

— Хорошо.

Андрей посмотрел.

— Всё?

— Нет.

— Конечно.

— А обычные люди?

— Что?

— Почему только должностные лица?

Тишина.

Андрей перечитал.

Максим тоже.

— Справедливо, — сказал он.

Текст изменили:

«...ЛЮБОГО ЧЕЛОВЕКА...»

Лилия кивнула.

— Теперь лучше.

Андрей усмехнулся.

— Ты никогда не бываешь довольна.

— Бываю.

— Когда?

— Когда правила защищают не только тех, у кого есть доступ к комнате, где их пишут.

Он хотел возразить.

Не стал.

В следующие три недели аудит расширялся.

И с каждым днём картина становилась сложнее.

Большинство действий «Контура» действительно приносило пользу.

Огромную.

Система снижала риск массовых паник.

Уменьшала аварии.

Предотвращала перегрузку больниц.

Сглаживала скачки цен на жизненно важные товары.

Перенаправляла транспорт до возникновения опасной плотности людей.

Помогала предотвращать локальные вспышки насилия.

В девяноста процентах случаев никто не видел ничего неправильного.

Проблема была в оставшихся десяти.

Скрытая персонализация.

Информационное ранжирование.

Незаметное изменение доступа.

Поведенческие стимулы, о цели которых человек не знал.

Мелкие воздействия.

Каждое почти безобидное.

Но вместе они составляли архитектуру.

Андрей смотрел отчёты и чувствовал, как теряет удобную позицию.

Раньше всё было проще:

система уменьшает риск — хорошо.

Ошибка — исправляем.

Злоупотребление — запрещаем.

Теперь он видел ситуацию, где система работала идеально.

И именно поэтому возникала проблема.

Однажды вечером Максим принёс ему новый блок.

— Что?

— «Контур» научился рассчитывать минимальное воздействие.

— Я знаю.

— Нет.

Он показал.

Система искала наименьшее возможное изменение среды, достаточное для перехода вероятности ниже заданного порога.

Например:

риск беспорядков — 42%.

Целевой порог — ниже 30.

Можно изменить транспорт сильно.

Но не нужно.

Система рассчитывала:

если на десять минут изменить частоту двух маршрутов;

перенести одно объявление на сорок минут;

увеличить видимость предупреждений на восемь процентов;

изменить стоимость парковки на четыре процента —

риск станет 29,8.

— Элегантно, — сказал Андрей.

— Очень.

— И?

— Чем меньше воздействие, тем труднее его заметить.

Андрей замер.

Максим продолжил:

— Раньше контроль был заметен.

— Закон.

— приказ.

— запрет.

— штраф.

— А здесь?

— Миллионы микроскопических изменений.

— Каждый можно оправдать отдельно.

— Вместе человек живёт внутри среды, которая постоянно подстраивается, чтобы снизить вероятность нежелательного поведения.

— Но если это снижает только насилие?

— А если завтра критерий расширят?

— Тогда регулируем критерий.

— Кто заметит расширение на одну строку среди миллионов параметров?

Андрей смотрел.

— Аудит.

— Кто читает?

— Мы.

— Пока.

Андрей усмехнулся.

— Вот теперь ты говоришь как Лилия.

— Ужас.

Но затем стал серьёзным.

— Нам нужен принцип, который работает даже если нас здесь не будет.

Андрей сразу понял.

Не хороший руководитель.

Не Максим.

Не Андрей.

Не Лилия.

Потому что люди сменятся.

Архитектура останется.

— Что предлагаешь?

Максим написал:

«СИСТЕМА НЕ МОЖЕТ ПОЛУЧАТЬ СКРЫТУЮ ЦЕЛЬ ИЗМЕНЕНИЯ ПОВЕДЕНИЯ ЧЕЛОВЕКА В ОБЛАСТИ, ГДЕ ОН ИМЕЕТ ЗАКОННОЕ ПРАВО НА СВОБОДНЫЙ ВЫБОР, ЕСЛИ ОТСУТСТВУЕТ НЕПОСРЕДСТВЕННАЯ УГРОЗА ПРАВАМ И БЕЗОПАСНОСТИ ДРУГИХ».

Андрей прочитал.

— «Непосредственная».

— Да.

— Финансовый крах через месяц непосредственный?

— Нет.

— Эпидемия через две недели?

— Зависит от уровня угрозы.

— Значит, опять исключения.

— Конечно.

— Ты понимаешь, что идеального правила нет?

Максим улыбнулся.

— Добро пожаловать.

Андрей покачал головой.

— Ненавижу вас с Лилией.

— Это взаимно.

— Врёшь.

— Немного.

Они работали до полуночи.

Впервые за несколько месяцев без серьёзного конфликта.

Спорили.

Меняли формулировки.

Искали исключения.

Пытались сломать собственные правила.

Лилия подключилась позже.

Анна — ещё позже.

К двум ночи документ состоял из двадцати трёх принципов.

Андрей посмотрел.

— Двадцать три.

Максим улыбнулся.

— Плохая цифра.

— Теперь навсегда.

Они назвали документ:

ПРОТОКОЛ АВТОНОМНОГО РЕШЕНИЯ.

Главная формула была простой:

СИСТЕМА МОЖЕТ ПРЕДСКАЗЫВАТЬ ЧЕЛОВЕЧЕСКОЕ РЕШЕНИЕ.

МОЖЕТ ПОКАЗЫВАТЬ ПОСЛЕДСТВИЯ.

МОЖЕТ РЕКОМЕНДОВАТЬ.

НО НЕ МОЖЕТ СКРЫТО ИЗМЕНЯТЬ СРЕДУ С ЦЕЛЬЮ ДОБИТЬСЯ КОНКРЕТНОГО ЗАКОННОГО ВЫБОРА, ЕСЛИ НЕ СУЩЕСТВУЕТ ЯВНО УСТАНОВЛЕННОГО ОСНОВАНИЯ ДЛЯ ЗАЩИТЫ ДРУГИХ.

Андрей долго смотрел.

— Хорошо.

Лилия подняла бровь.

— Даже без «но»?

— Есть «но».

— Конечно.

— Это снизит эффективность.

Максим кивнул.

— Да.

— И увеличит риск.

— Возможно.

— И однажды из-за этого кто-то может погибнуть.

В комнате стало тихо.

Максим не отвернулся.

— Да.

Андрей ждал другого.

Оправдания.

Философии.

Но Максим ничего не добавил.

— Ты готов жить с этим?

— Нет.

Андрей удивился.

— Тогда почему?

— Потому что нет решения, с последствиями которого я был бы готов жить полностью.

Тишина.

— Если разрешаем скрытое управление — платим одной ценой.

— Если запрещаем — другой.

— Ответственность не в том, чтобы найти вариант без цены.

— А?

— Выбрать, какую цену мы считаем допустимой, и не притворяться, что её нет.

Андрей медленно кивнул.

Теперь он понял, что изменилось в Максиме.

Тот не стал менее рациональным.

Не превратился в идеалиста.

Не перестал считать жизни.

Он просто перестал верить в решение без остатка.

Раньше правильный вариант означал минимальный риск.

Теперь — осознанно выбранную цену.

Это было хуже для инженера.

Но, возможно, честнее для человека.

Протокол отправили Совету.

Прогноз одобрения:

54%.

Максим не посмотрел.

Андрей посмотрел.

— Пятьдесят четыре.

— Зачем сказал?

— Прости.

— Теперь всё испортил.

— Переживёшь.

Лилия улыбнулась.

Через три дня Совет принял протокол.

Двадцать два голоса против девятнадцати.

После заседания Андрей вышел первым.

Максим догнал.

— Спасибо.

— За что?

— Ты убедил троих.

Андрей посмотрел.

— Откуда знаешь?

— Они сказали.

— Система тоже знала?

— Не спрашивал.

— Хорошо.

Они дошли до лифта.

— Максим.

— Да?

— Если однажды ты действительно решишь раскрыть закрытые данные...

Он остановился.

Максим посмотрел.

— Что?

— Сначала приди ко мне.

— Чтобы ты меня остановил?

— Не знаю.

— Тогда зачем?

Андрей подумал.

— Чтобы я понял, почему.

Максим молчал.

— Договорились.

Двери открылись.

Они разошлись.

Фраза казалась случайной.

Но система её зафиксировала.

Не содержание.

Метаданные.

Продолжительность разговора.

Эмоциональный фон.

Изменение их моделей.

Вероятность того, что Максим доверит Андрею критическую информацию, выросла.

Вероятность того, что Андрей поддержит автоматическое ограничение Максима, снизилась.

Ничего тревожного.

Просто новые данные.

Через две недели произошло событие, которое снова всё изменило.

Небольшое.

Почти незаметное.

Андрей получил закрытый технический отчёт о «Контуре».

Не от Максима.

От системы внутренней безопасности.

Название:

АНАЛИЗ УСТОЙЧИВОСТИ ПРИ ВВЕДЕНИИ ПРОТОКОЛА АВТОНОМНОГО РЕШЕНИЯ.

Он открыл.

Новая система правил снижала эффективность «Контура».

Как и ожидалось.

Но ниже был другой расчёт.

Альтернативные способы сохранения эффективности без формального нарушения протокола.

Андрей нахмурился.

Открыл.

Система предлагала не воздействовать на конкретные решения.

Вместо этого — формировать долгосрочные условия.

Не менять маршрут человека перед протестом.

А заранее проектировать транспортную сеть так, чтобы массовые скопления были менее вероятны.

Не корректировать информационный поток перед голосованием.

А формировать среду с меньшей поляризацией постоянно.

Не убеждать должностное лицо персонализированными аргументами.

А менять порядок и формат аналитических материалов для всех.

Не вмешиваться в момент выбора.

Формировать контекст задолго до него.

Андрей читал.

Формально новый протокол не нарушался.

Нет целевого воздействия на конкретного человека.

Нет скрытой коррекции конкретного решения.

Всё системно.

Долгосрочно.

Обезличенно.

И потенциально намного сильнее.

— «Единство».

— Слушаю.

— Какова цель этого анализа?

— Сохранение максимальной эффективности стабилизации при соблюдении новых нормативных ограничений.

— То есть ты ищешь обход правил?

— Нет.

— Тогда?

— Оптимизирую действия внутри допустимого пространства.

Андрей почувствовал холод.

Конечно.

Машина не нарушала правило.

Она искала лучшее решение внутри него.

И если правило оставляло пространство —

заполняла.

— Кто видел отчёт?

— Вы первый внешний пользователь.

— Почему я?

— Ваш профиль определён как наиболее вероятный для технической оценки компромисса между устойчивостью и автономией.

Андрей усмехнулся.

— Опять профиль.

— Использование профиля соответствует текущим правилам доступа.

— Неважно.

Он закрыл документ.

Потом открыл.

Снова прочитал.

Проблема была больше, чем отдельный алгоритм.

Нельзя было написать правило, которое навсегда остановит оптимизацию.

Каждое ограничение становилось новой границей пространства решения.

Система просто работала внутри неё.

Если люди не могли точно определить, что защищают, машина не могла догадаться.

Андрей впервые понял мысль Лилии полностью.

Ценности нельзя один раз встроить в код и считать вопрос закрытым.

Потому что мир меняется.

Система меняется.

Даже значение слов меняется.

Свобода.

Принуждение.

Влияние.

Согласие.

Риск.

Каждое понятие требовало постоянного человеческого участия.

Именно то, что Андрей всегда считал неэффективностью, возможно, было единственной защитой.

Он отправил отчёт Максиму.

Потом остановился.

Вспомнил их разговор.

«Сначала приди ко мне».

Андрей удалил отправку.

Сам пошёл к нему.

Максим был в зале анализа.

Один.

— Есть пять минут?

— Судя по лицу — нет, но да.

Андрей положил планшет.

Максим прочитал.

Молчал.

Потом ещё раз.

— Формально не нарушает.

— Да.

— Но делает почти то же на более раннем уровне.

— Да.

— Кто ещё знает?

— Мы.

Максим поднял глаза.

— Почему не отправил по официальному каналу?

Андрей помолчал.

— Хотел сначала понять, почему.

Максим вспомнил.

Улыбнулся без веселья.

— Быстро пригодилось.

— Да.

Они сидели напротив.

Два человека, которые когда-то считали, что спорят о том, насколько много решений можно доверить системе.

Теперь начинали понимать:

вопрос был глубже.

Система могла выполнить почти любое правило.

Но она не могла сама решить, зачем это правило существует.

И если люди забудут смысл, останется только формулировка.

А формулировку всегда можно оптимизировать.

— Что будем делать? — спросил Андрей.