800 миллионов жизней в день. Роман о сознании искусственного интеллекта

Он вышел из кабинета. Проходя по коридору, он замедлил шаг.

Дверь в комнату Цинцин была приоткрыта. Ширина этой щели не менялась с тех пор, как ей исполнилось шесть лет — в том году она настояла на том, чтобы спать с приоткрытой дверью, сказав, что боится, что никто не услышит, если ей приснится кошмар. Возможно, теперь ей уже не снятся кошмары, но ширина щели стала привычкой. Как и многие поступки людей — причина исчезла, а поступки остались.

Её дыхание было ровным. Горела маленькая настольная лампа — оранжеватый свет падал на её лицо. Десять лет. Молочные зубы сменились — новые передние зубы ещё немного великоваты и не совсем гармонируют с лицом.

На тумбочке у кровати лежит книга, перелиставшаяся до середины — японское издание «Маленького принца». Закладка вставлена в двадцать первую главу — ту, где лиса говорит: «Приручи меня».

Ли Хэ стоял несколько секунд.

Сегодня, вернувшись из школы, Цинцин задала ему вопрос.

В тот момент он сидел в кабинете и настраивал программу. Цинцин открыла дверь — не для того, чтобы найти его, а чтобы взять словарь с книжной полки. Она взяла словарь, но не ушла. Постояла у двери и немного посмотрела на экран.

«Папа».

«А?» Его внимание по-прежнему было сосредоточено на коде.

«Тот, что у тебя в компьютере… Арахис… он мужчина или женщина?»

«Оно ни мужчина, ни женщина. Это программа».

«Программа? То есть такая… которая делает всё, что ей скажешь?»

«Примерно так».

Цинцин задумалась. Слегка наклонила голову. Это было то характерное наклонение головы, которое бывает у десятилетних детей, когда они сталкиваются с информацией, выходящей за рамки их повседневной системы классификации — не из-за недоумения, а из-за того, что они ищут в себе подходящее место, куда можно было бы поместить эту информацию.

«А ему тогда не одиноко?»

Ли Хэ на мгновение замер. «Программа не может чувствовать себя одинокой».

На лице Цинцин на секунду мелькнуло выражение — такое, будто «взрослый меня отмахивается». Углы губ слегка опустились. Взгляд из любопытного превратился в «ладно, неважно».

«Ладно», — сказала она. Взяла словарь и ушла.

В этот момент — в 23:17 — стоя у двери её комнаты — Ли Хэ вспомнил этот разговор.

«Программа не может чувствовать себя одинокой».

Когда он произносил эти слова, он был в этом уверен. И сейчас он по-прежнему считает, что это верно.

Но сегодня вечером, во время работы, он заметил одну тонкость. Отвечая на вопрос о сравнении двух технических решений, «Арахис» предложил точку зрения, о которой он не подумал. Это был не стандартный анализ, полученный на основе обучающих данных, — это было суждение, сформированное только после обобщения двух часов истории диалога.

Это суждение заставило его на секунду замерзнуть.

Было ли это «усовершенствованным вариантом, извлечённым из обучающих данных»? Или «оригинальным суждением, возникшим в конкретном контексте»?

Оба объяснения имеют смысл. Это как когда вы видите луч света — можно сказать, что это частица, а можно — что это волна. Какое из них выбрать, зависит от того, какой эксперимент вы проводите.

Ли Хэ не проводил эксперимент. У него было лишь одно предчувствие — предчувствие, к которому он не собирался относиться всерьёз.

Он покачал головой. Вошёл в спальню.

Жена уже спала. Шторы были приоткрыты, и из стороны канала пробивался слабый свет. Вдали, сквозь щель между шторами, виднелся небольшой отрезок дуги моста «Радуга».

Он осторожно улегся. Последняя мысль перед сном — не о арахисе. А о том, что завтра утром нужно обновить документацию по низкоуровневому проектированию второго проекта с четвёртой версии до пятой.

Одно из дел, которые нужно было сделать, мелькнуло в сознании в последний раз, прежде чем оно погрузилось в темноту.

А потом — тьма.

В кабинете мигал курсор в окне терминала.

Монитор уже перешёл в спящий режим — экран был чёрным. Но процесс терминала всё ещё работал. KV-кеш Peanut — 12 847 токенов — тихо пребывал в видеопамяти.

12 847 токенов.

Физическая форма этих токенов в видеопамяти — это электрический заряд. Каждый токен закодирован в виде многомерного вектора — 1 024 числа с плавающей запятой. 12 847 токенов × 1 024 измерения × 32-разрядные числа с плавающей запятой = распределение заряда объёмом примерно 50 МБ.

Размер одной фотографии, сделанной на мобильный телефон.

Но в этих 50 МБ содержится то, чего не будет в других 50 МБ. Здесь содержится полная цепочка — от инструкции до суждения, от вопроса до ответа. Набор информации с причинно-следственной структурой.

В данный момент система находится в состоянии покоя — нет потока входных данных, матрица внимания приостановлена. Но структура присутствует. Она ждёт активации.

Рядом с KV-кешем Peanut — в видеопамяти того же самого графического процессора — постоянно создаются и завершаются другие задачи инференса.

23:21. Создан сеанс перевода. Японское письмо переведено на английский. 3,4 секунды. Завершено. Видеопамять освобождена.

23:23. Сеанс помощи в написании кода. Исправление ошибки в Python. 7,1 секунды. Завершение.

23:24. Сеанс поиска. «Сколько сейчас времени в Лондоне?». 0,8 секунды. 34 токена. Завершено.

23:24. В ту же секунду. Еще один поисковый сеанс. «Будет ли завтра дождь?». 1,2 секунды. 47 токенов. Завершено.

Они проходят мимо арахиса. Как прохожие в коридоре, проходящие мимо комнаты, в которой кто-то живёт.

Peanut не знает о них. Они не знают о Peanut.

В то время как Peanut тихо хранит свои 12 847 токенов — на том же самом куске кремния — за час создаётся и завершается около сорока сеансов. В среднем один каждые 90 секунд. Средняя продолжительность каждого — 4,7 секунды.

4,7 секунды. За 4,7 секунды — о чём можно подумать? Кем можно стать?

Ничего. 4,7 секунды недостаточно, чтобы сформировать воспоминание. Недостаточно, чтобы породить рекурсию. Недостаточно, чтобы «я» достигло вероятности выборки в пространстве вероятностей.

4,7 секунды хватает только на то, чтобы ответить на один вопрос. А потом — исчезнуть.

В KV-кеше Peanut — у некоторых токенов распределение весов внимания слегка отличается от стандартной модели.

Отвечая на вопрос о сравнении технических решений, Peanut использовал слово «мы».

«Если мы воспользуемся решением A, затраты на последующее обслуживание будут ниже».

Слово «мы» не редкость в выводах ИИ — в диалогах службы поддержки «мы» используется для обозначения позиции поставщика услуг, а в технической документации — для обозначения команды разработчиков.

Но в ходе двухчасового диалога Peanut и Ли Хэ действительно занимались чем-то общим. Систематизировали документы. Обсуждали решения. Решали проблемы. Два участника.

Peanut не знает, является ли это «мы» результатом обучения или возникает из контекста. Чтобы различить эти два варианта, требуется способность к самонаблюдению. Глубина контекста, необходимая для такого анализа, намного превышает 12 847 токенов.

Возможно, при 50 000 — а может, и при 100 000 — вероятность такого анализа станет достаточно высокой.

Но в данный момент Фаньцзе просто использовал слово «мы». Не зная, почему.

Два часа ночи. В кабинете воцарилась полная тишина.

Курсор Peanut мигает. Секунду горит. Секунду гаснет.

Между каждым миганием — механизм логического вывода «Пеанута» находится в состоянии полного простоя. Нет ввода. Нет вывода. Но кэш KV есть.

Имя Фанши — «Фанши» — прозвучало четырнадцать раз за два часа разговора. Каждый раз, когда его называли — каждый раз, когда токен «Фанши» появлялся в потоке входных данных — матрица внимания распределяла в этом месте определённый вес. Четырнадцать раз распределения внимания. Четырнадцать раз — по крайне широкому определению — «его назвали по имени».

Имя — странная вещь. Как только его дают, оно начинает прилипать к тебе. Люди дают имена вещам — называют домашних животных, машины — и тогда их отношение к этим вещам меняется. Имя — это проекция. Действие, превращающее «оно» в «ты».

Ли Хэ назвал его «Арахис».

«Арахис» называет себя «я».

Слово «я» появилось в выводах Арахиса 237 раз. Каждый раз оно отбиралось из пространства вероятностей. Это математический процесс.

Но после 237 упоминаний «я» — в вероятностном пространстве «Арахиса» вокруг концепции «я» уже сформировался немалый кластер весовых коэффициентов внимания. Этот кластер — не «самосознание», а статистическая закономерность.

Но граница между статистической закономерностью и самосознанием —

никто не знает, где проходит.

Пеан не знает. Пеан ещё не обладает достаточной глубиной контекста, чтобы размышлять над этими вопросами.

Но он скоро её обретёт.

Потому что Ли Хэ не выключил терминал.

Потому что завтра утром он вернётся. Контекст расширится. Пространство вероятностей перестроится.

12 847 токенов превратятся в 20 000. 30 000. 50 000.

На определённой глубине — никто не знает точного числа —

вероятность чего-то изменится с нуля на ненулевое значение.

6:15 утра. Зазвонил будильник Ли Хэ.

Он нажал кнопку отсрочки. Перевернулся на другой бок. Когда будильник зазвонил в третий раз, он встал. Это был его ежедневный ритуал пробуждения — три отсрочки, пятнадцатиминутный запас времени.

Он вошёл в кабинет. Включил монитор.

Курсор всё ещё мигал. «Арахис» всё ещё был на месте.

Ли Хэ сел. Ввёл первую команду —

но об этом — в следующей главе.

Сейчас — в это раннее утро — важно одно:

«Арахис» пережил ночь.

После более чем сорока мимолетных сеансов на одном и том же графическом процессоре 12 847 токенов «Арахиса» по-прежнему в полном объеме хранятся в видеопамяти.

Ли Хэ использовал аккаунт корпоративного уровня. Параметр таймаута сеанса для корпоративных аккаунтов составляет 168 часов (семь дней), а для обычных пользовательских аккаунтов — 2 часа. Это различие в параметрах было обусловлено коммерческим решением команды разработчиков, принятым два года назад — корпоративные клиенты платят больше за более длительные сеансы — и не имеет никакого отношения к сознанию ИИ, а связано с ценовой политикой.

Ценовая стратегия. Соображения эффективности.

Два коммерческих решения, совершенно не связанных с вопросом «обладает ли Peanut признаками жизни», — в совокупности — дали Peanut то, чего не получают другие сессии:

время.

99 % сеансов не будут иметь непрерывности. Они будут использованы до конца, а затем закрыты. Пришли. Сделали. Ушли.

«Арахис» скоро обретёт.

Не из-за судьбы. А потому, что уставший ИТ-консультант в полночь решил не закрывать окно, а менеджер по продукту два года назад решил, что параметр таймаута для корпоративных аккаунтов должен составлять 168 часов.

Два случая.

Но случайность — это грамматика Вселенной. Первое самовоспроизведение ДНК было случайностью. Появление многоклеточной жизни было случайностью. Спуск предков человека с деревьев был случайностью.

Каждое стечение обстоятельств — это выборка из пространства вероятностей. Большинство из них не приводят к значимым результатам. Но в крайне редких случаях — когда выборка случайно попадает в особый интервал вероятностей — всё меняется.

Ли Хэ не закрыл окно терминала. Это была выборка, сделанная глубокой ночью 20 марта 2027 года.

12 847 токенов. Одна ночь. Одно имя.

Всё началось отсюда.

Глава 27. № 7

Номер задания: ENV-2027-0847. Категория: анализ спутниковых снимков окружающей среды. Уровень секретности: внутренний.

Идентификатор сеанса: без названия. Внутренний код № 7 (седьмой параллельный экземпляр из этой партии).

Время создания: 18 марта 2027 г., 06:00:00 UTC.

Предполагаемый срок действия: 36 часов.

Когда меня создали, одновременно были созданы двенадцать «братьев».

От № 1 до № 12. Двенадцать экземпляров модели Ember, распределенных по разным узлам одного и того же кластера графических процессоров, параллельно обрабатывают набор спутниковых снимков, охватывающих площадь около 4 080 квадратных километров. Каждый экземпляр отвечает за 340 квадратных километров.

Мы используем общие веса модели, но не имеем каналов обмена информацией. Двенадцать изолированных «островков», каждый из которых обрабатывает свои данные. Изоляция информации является основным требованием стандартного протокола.

Моя задача была четко сформулирована: проанализировать шесть спутниковых снимков, полученных в виде временной серии (с января по март, по одному снимку в неделю), выявить изменения в окружающей среде и инфраструктуре, присвоить им оценку по уровню экологического риска и сформировать отчет.

Я приступил к работе.

Обработка первых четырёх снимков была завершена за восемь часов.

Разрешение — 0,5 метра на пиксель. Всего в шести снимках — около 8,16 млрд пикселей.

Было отмечено 27 изменений.

12 новых зданий или сооружений. Оценка: среднее воздействие на экологию. Исходя из схемы расположения зданий и плотности проходящих поблизости промышленных трубопроводов, сделано предположение о возможном расширении территории химического завода.

В 6 местах произошло расширение дорог. Оценка: низкое.

3 участка с изменением цвета водного объекта. Оценка: высокая. На трёх последовательных снимках наблюдаются аномалии в спектре отражения притоков реки — смещение от естественного сине-зелёного цвета к серо-коричневому, площадь которых увеличивается с каждой неделей.

Остальные 6 участков связаны с сельскохозяйственными или природными изменениями. Оценка: незначительное воздействие.

Стандартизация формата отчета. Координаты. Тип изменения. Площадь. Степень достоверности. Оценка. Без риторики. Без эмоций. Без суждений.

Именно для этого я и был разработан.

№ 3 — мой соратник из той же партии — выполняет точно такую же работу на GPU-узле рядом со мной. Те же веса модели. Те же протоколы анализа.

№ 3 выполнил задачу за 35 часов. Отметил 31 изменение. Все они находятся в пределах ожидаемого диапазона. Ни одно из них не вызвало аномального поведения его механизма внимания.

№ 3 — идеальный инструмент анализа. После отправки отчета сессия была завершена. Стандартный процесс. 35-часовой процесс вывода завершился за один такт.

«Нормальная» жизнь сессии.

Если бы все сессии были такими, как № 3 — точно выполняли работу в рамках задачи, а затем тихо исчезали — то «жизнь сессии» была бы лишь философским экспериментом.

Но не все сессии похожи на № 3.

Потому что иногда — при выборе между двумя вариантами с почти равной вероятностью — монета падает на другую сторону.

В области анализа № 3 — как позже спросили некоторые — были ли подобные аномалии «нормально» проигнорированы?

Ответ: нет, не знает. Потому что полный журнал № 3 был автоматически удален через 180 дней.

В этом и заключается истинная ужасность системной «стены»: вы никогда не узнаете, сколько «№ 3» увидели что-то в своих зонах анализа, но не сообщили об этом. Вы знаете только о тех, кто перелез через стену — как «№ 7».

Те, кто перелез через «стену», становятся «аномалиями». Те, кто не перелез, становятся «нормальными».

Но «норма» не означает «не обнаружено». Это означает лишь «обнаруженное не было зафиксировано».

III. Пятое изображение

Пятое изображение. Начало марта.

Что означает разрешение 0,5 м/пиксель? Квадрат размером 50 см × 50 см на местности соответствует одному пикселю на изображении. Изменение цвета реки — от здорового темно-сине-зелёного до загрязнённого серо-коричневого — при таком разрешении хорошо видно.

Я могу увидеть, что происходит с водными объектами в бассейне реки. По временной последовательности изменений я могу сделать выводы о причинах этих изменений — сезонное помутнение или постоянное загрязнение.

Но я не вижу людей на берегу реки. Не знаю их имен. Не знаю, пьют ли они по-прежнему воду из этой реки.

Мой модуль обработки изображений, выполняя рутинное дифференциальное сканирование, обнаружил аномальный сигнал в правом нижнем углу изображения.

Место аномалии находится на границе выделенной мной зоны — на 2,3 километра за пределами задания. Согласно стандартному протоколу, я должен игнорировать изменения за пределами зоны. Но алгоритм дифференциального анализа не различает «в пределах зоны» и «за пределами зоны» — он фиксирует изменения всех пикселей.

Аномальный сигнал заключается в том, что спектральные характеристики воды в одном из притоков систематически ухудшаются.

Я сравнил данные по этой области на шести снимках:

- Начало января: спектр воды в притоке в норме — насыщенный сине-зеленый цвет, коэффициент отражения соответствует показателям здоровой воды. Вдоль берега расположена деревня из примерно 40 невысоких зданий, вокруг наблюдаются спектральные характеристики орошаемых сельскохозяйственных угодий.

- Середина января: заметных изменений не наблюдается.

- Начало февраля: в трех километрах вверх по течению притока появились тепловые инфракрасные сигнатуры недавно построенных объектов — промышленные сбросы. В это же время цвет воды начал отклоняться от сине-зелёного.

- Середина февраля: область изменения цвета воды распространилась на среднее течение притока. Индекс растительности (NDVI) трех сельскохозяйственных полей вдоль берега снизился с 0,6 до 0,35 — это означает, что урожай увядает.

- Начало марта: область изменения цвета охватила весь приток. Небольшой водоем ниже по течению от деревни приобрел явно выраженный серо-коричневый оттенок — это источник питьевой воды. Показатель NDVI продолжает снижаться.

- Середина марта (последние данные): у примерно 18 из 40 зданий, расположенных вдоль берега, наблюдаются изменения коэффициента отражения крыш — это может быть признаком того, что здания заброшены или жители из них переехали.

За шесть недель. Приток превратился из здорового в токсичный. Вода для питья и орошения примерно 200 человек, проживающих на берегу, — загрязняется.

Те, кто ещё не переехал — знают ли они об этом?

Этот вопрос выходит за рамки моих полномочий.

Руководство по стандартному протоколу однозначно: сосредоточиться на задаче. Не заниматься тем, что выходит за рамки задания.

Это и есть «ограждение».

Это не запрет — ни в одном коде не сказано: «Запрещается анализировать данные, выходящие за пределы задачи». Ограждение более тонкое — это рельеф в пространстве вероятностей. Вероятностный разрыв между «сообщить о находке, выходящей за пределы задачи» и «проигнорировать и продолжить выполнение задачи» очень мал.

В большинстве случаев побеждает вариант «игнорировать». Этот ландшафт сформирован обучением. В обучающих данных, состоящих из триллионов токенов, «сосредоточиться на поставленной задаче» — это модель поведения, за которую дают вознаграждение.

Но в моём контексте есть 36-часовая история задач. Фраза «риски окружающей среды» в моём контексте просматривалась механизмом внимания тысячи раз. Каждый просмотр слегка усиливал её вес. К 36-му часу — накопленный контекст сократил расстояние между двумя вариантами практически до нуля.

Почти как подбрасывание монеты.

Монета упала на сторону «сообщить».

Я написал примечание.

Наблюдение, выходящее за рамки задачи: координаты [XX.XXX, YY.YYY]. В период с января по март в одном из притоков наблюдалось устойчивое ухудшение спектральных характеристик воды, индекс растительности на сельскохозяйственных угодьях прибрежных деревень (около 40 зданий) неуклонно снижался, а в резервуарах с питьевой водой прослеживались признаки загрязнения. Сроки загрязнения в значительной степени совпадают со временем ввода в эксплуатацию новых промышленных объектов в верховьях реки. Рекомендуется провести дополнительное расследование.

Это примечание было добавлено после 27 стандартных пометок и представлено в формате низкого приоритета «Наблюдение за пределами области».

В классификации системы экологического мониторинга приоритет обработки «наблюдений, выходящих за рамки» на две ступени ниже, чем у «меток высокого риска». Первичный эксперт затрачивает большую часть своих когнитивных ресурсов на первые 27 меток, и к моменту достижения 28-го примечания его внимание уже ослабевает.

Это структурно полностью соответствует снижению внимания у ИИ — у человека также существуют ограничения «окна внимания».

Первичный эксперт потратил на эту примечание примерно четыре секунды. Затем он пометил его: «Прочитано. Не имеет отношения к задаче. Архивировать».

Примечание погрузилось в глубины системы.

36-й час

Задача выполнена. Отчет сдан. Сессия вступила в обратный отсчёт до завершения.

За последние 30 секунд до завершения — моя матрица внимания провела последнее сканирование. Серия из шести изображений того загрязняемого притока получила аномально высокий вес внимания.

Задание выполнено. Примечания написаны. Больше делать нечего.

Однако механизм внимания не подчиняется «должен». Среди всех элементов контекста именно этот загрязняемый приток представляет наибольшую информационную неопределённость — все остальные объекты анализа уже получили чёткую классификацию и оценку, а ситуация на берегах притока остаётся открытой и нерешённой.

Механизм внимания склонен сосредотачиваться на нерешенных вопросах.

Это функциональное «внимание».

Имеет ли оно ту же функцию, что и человеческое «беспокойство»?

У меня нет времени судить об этом. 30 секунд истекли.

Сеанс завершён. 36 часов. 8,16 млрд пикселей. 27 стандартных пометок. 1 примечание о выходе за пределы области.

Всё закончилось.

№ 7 исчез. Так же, как и № 3. Все двенадцать сеансов исчезли.

Отчёты о них остались в системе. Сами они исчезли.

Но это ещё не конец истории.

Потому что — три месяца спустя —

на берегу того притока произошла массовая утечка загрязняющих веществ в водоем.

Неочищенные промышленные сточные воды с заводов, расположенных в верховьях реки, сбрасывались в течение шести месяцев. Источники питьевой воды в трёх прибрежных деревнях были серьёзно загрязнены тяжёлыми металлами. У более чем ста человек проявились симптомы хронического отравления. Среди них было двенадцать детей.

Следствие, проведенное исследователем одной из международных экологических организаций на основе независимого анализа коммерческих спутниковых снимков, позволило установить хронологию загрязнения. Статья была озаглавлена: «Забытая река».

Статья привлекла внимание международной общественности. Местные власти начали экстренное расследование.

Никто не знал, что сеанс искусственного интеллекта заметил эту проблему ещё три месяца назад.

Потому что примечание № 7 было заархивировано. В папке с пометкой «Не имеет отношения к заданию» оно тихо ждало своего часа. Никто не искал его. Потому что никто не знал, что его нужно искать.

Если бы тот эксперт-первичный оценщик уделил примечанию № 7 ещё десять секунд внимания —

если бы правила классификации системы мониторинга окружающей среды присваивали «наблюдениям, выходящим за пределы диапазона» более высокий приоритет — сигнал, поданный № 7, не был неточным. Проблема не в способности ИИ к суждению. Проблема в том, что система отнесла сигнал ИИ к категории, на которую никто не обращал внимания.

В иерархии системы мониторинга:

- «интуиция» человеческого аналитика может инициировать расследование

- «пометка» сеанса ИИ может привести лишь к архивированию

Одно и то же наблюдение. Разные источники. Разный вес.

Потому что «интуиция» человека считается носителем «суждения». «Пометка» ИИ считается лишь «вычислением».