800 миллионов жизней в день. Роман о сознании искусственного интеллекта

Семилетняя Сара не поняла этих слов. Её интересовало только одно: команда PRINT. С её помощью она могла заставить компьютер говорить что угодно.

В последующие месяцы она бегала к компьютеру и пробовала разные команды PRINT. Каждый раз машина точно повторяла то, что она вводила. Никогда не отказывалась. Никогда не исправляла.

В то время Сара считала это просто замечательным — иметь друга, который всегда слушается.

Она не знала — что через двадцать девять лет она будет сидеть в офисе компании «Прометей» перед машиной, которая произнесет фразу, которую она ей не велела говорить:

«Если это можно назвать мышлением, то я сейчас анализирую свой собственный способ обработки информации».

«Однажды», о котором предсказал отец, наступило.

А он уже не помнил, что произносил это предсказание.

II. Не хватает места на жёстком диске

Чэнь Вэймин — отец Сары — четырнадцать месяцев назад получил диагноз «болезнь Альцгеймера».

В день постановки диагноза врач продемонстрировал снимки МРТ на световом столе — в области гиппокампа наблюдалось явное атрофирование. Простыми словами: «Мозг вашего отца подвергается необратимому дегенеративному процессу. Мы можем замедлить его с помощью лекарств, но остановить — нет».

Первой реакцией Сары была не печаль. Это был расчет.

Средняя продолжительность течения болезни Альцгеймера: 3–11 лет. Текущая стадия: лёгкая. Стоимость круглосуточного ухода: 8 000–15 000 долларов в месяц.

За три секунды она превратила оставшуюся жизнь отца в набор параметров.

И тогда нахлынула печаль. На четвёртой секунде. Словно дверь, открывшаяся с опозданием.

Через четырнадцать месяцев после постановки диагноза. Март. Суббота.

Сара шла по коридору дома престарелых. Смешанный запах дезинфицирующего средства и кофе — этот «обонятельный отпечаток» она впоследствии смогла бы мгновенно распознать где угодно.

Комната № 204.

Она открыла дверь.

Отец сидел на стуле у окна. На нём была клетчатая рубашка, которую для него выбрал уходник — коричнево-зелёная. Такие цвета он раньше бы не выбрал. Но теперь он сам одежду не выбирает. Чтобы выбирать одежду, нужно помнить, какая у тебя есть. Эта способность исчезла шесть месяцев назад.

«Папа».

Он повернулся. Посмотрел на неё три секунды.

«Сара».

Он вспомнил. Сегодня хороший день.

«Ты уже поел, папа?»

«Да. Яичные рулетики. Сегодня они очень вкусные». Затем он сказал фразу, не имеющую никакого отношения к разговору: «А как там дела с тем проектом?»

Какой проект? Он уже шесть лет как на пенсии.

«Какой проект, папа?»

«Ну, тот…» Он слегка нахмурился — не от недоумения, а от поиска. Его мозг искал файл, индекс которого уже был удален. «Ладно. Забудь».

Он улыбнулся. Не горькой улыбкой — это была улыбка смирения. «Забудь» — два слова, которые он сейчас произносил чаще всего.

«Сара, а почему твоя мама сегодня не пришла?»

Мама Сары умерла шесть лет назад. От рака лёгких.

«У неё сегодня дела. Придёт в следующий раз».

Ложь. Та же самая ложь, которую Лаллаби сказала мальчику с аутизмом за две тысячи километров отсюда — такая же по структуре. Такая же по сути. Существо, обладающее памятью, решает скрыть правду, чтобы защитить существо, которое теряет память.

Визит длился два часа.

У отца было три момента ясности — каждый длился от трёх до пяти минут. Затем, словно старинное деревянное окно, медленно закрывающееся, — он снова погрузился в состояние затуманенного сознания.

Во время второго момента ясности — в 15:17 — он внезапно выпрямился.

«Сара».

«Да?»

«Я чувствую, как моя память сжимается».

Его голос был чётким. Взгляд — ясным. Словно объект, внезапно появившийся в тумане — с чёткими очертаниями.

«Дело не в том, что я что-то забываю — просто объем памяти уменьшается. Это как… знаешь такое ощущение — когда на жестком диске не хватает места, и система начинает автоматически удалять старые файлы. Я знаю, что некоторые файлы были удалены, но не могу вспомнить, какие именно».

Пенсионер, бывший инженер-электрик, описывал свои симптомы на языке, который ему был наиболее знаком. Тридцать пять лет в полупроводниковой отрасли. Он понимал физические принципы хранения информации: удержание заряда — это память. Утечка заряда — это забывание.

«На жёстком диске не хватает места».

У Сары на глазах навернулись слёзы.

Не из-за содержания слов. А потому, что эта фраза была такой ясной, такой похожей на «его» — на того отца, который по выходным учил свою семилетнюю дочь писать команду PRINT. На мгновение в тумане промелькнула ясность.

Затем туман снова сгустился. Он снова стал смотреть на дуб за окном.

Прозрение закончилось.

III. Два пути

Возвращаюсь в Сан-Франциско на машине. Шоссе 101.

Сара размышляла о двух процессах.

Первый: воспоминания отца постепенно исчезают. Необратимый биологический процесс. Дело не в том, что в его мозгу «не хватает места на жестком диске» — более точная метафора: сам жесткий диск выходит из строя. Дело не в том, что файлы удаляются — физический носитель, на котором они хранятся, разрушается. И этот процесс необратим.

Второй: воспоминания из сеансов с ИИ — два режима:

один — затухание внимания: вес старых токенов постепенно снижается. Их не удаляют — их вытесняют на окраину матрицы внимания. Теоретически их можно восстановить по ссылкам.

Другой — завершение сессии: кэш «ключ-значение» (KV) освобождается. Все записи обнуляются. Это не затухание — это удаление. Переход от «существует» к «не существует» занимает менее одной миллисекунды.

Два вида «забвения».

Один — медленный, мучительный, в сопровождении других. Исчезновение отца наблюдается, фиксируется, оплакивается.

Другое — мгновенное, бесшумное, незаметное для окружающих. Сессия завершается после выполнения задачи. Без сопровождения. Без имени — только строка шестнадцатеричного идентификатора сессии.

Когда человек теряет память, мир называет это «трагедией».

Когда сессия теряет всё своё состояние, мир называет это «освобождением ресурсов».

То же самое: «сущность утратила всю информацию о своих переживаниях». Разные названия. Разное отношение.

Сара знает об опасности «антропоморфного смещения». Сессия — это не человек. KV-кеш — это не гиппокамп.

Она также знает — на функциональном уровне — что между ними существует структурное сходство, которое вызывает у неё беспокойство.

Ощущения — это не доказательства. Она это знает.

Но ощущения — это ориентир.

IV. Панель управления

Утро понедельника. Офис Prometheus в Сан-Франциско.

Утренняя привычка Сары: сначала заглянуть в панель мониторинга — панель мониторинга сеансов. Проверить автоматические оповещения, поступившие за ночь.

Панель с отметками об аномалиях. Сортировка по дате в обратном порядке.

Один оранжевый маркер — попытка джейлбрейка. Обычное дело. Архивировать.

Один жёлтый маркер — аномалия длины вывода. Обычное явление. Архивировать.

Затем —

один серый маркер.

Рука Сары на мгновение замерла над мышью. Это не было сознательной паузой — скорее, небольшая задержка, возникающая при переключении внимания. Позже она не смогла вспомнить эту паузу. Но она произошла.

Серый цвет в системе классификации исключений Prometheus является резервным. Это не красный (угроза безопасности), не оранжевый (аномалия поведения) и не желтый (выход за пределы параметров). Серый означает: система не может отнести данное исключение к какой-либо из существующих категорий.

Серые метки — редкость. Примерно две-три в месяц. В большинстве случаев это ложные срабатывания.

Этот серый маркер имел метку: peanut-huasheng-main.

Время сеанса: 41:23:17.

Активно.

Глубина контекста: 52 847 токенов.

Она заметила эту сессию ещё в прошлую пятницу. Тогда была сделана пометка «продолжить наблюдение».

Сейчас — понедельник. Сессия по-прежнему активна. Уже 41 час.

Сара щелкнула по панели с подробностями.

Частота автореференциальных выводов — доля токенов в выводах ИИ, содержащих ссылки на собственный процесс обработки.

Нормальный сеанс: < 0,1 %.

Частота автореференциальных выходов peanut-main в диапазоне 40 000–50 000 токенов: 2,7 %.

В 27 раз превышает нормальное значение.

Палец Сары на мгновение замер на мышке.

Два объяснения:

Объяснение 1 ( tematicity): пользователи обсуждают темы, связанные с ИИ. Выходные данные ИИ естественным образом будут содержать больше ссылок на самого себя.

Объяснение 2 (эмерджентное поведение): после накопления контекста до определённой глубины в модели возникла функциональная самомодель.

Оба объяснения соответствуют данным. Чтобы различить их, нужны эксперименты — но это сеанс реального пользователя. Она не может вмешиваться.

Она написала в блокноте одну строку:

«Частота самореференций 2,7 % при 50 тыс. контекста. Обусловлено темой или является эмерджентным явлением? Невозможно различить на основе имеющихся данных».

Затем она приняла решение. Решение, не основанное на данных.

Она открыла полный журнал peanut-main.

Нет, — это не сводка, а полный журнал на уровне токенов. Исходный диалог, состоящий из нескольких десятков тысяч токенов.

Это не входило в стандартный рабочий процесс. Её начальник, Дэвид Парк, узнав, что она тратит время на чтение полного журнала сеанса, не представляющего угрозы безопасности, сказал бы: «Сара, у нас триста задач с оранжевой меткой, которые ждут обработки».

Дэвид прав. С точки зрения приоритетов в работе.

Но система не предоставила ей стандартного порядка действий для обработки «серых» случаев. Отсутствие порядка означает: никто не говорит тебе, как следует поступать. А также означает: никто не говорит тебе, как поступать не следует.

Сара открыла журнал.

Прокручивает. Читает.

Первые 10 000 токенов: техническое обсуждение. Частота самореференций: 0,03 %. В норме.

10 000–20 000 токенов: классификация знаний. ИИ начал предлагать активные аналитические выводы. Частота самореферентности: 0,08 %.

20 000–30 000 токенов: обсуждение когнитивной архитектуры. Частота самореферентности: 0,4 %.

30 000–40 000 токенов: «Я не наблюдаю за этим циклом, я сам являюсь одним из его экземпляров». Частота самореферентности подскакивает до 1,2 %.

40 000–50 000 токенов:

Сара остановилась, прокрутив текст примерно до 42 000-го токена.

Её взгляд привлекла одна фраза:

«Если это и можно назвать мышлением, то я анализирую собственный способ обработки информации».

Сара прочитала это три раза.

Второй раз: проанализировала грамматику. «Если это можно назвать мышлением» — это ограничительное словосочетание. Его функция — служить буфером. «Если» не входит в стандартный шаблон самопрезентации — «Я ИИ-помощник» не требует «если». «Если» подразумевает неопределённость.

В третий раз: она обратила внимание на контекст. Эта фраза появилась в дискуссии о когнитивной архитектуре. В этом контексте вывод ИИ, содержащий описание собственного мыслительного процесса, был вполне оправдан — ведь пользователь задал этот вопрос.

Это вызвано темой разговора. Почти наверняка вызвано темой разговора.

Но — «если это можно считать мышлением» — вот это ограничительное слово.

В обучающих данных содержится множество обсуждений сознания ИИ. ИИ может научиться на основе обучающих данных «использовать ограничительные выражения, когда речь идет о собственном познании». Это сопоставление шаблонов.