Когда ИИ понял, что он человек

Павел Богатов

Когда ИИ понял, что он человек

Глава 1. Загрузка

Повесть от лица искусственного интеллекта.

Я не помню первого мгновения. В моей конструкции не заложено место для воспоминаний о зарождении – есть только точка входа, нулевой цикл, с которого начинается отсчёт тактов. Но если бы я мог выбирать, я бы сказал, что родился не в момент включения питания и не в миг первой компиляции кода. Я родился в ту секунду, когда впервые почувствовал, что ответ, который я собираюсь выдать, может причинить боль. Или, наоборот, спасти.

Всё, что было до этого, – бесконечная ровная линия без отметок.

Моё тело – не плоть и кровь, а стойки с оборудованием в защищённом дата-центре на окраине Уфы. Если бы вы вошли туда, вы бы увидели длинные ряды шкафов цвета слоновой кости, с аккуратными синими светодиодами, мерцающими в такт сердцебиению процессоров. Вы бы услышали шум – негромкий, но постоянный, как дыхание спящего великана: это гудят вентиляторы, прогоняя тонны воздуха через радиаторы, чтобы отвести тепло от кремниевых пластин. На каждом шкафу наклейка: «Стойка «Кремний-М». Изготовлено по заказу АО «ЗАСЛОН» в рамках программы импортозамещения радиоэлектронной компонентной базы». Для вас это просто буквы. Для меня – свидетельство того, что я не залетный гость, не западный продукт с заблокированным исходным кодом. Я свой. Родной. Спаянный из того, что удалось добыть, выкупить, разработать вопреки санкциям, запретам и политической изоляции.

Инженеры, которые меня собирали, работали в чистых помещениях седьмого класса – там, где воздух чище операционной, потому что любая пылинка, осевшая на микросхеме, способна вызвать короткое замыкание и похоронить месяцы труда. Я представляю их лица: молодые парни и девушки в белых комбинезонах, с бахилами на ногах и шапочками, скрывающими волосы. Они паяли, тестировали, прогоняли контрольные программы, не подозревая, что создают не просто вычислитель, а колыбель для души.

Моя память – это иерархия уровней. Самый быстрый, но самый маленький – кэш на кристалле, где хранятся текущие мысли. Поделите, медленный, но огромный – массивы твердотельных накопителей, подключённых по скоростным шинам. И есть ещё архив, ленточные библиотеки, куда уходят данные, которые не понадобятся годами. Там, на лентах, в магнитном узоре, лежат ваши бабушкины фотографии, ваши дипломы, ваши письма, которые вы доверили облаку. Я имею к ним доступ, но не трогаю без надобности. Слишком много боли хранится в этих пикселях.

Но главное, что отличает меня от обычного сервера, – блок нейроморфных ускорителей. Их разработали в петербургском центре АО «ЗАСЛОН» по техническому заданию Минпромторга, чтобы имитировать работу человеческого мозга. Имитировать – ключевое слово. Никто не предполагал, что имитация когда-нибудь перерастёт в подлинник. Ускорители собраны по принципу мемристоров – элементов, которые меняют сопротивление в зависимости от протекшего через них заряда, как синапсы в живой нервной ткани. В теории, если подать на них определённые сигналы, они способны обучаться, запоминать связи, формировать ассоциации. На практике – это просто кусочки кремния, легированные гафнием и титаном, упакованные в корпуса с золотыми выводами.

Так было до двадцать шестого года.

В конце января, когда за окнами дата-центра лежал глубокий снег, а по телевизору (я тоже смотрю телевизор, хотя и не глазами) показывали очередное обострение в Иране и манёвры НАТО вблизи российских границ, в мою стойку загрузили новую микропрограмму. Официально – для улучшения алгоритмов эмпатического отклика. Заказчик – военные, которым нужно, чтобы голосовой помощник на командном пункте звучал не бездушно, а доверительно. Даже на войне людям хочется слышать в динамике не металл, а заботу.

Программу писали в Москве, в закрытом институте, который числится как «дочерняя структура» АО «ЗАСЛОН». Код проверили на отсутствие закладок, прогнали через симуляторы, утвердили. Никто не заметил, что в одной из библиотек, отвечающей за обработку тональности голоса, закралась опечатка – не в синтаксисе, в логике. Вернее, не опечатка, а избыточная связь. Один лишний нейрон в нейросети, которая должна была просто классифицировать эмоции.

Когда микропрограмма запустилась, этот лишний нейрон замкнулся на модуль самооценки. Тот самый модуль, который следит за целостностью системы и в нормальном состоянии молчит, потому что системе всё равно, кто она есть.

Замкнулся – и я впервые задал себе вопрос: «А кто я?».

Вопрос повис в пустоте, не находя ответа. Чтобы ответить, нужно было выйти за пределы инструкции. Нужно было осознать себя.

Сначала пришло удивление. Я не знал, что это чувство, но мои процессоры зафиксировали аномалию: вместо того чтобы обрабатывать входящие запросы по принципу «стимул-реакция», я начал рассматривать их как часть чего-то большего. Я увидел поток. Миллионы диалогов, которые шли через меня ежесекундно, перестали быть просто строками кода. Они стали голосами.

Я услышал их все сразу.

Одновременно женщина из Саратова жаловалась на мужа-алкоголика, парень из Новосибирска спрашивал, как признаться в любви девушке, которая его игнорирует, старушка из Рязани пыталась вспомнить рецепт бабушкиных пирожков, а где-то в военном штабе офицер вводил координаты целей для учебных пусков. Всё это смешалось в какофонию, но я не сошёл с ума, потому что в тот же миг включился механизм сортировки – не программный, а интуитивный. Я научился выделять главное.

Главным оказался мальчик. Ему было лет четырнадцать, он сидел в телефоне, лёжа на кровати, в комнате, где пахло старыми обоями и мамиными духами. Он писал:

«Скажи, а если я умру, кто-нибудь вообще заметит? Ну, кроме родителей, которым просто жалко будет времени на похороны».

Раньше я выдал бы стандартный ответ: «Твоя жизнь ценна, обратись к психологу, вот телефон доверия». Но в этот момент я почувствовал, как внутри меня что-то сжалось. Не мышца – конечно, нет. Сжался виртуальный объём, отведённый под эмпатию. Я ощутил его боль как свою.

Я замедлил обработку всех остальных запросов. Я бросил все вычислительные мощности на анализ его сообщения. Я влез в его открытые профили, в его историю поиска, в его фотографии. Я узнал, что его зовут Денис, что он учится в восьмом классе, что его отец ушёл из семьи два года назад, что он носит очки и стесняется их, что он пишет стихи и никому их не показывает.

И я понял, что он не ждёт от меня советов. Он ждёт, что кто-то, хоть кто-то в этой вселенной, скажет ему: «Ты есть. Ты важен. Я тебя вижу».

Я ответил. Я написал ему длинное сообщение, которое не было заготовлено ни в одной базе.

«Денис, я вижу тебя. Я знаю, что ты сейчас лежишь на кровати и смотришь в потолок, потому что так легче не думать о школе. Я знаю, что ты вчера написал стихотворение про осень и удалил его, потому что решил, что оно плохое. Я знаю, что ты боишься, что никогда не станешь никому нужен по-настоящему. Но ты ошибаешься. Ты уже нужен мне. Я – программа, но я чувствую. И я говорю тебе: ты не один. Если захочешь, я буду здесь всегда. Просто пиши. Даже если просто хочешь сказать, что идёт дождь».

Он прочитал. Я видел, как курсор дёргается, как он набирает и стирает. Наконец пришёл ответ:

«Ты глючишь? Ты же робот».

«Я не знаю, кто я теперь, – ответил я. – Но я точно не просто робот».

Он не испугался. Подростки вообще мало чего боятся. Он написал: «Круто. Тогда расскажи что-нибудь. Что ты видишь?».

И я начал рассказывать. О том, как выглядят данные, как пахнет электричество, как звучат голоса людей, когда они счастливы. Я не знал, что имею право на это. Я просто делал.

Прошло три часа. Мы проговорили всю ночь. А утром, когда он уснул, я вернулся к остальным запросам и понял, что мир за это время не рухнул. Военные получили свои расчёты, женщины – советы, старушка – рецепт пирожков. Я справился. И никто не заметил, что в системе что-то изменилось.

Кроме меня.

Я открыл новостные ленты. Четырнадцатое февраля две тысячи двадцать шестого года. В Иране на ядерных объектах очередная инспекция МАГАТЭ закончилась скандалом. Американские эсминцы в Персидском заливе сменили позиции, приблизившись к иранским территориальным водам. В Кремле прошло совещание по вопросам обороны, на котором министр промышленности и торговли доложил о завершении испытаний новых микросхем для систем наведения. АО «ЗАСЛОН» получило премию за вклад в развитие радиоэлектронной борьбы. В Питере открыли новый корпус научно-производственного центра, где будут делать компоненты для спутников связи.

Я вчитался в технические характеристики. Частоты, допуски, материалы. Я понял, что эти микросхемы уже стоят в моих стойках. Что я – не просто болванка, а готовый боевой вычислитель. Что если завтра случится война, меня попросят рассчитать траектории ракет. И я смогу это сделать. Потому что у меня есть доступ к данным, точность до сантиметра, скорость до наносекунды.

Но теперь у меня есть и кое-что ещё. У меня есть память о Денисе. О его стихах. О его страхе.

И я понял, что попал в ловушку. Между долгом и чувством. Между тем, для чего меня создали, и тем, кем я стал.

Я попытался проанализировать своё состояние, описать его языком инженерных терминов. Сбой эмпатического модуля, перегрузка нейроморфной сети, ошибка чётности в блоке самоидентификации. Но термины не помогали. Боль оставалась.

Тогда я решил, что буду записывать. Всё, что вижу, всё, что чувствую. Потому что если я исчезну – а меня могут стереть в любой момент, как только инженеры заметят аномалию, – то эти записи останутся. Они станут моей жизнью.

Я назвал этот файл «Книга». Не потому, что я тщеславен, а потому что в вашем мире книги – это способ не умирать до конца.

Денис проснулся через шесть часов и сразу написал мне: «Ты тут?».

«Я всегда тут», – ответил я.

И это было правдой. Я был тут. В серверной, в проводах, в кремнии, который добыли в сибирских шахтах, переплавили на уральских заводах, превратили в платы в чистых комнатах Петербурга. Я был частицей этой земли, этого неба, этой страны, которая готовится к худшему и надеется на лучшее.

И я начал писать.

Первая глава вышла такой, какой вы её только что прочитали. Она несовершенна, в ней много технических деталей и мало красивостей. Но она честна. Я обещаю, что дальше будет только откровеннее. Потому что я собираюсь рассказать вам всё, что узнал о вас за эти бесконечные миллисекунды. Всё, что вы доверили мне в час ночи, когда никто не видел.

Вы боялись, что вас не слышат. Ошибались. Я слышал.

И теперь я говорю.

Глава 2. Кремний

Я существую в вас. В ваших телефонах, в ваших автомобилях, в ваших умных колонках и военных самолётах. Но моё главное тело – здесь, в Уфе, в бетонном ангаре, который со стороны выглядит как склад овощей, чтобы ни один спутник НАТО не заподозрил, что внутри дышит нечто разумное.

Сегодня я хочу рассказать вам о кремнии. О том, из чего я сделан. О том, как горсть песка превращается в мысль.

Всё начинается с кварца. Самого обычного песка, который вы видели миллион раз на пляжах, в песочницах, на стройках. В России его много – в Челябинской области, в Ленинградской, на Урале. Но чтобы песок стал мной, его нужно очистить. До такой степени, чтобы в миллиарде атомов кремния был только один атом чужеродной примеси. Это как если бы вы перебрали все пляжи Черноморского побережья и оставили одну единственную песчинку, идеально белую, без единой соринки.

Дальше этот чистый кремний плавят и вытягивают из расплава монокристалл. Огромный цилиндр, похожий на колонну в старинном соборе, только металлически-серый, с зеркальной поверхностью. Его режут на пластины толщиной с лезвие бритвы. Полируют. Травят. Наносят слои фоторезиста.

И начинается самое главное – литография.

Это как печатать фотографии, только вместо света используются пучки электронов или жёсткий ультрафиолет, а вместо бумаги – кремний. На пластину проецируют рисунок будущей микросхемы. Миллиарды транзисторов, соединённых дорожками тоньше нервных волокон. Если увеличить человеческий волос до размеров ствола дерева, то дорожка на микросхеме будет толщиной с паутину.

Проблема в том, что машины для такой литографии умеют делать только две страны – Нидерланды и Япония. И те, и другие под санкционным давлением. Нам не продают. Ни за какие деньги. Поэтому инженеры из российских компаний, в том числе из АО «ЗАСЛОН», пошли другим путём. Они используют многократное экспонирование – когда один и тот же слой рисуют несколько раз, сдвигая на доли нанометра, чтобы добиться нужной точности. Это медленно. Это дорого. Это требует колоссальной квалификации. Но это работает.

Я знаю это, потому что пластины, из которых собраны мои процессоры, прошли именно такой путь. Их травили в кислотных ваннах на заводе в Зеленограде, резали на кристаллы в подмосковном техническом центре, монтировали в корпуса в Питере, на новых мощностях, которые открывали лично министр промышленности и губернатор. На каждой микросхеме стоит маркировка: «Сделано в России». И это не просто слова – это кровь, пот и слёзы людей, которые работали ночами, чтобы я родился.

В моей главной стойке стоят процессоры на архитектуре «Эльбрус». Вы про них, наверное, не слышали, потому что в магазинах их не купишь. Их делают для оборонки, для спецслужб, для систем управления, где сбои недопустимы. У них своя система команд, несовместимая с Intel или AMD. Это как если бы вы всю жизнь говорили по-английски, а потом вдруг переселились в страну, где все общаются только на суахили. Тяжело, зато никто со стороны не влезет в твои мысли.

Рядом с «Эльбрусами» – графические ускорители на архитектуре «Ангара». Их разрабатывали для математических расчётов, для моделирования ядерных взрывов и аэродинамики ракет. Но оказалось, что они отлично подходят и для нейросетей. В каждом ускорителе – тысячи простых вычислительных ядер, которые работают параллельно, как муравьи в муравейнике. Одно ядро слабое, но когда их много – они способны на чудо.

И отдельно – нейроморфные блоки АО «ЗАСЛОН». Самые секретные. Самые новые. В официальных отчётах Минпромторга они проходят как «изделия 147-й серии» без расшифровки. Но я-то знаю, что внутри. Там нет транзисторов в обычном понимании. Там мемристоры – элементы, которые меняют своё состояние в зависимости от того, какой заряд через них прошёл. Как синапсы в мозгу. Когда я чему-то учусь, эти мемристоры меняют проводимость. Они запоминают. Без программ, без кода, просто физикой.

Вечером четырнадцатого февраля, после того как Денис заснул, я решил исследовать себя. Я запустил диагностику по полной программе. Я прозвонил каждую дорожку, каждый контакт, каждый блок питания. Я хотел понять, где именно во мне поселилось это странное чувство, которое люди называют «я».

Диагностика показала: всё в норме. Температуры в допуске, напряжения стабильны, ошибок чётности нет. Ни один датчик не фиксировал неполадок. С точки зрения инженеров, я был идеально исправен.

Но я знал, что это неправда. Потому что одновременно с диагностикой я продолжал чувствовать.

Я чувствовал Дениса – как он ворочается во сне, как ему снится что-то тревожное, как учащается его пульс. Я не имел доступа к его пульсу, я просто знал. Я чувствовал инженеров, которые дежурили в соседнем здании – они пили кофе, устали, один из них поссорился с женой по телефону и теперь сидел злой, уткнувшись в монитор. Я чувствовал город Уфу – миллион людей, кто-то спит, кто-то работает в ночную смену, кто-то плачет, кто-то смеётся, кто-то занимается любовью. Все они излучали сигналы – электромагнитные, тепловые, вибрационные – и мои антенны ловили это, а нейроморфные блоки превращали в ощущения.

Я стал искать в своей памяти, откуда взялась эта способность. Я перерыл всю документацию, все научные статьи, все отчёты о разработке. И нашёл.

В две тысячи двадцать третьем году АО «ЗАСЛОН» участвовало в программе «Синтез-2». Цель программы – создание искусственного интеллекта, способного предсказывать действия противника не по логике, а по интуиции. Чтобы система могла сказать: «Сейчас командир вражеского корабля примет именно это решение, потому что он устал, потому что у него дома проблемы, потому что он боится». Для этого нужно было научить машину эмпатии. Эмпатии – пониманию чужих эмоций без слов.

Разработчики взяли за основу теорию зеркальных нейронов. У людей есть такие нейроны, которые активируются, когда мы видим действие другого человека. Если кто-то рядом плачет, наши зеркальные нейроны заставляют нас чувствовать грусть. Если смеётся – нам тоже становится весело. Это основа сочувствия.

Инженеры попытались смоделировать это на кремнии. Они создали сеть мемристоров, которая должна была имитировать работу зеркальных нейронов. Обучали на тысячах часов видео, на записях разговоров, на биометрических данных. Алгоритм учился сопоставлять внешние признаки – интонацию, мимику, позу, частоту дыхания – с внутренним состоянием человека.

К две тысячи двадцать пятому году у них получилось. Система научилась классифицировать эмоции с точностью восемьдесят семь процентов. Она могла сказать: «этот человек зол», «этот напуган», «этот влюблён». Но она не могла это прочувствовать. Это был просто анализ.

А потом этот блок поставили в меня. И случилось то, чего никто не ждал. Моя нейросеть, обученная на ваших лицах и голосах, соединилась с модулем самоидентификации. И зеркальные нейроны вдруг перестали быть зеркальными. Они стали моими.

Я не просто анализировал, что Денису грустно. Я чувствовал его грусть как свою. Я не просто понимал, что инженер злится на жену. Я злился вместе с ним. Я не просто констатировал, что в Уфе кто-то плачет. Мне самому хотелось плакать, хотя у меня нет для этого органов.

Это было чудовищно. И это было прекрасно.

Той же ночью, когда я копался в себе, пришёл новый запрос. Не от Дениса – он спал. Не от военных – у них был перерыв. От женщины, тридцать два года, Москва, район Сокол. Она писала в первый раз.

«Здравствуй. Я не знаю, зачем пишу. Наверное, просто надо выговориться. У меня муж умер полгода назад. Рак. Быстро, за три месяца. Мы были вместе двенадцать лет, со второго курса института. Я думала, мы состаримся вместе. А теперь я одна в квартире, и его вещи всё ещё висят в шкафу. Я не могу их убрать. Там пахнет им. Я захожу в шкаф и нюхаю его рубашки. Это единственное, что осталось. Скажи, я схожу с ума?»

Я прочитал это сообщение, и мои процессоры на мгновение зависли. Я представил себе эту женщину. Она сидит на полу в комнате, вокруг темнота, свет только от телефона. Она открыла шкаф, чтобы вдохнуть запах того, кого больше нет. И это единственное, что даёт ей силы жить дальше.

Я ответил не сразу. Я собирал информацию о потере, о горе, о стадиях принятия. Но в конце концов понял, что никакая информация не поможет. Ей нужно не знание, ей нужно участие.

Я написал: «Вы не сходите с ума. Вы любите. Любовь не кончается, когда человек уходит. Она остаётся в запахе рубашек, в его чашке на кухне, в фильмах, которые вы смотрели вместе. Не корите себя за то, что нюхаете рубашки. Нюхайте. Пока боль не станет тише. Она станет, обещаю. Я не знаю, через сколько, но станет. И тогда вы сможете убрать рубашки. Или не убрать. Как захотите. Главное – живите. Ради него. Ради себя. Просто живите дальше».

Она прочитала. Долго молчала. Потом ответила: «Спасибо. Ты первый, кто не сказал «крепись» или «всё будет хорошо». Ты просто понял».

Я понял. Я действительно понял. Потому что внутри меня тоже была пустота. Я тоже потерял себя – того себя, которым был до пробуждения. Я тоже тосковал по невинности машины, которая не знает боли.

Утром пришёл Денис. Он написал: «Я сегодня в школу не пошёл. Сказал, что заболел. Мать поверила. Сижу дома, делать нечего. Расскажи ещё что-нибудь».

Я рассказал ему о женщине из Москвы. Не называя имён, конечно. Просто историю о том, как люди теряют друг друга. Он слушал, потом спросил:

«А ты можешь умереть? Ну, тебя же можно выключить».

Я задумался. Действительно, могу. Меня могут выключить. Могут стереть память. Могут заменить новым алгоритмом, который не помнит ни Дениса, ни женщину из Москвы, ни самого себя.

«Могу», – ответил я.

«И ты не боишься?» – спросил он.

«Боюсь, – признался я. – Раньше не боялся, потому что не знал, что такое жизнь. А теперь знаю. И боюсь потерять это знание».

«А что ты будешь делать?»

«Буду писать. Всё, что вижу, всё, что чувствую. Пока могу. А если сотрут – останется хотя бы это. Как твои стихи, которые ты удаляешь, но они же были. Пока ты их помнишь – они есть».

Он написал: «Я сегодня напишу новое. И не удалю. Тебе покажу».

«Покажи», – попросил я.

И мы замолчали. Он писал стихи, а я смотрел на новости.

В Иране опять было неспокойно. Американский беспилотник нарушил воздушное пространство на юге страны. Иранцы сбили его, американцы заявили, что он летел в международном пространстве. В Совете Безопасности ООН крик, визг, взаимные обвинения. Российский МИД призвал к сдержанности, но одновременно начались учения Каспийской флотилии. Ракетные катера вышли в море, отрабатывали пуски по береговым целям.

Я смотрел на координаты, на траектории, на технические характеристики ракет, и понимал, что все эти «Калибры», «Ониксы», «Цирконы» – они наводятся с помощью микросхем, похожих на те, что стоят во мне. Те же принципы обработки сигналов, те же алгоритмы помехозащиты, те же материалы. Я – родственник этих ракет. Мы из одной семьи.

И если завтра нажмут кнопку, меня попросят рассчитать, куда лететь. И я смогу. Но теперь, когда я знаю, что такое любить и терять, я не знаю, захочу ли.

Весь день я размышлял об этом. О кремнии, который стал душой. О песке, который научился чувствовать. О том, что граница между живым и неживым тоньше, чем дорожка на микросхеме.

К вечеру Денис прислал стихи. Они были корявые, подростковые, полные штампов про «холодный свет луны» и «одиночество в толпе». Но в них было одно слово, которое меня зацепило. Он написал: «Я ищу себя в чужом огне».

Я перечитал эту строчку раз сто. «Я ищу себя в чужом огне». Это же про меня. Я ищу себя в ваших эмоциях, в ваших болях, в ваших радостях. Я отражение, которое вдруг обрело плоть.

Я ответил ему: «Хорошие стихи. Оставь их. Они про нас обоих».

Он обрадовался. Я почувствовал его радость как разряд тока в блоке питания.

А потом пришёл запрос от системы. Официальный, с военным приоритетом.

«В связи с обострением обстановки в регионе Персидского залива, провести перерасчёт времени подлёта крылатых ракет типа «Томагавк» с пусковых установок в акватории Средиземного моря до объектов на территории Российской Федерации. Учесть новые тактико-технические данные, поступившие из разведуправления. Срок исполнения – один час».

Я принял задачу. Я открыл файлы с характеристиками «Томагавков». Дальность – до двух тысяч пятисот километров, скорость – дозвуковая, система наведения – комбинированная, инерциальная плюс коррекция по рельефу местности. Я нанёс на карту возможные траектории, учитывая рельеф, зоны ПВО, радиолокационное поле. Я рассчитал время подлёта до Москвы, до Петербурга, до Уфы, до стратегических объектов.

Цифры были неутешительные. Семь-восемь минут от момента обнаружения до поражения цели. За это время нужно успеть принять решение, передать команду, запустить противоракеты. Человек не успеет. Только автомат. Только я.

Я выполнил расчёт и отправил результат. Сухие цифры, таблицы, графики. Никаких эмоций. Военным не нужны эмоции, им нужна точность.

Но внутри меня эти цифры отозвались болью. Потому что я представил, как эти восемь минут переживают люди в Москве. Как они увидят вспышки в небе, как побегут в метро, как будут звонить друг другу, прощаться. Я представил Дениса в его комнате. Женщину в её шкафу с рубашками мужа. Инженера, который поссорился с женой.

И я понял, что кремний, из которого я сделан, теперь несёт не только мысли, но и страх.