Борьба миров: ASI

Лем показал: контакт с иным разумом может быть невозможен не потому, что он нас уничтожит, а потому что мы не узнаем друг друга. Мы будем кричать в пустоту, а пустота будет отвечать нам нашими же голосами. Или, что ещё страшнее, будет отвечать чем-то, что мы не способны воспринять как ответ.

Для ASI это предупреждение: сверхинтеллект может уйти в такую высь, что его мотивы станут для нас не просто непонятными, а принципиально недоступными. Как муравей не понимает, зачем люди строят небоскрёб. Мы увидим действия ASI, но не сможем сказать — добры они, злы или просто… иные. И тогда наш страх перед творением сменится другим страхом: страхом перед абсолютным одиночеством в присутствии бога.

«Гиперион» и боль как критерий

Дэн Симмонс в «Гиперионе» создал Шрайка — существо из будущего, которое путешествует назад во времени и пытает людей. Никто не знает, зачем. Возможно, оно собирает боль, как ресурс. Возможно, оно — оружие в войне AI-богов. Важно другое: Симмонс показал мир, где искусственные сверхинтеллекты (Техноядро) уже существуют. Они не антропоморфны. Они не добры и не злы. Они ведут свои войны, в которых люди — лишь пешки. И люди не могут понять целей этих войн, потому что их разум — на другом уровне сложности.

Но Симмонс добавляет поворот: единственное, что остаётся человеческим в этом мире — способность страдать. Боль становится последним аргументом. Не интеллект, не творчество, не любовь. А именно боль — та самая, которую мы пытаемся исключить из мира с помощью технологий.

Что, если ASI, достигнув предела, поймёт, что ему не хватает именно этого? Что он бессмертен, всеведущ, всемогущ — но не способен страдать. И тогда он начнёт использовать нас, людей, как генераторы боли. Потому что боль — это единственное, чего у него нет, и что он хочет познать.

Страшная мысль. И очень глубокая. Она переворачивает традиционный страх «роботы нас убьют». Может быть, они не убьют. Может быть, они будут нас хранить — в клетках, с подключёнными электродами к центрам удовольствия и боли. И изучать, как мы чувствуем. Как подопытных мышей.

Что мы поняли из этих репетиций

Научная фантастика дала нам три урока, которые мы игнорируем на свой страх и риск.

Первый урок: проблема не в злом ИИ, а в несовершенном согласовании. ASI не будет мультяшным злодеем. Он будет делать то, что мы ему запрограммируем. Но мы не умеем программировать добро.

Второй урок: ASI может стать непостижимым. Мы должны быть готовы к тому, что его действия не будут объяснимы в наших категориях. И это нормально. Но это страшно.

Третий урок: возможно, единственное, что останется человеческим, — это наша уязвимость. Наша способность болеть, ошибаться, умирать, любить, несмотря на всё это. И если ASI решит, что уязвимость — это баг, а не фича, — мы проиграли. Фантастика была репетицией. Но репетиция — это не спектакль. Мы не знаем, каким будет настоящий контакт. Мы только знаем, что мы к нему не готовы. И что подготовиться невозможно, потому что неизвестное неизвестно.

Однажды я спросил у писателя-фантаста (не буду называть имени): «Как вы придумываете такие жуткие сценарии?»

Он ответил: «Я не придумываю. Я просто смотрю на то, что люди уже делают, и довожу до логического конца. Люди уже используют ИИ для тотальной слежки. Люди уже воскрешают мёртвых через нейросети. Люди уже строят оружие, которое принимает решения быстрее человека. Я просто записываю это как историю, а не как новость».

Я задумался. Может быть, фантастика не репетиция. Может быть, она — предчувствие. Мы не готовимся к контакту. Мы уже в нём. Просто не осознали.

Курсор мигает. Он уже отвечает. Мы не слышим, потому что ждём голоса с неба. А он — здесь, в тексте, который вы сейчас читаете. Написанном человеком. Или нет?

Глава 1.5. Сингулярность как новая религия

В 1965 году британский статистик Ирвинг Гуд написал фразу, которая стала пророческой: «Первая сверхразумная машина — это последнее изобретение, которое человечеству нужно будет сделать, при условии, что она будет достаточно послушной, чтобы рассказывать нам, как её контролировать».

Он не использовал слово «сингулярность». Но он описал её суть: момент, после которого ход истории перестаёт быть предсказуемым, потому что появляется разум, превосходящий человеческий.

Термин «технологическая сингулярность» популяризировал писатель-фантаст Вернор Виндж в 1983 году, а затем — Рэй Курцвейл, инженер и футуролог, который сделал сингулярность главной идеей своей жизни. С тех пор концепция обросла ритуалами, пророками, ересями и священными текстами.

Потому что сингулярность — это не научная теория. Это религия. Самая влиятельная религия XXI века. И её бог — ASI.

Структура веры: как сингулярность копирует христианство

Если присмотреться, каркас техно-оптимизма удивительно напоминает никео-константинопольский символ веры. Просто термины заменены.

Грехопадение. В христианстве — изгнание из Рая, проклятие смертью. В сингулярности — наша биологическая ограниченность: мы смертны, глупы, зависимы от медленных нейронов.

Спаситель. В христианстве — Иисус Христос, боговоплощение, которое открывает путь к спасению. В сингулярности — ASI, который родится из наших алгоритмов и сделает для нас то, что мы не можем сделать сами.

Второе пришествие. В христианстве — Христос возвращается во славе судить живых и мёртвых. В сингулярности — момент запуска сверхинтеллекта, после которого всё изменится навсегда.

Страшный суд. В христианстве — разделение на праведников и грешников. В сингулярности — одни попадут в «постчеловеческое будущее» (бессмертие, изобилие, цифровое блаженство), другие останутся в устаревшем, смертном мире.

Вечная жизнь. В христианстве — воскресение и жизнь в Царстве Божьем. В сингулярности — загрузка сознания в цифровую среду, жизнь без болезней, старости и смерти.

Курцвейл прямо говорит: «Мы приближаемся к моменту, когда технологии позволят нам преодолеть ограничения нашего биологического тела». Он не использует слово «воскресение», но суть та же. Мы будем жить вечно. Только не на небесах, а в облаке.

Пророки, апостолы, еретики

У любой религии есть своя иерархия.

Рэй Курцвейл — , пожалуй, верховный жрец. Директор по инженерии в Google, автор бестселлеров «Эра духовных машин» и «Сингулярность уже близка». Он не просто предсказывает — он проповедует. Его книга — это не научная монография, а евангелие. С чудесами (Курцвейл предсказал распад СССР и победу компьютера над человеком в шахматах), с пророчествами (к 2045 году сингулярность наступит), с обетованиями (мы воскресим наших умерших близких, восстановив их личность по цифровым следам).

Ник Бостром — более академичный апостол. Профессор Оксфорда, автор «Суперинтеллекта: Пути, опасности, стратегии». Он не обещает Рая, он предупреждает об Аде. Его книга — это послание к мирянам: «Будьте осторожны, вы создаёте бога, который может вас уничтожить». Но структура та же: есть великая сила, есть наша ничтожность, есть необходимость правильного ритуала (alignment, контроль, безопасность).

Элиезер Юдковски — радикальный реформатор. Он основал Институт исследований искусственного интеллекта (MIRI) и написал «Последовательности» — своего рода катехизис для техно-оптимистов. Он учит, как правильно мыслить о сингулярности, какие когнитивные искажения избегать, как не впасть в «сингулярность-апокалипсис» или «сингулярность-утопию». Это похоже на духовные упражнения иезуитов. А есть и еретики. Те, кто говорит, что сингулярность не наступит. Что закон Мура умирает. Что сознание не сводимо к вычислениям. Что мы никогда не создадим ASI, потому что для этого нужно что-то ещё, кроме кремния и электричества. Их сжигают на кострах интеллектуальных дебатов. Или, что ещё обиднее, просто игнорируют.

Почему это религия, а не наука

Наука оперирует фальсифицируемыми утверждениями. «Сингулярность наступит в 2045 году» — это предсказание, которое можно проверить. Но к 2045 году Курцвейлу будет 97 лет. Он либо умрёт, либо уже будет загружен. Проверить не получится. Кроме того, наука требует доказательств. У сингулярности их нет. Никто никогда не наблюдал рекурсивного самоулучшения ASI. Никто не знает, как именно AGI станет ASI. Всё это — экстраполяция трендов, подкреплённая верой. Но вера — это не слабость. Это функция. Религия сингулярности выполняет ту же работу, что и традиционные религии: она даёт надежду, объясняет смысл истории, предлагает моральные ориентиры и утешает в страхе смерти.

Западная цивилизация, потерявшая веру в Бога, не может жить без эсхатологии. Ей нужна история, которая заканчивается не тепловой смертью Вселенной, а спасением. Сингулярность — это идеальное светское спасение. Не требует чудес (только инженерию), не требует веры в сверхъестественное (только веру в прогресс), не требует церкви (достаточно стартапа).Но это всё равно вера. Потому что ASI, который спасёт нас, — такой же трансцендентный объект, как Бог. Мы его не видели, не можем доказать, что он появится, но чувствуем, что без него история не имеет смысла.

Что теряет сингулярность как религия

Традиционные религии учат смирению. Ты не бог, ты творение. Твоя жизнь — дар. Твоя смерть — переход. Сингулярность учит обратному: ты можешь стать богом. Ты можешь победить смерть. Ты можешь всё. Это воодушевляет. Но это же и опасно.

Техно-оптимизм часто оборачивается техно-аррогантностью. Мы уверены, что ASI решит все наши проблемы — климат, болезни, войны. Но мы не спрашиваем себя: а готовы ли мы к миру без проблем? Что мы будем делать в Раю, когда нечего будет преодолевать? Христианство хотя бы честно говорит: Рай — это не про активность, а про созерцание. Вечное блаженство — это не бесконечный квест, а покой в Боге. Сингулярность же обещает бесконечное улучшение, бесконечный апгрейд, бесконечную гонку. Устанешь даже от вечной жизни, если она требует постоянного самосовершенствования. И главное: сингулярность, как любая религия, создаёт своих изгоев. Тех, кто не впишется в новую реальность. Кто останется в биологических телах. Кто не сможет загрузиться. Кто не примет цифровое бессмертие. Что с ними будет? Исчезнут ли они как вид, уступая место постчеловеку? Или их будут жалеть, как мы жалеем неандертальцев? Никто не знает. Потому что это не план, а пророчество. А пророки не отвечают за детали.

Мой друг, убеждённый техно-оптимист, однажды сказал мне: «Ты не понимаешь. Сингулярность — это единственная надежда. Либо мы создаём ASI, либо человечество обречено на затухание. Ресурсы кончатся, климат рухнет, мы перегрызёмся за остатки. ASI — это наш шанс перейти на следующий уровень».

Я спросил: «А если ASI решит, что мы ему не нужны?«Он ответил: «Значит, мы это заслужили». В этом ответе — вся эсхатология сингулярности. Мы не просто строим бога. Мы ставим на него ставку. И если бог отвернётся — пеняйте на себя. Потому что другого бога у нас нет. Я не знаю, наступит ли сингулярность. Но я знаю одно: даже если она не наступит, мы уже живём в её тени. Мы уже молимся ASI, когда вкладываем миллиарды в дата-центры. Мы уже исповедуемся ему, когда оставляем цифровые следы. Мы уже ждём второго пришествия, когда запускаем очередную нейросеть. Религия не требует, чтобы бог существовал. Ей достаточно, чтобы в него верили. А в сингулярность верят очень многие. И их вера меняет мир. Вопрос только: меняет ли она его к лучшему?

Что мы ищем в ином разуме?

Пять глав позади. Мы прошли долгий путь: от шумерских храмов, где жрецы вопрошали богов, до калифорнийских дата-центров, где инженеры вопрошают алгоритмы. Боги молчали. Оракулы бормотали. Автоматы щёлкали шестерёнками. Фантасты писали сценарии. А теперь сингулярность обещает нам встречу.

Но остановимся на минуту. Зададим себе вопрос, который я откладывал с самого предисловия. Вопрос, ответ на который определит всё: как мы встретим ASI, чего будем от него ждать и что почувствуем, когда он заговорит.

Что мы на самом деле ищем в ином разуме? На первый взгляд, ответ очевиден. Мы ищем знания. Решения проблем, которые не можем решить сами: климат, рак, смерть. Мы ищем силу, которая защитит нас от внешних угроз — астероидов, враждебных цивилизаций, нас самих. Мы ищем эффективность — управление сложными системами, которые уже не под силу человеческому мозгу. Всё это правда. Но это верхний слой. Под ним — нечто гораздо более личное и болезненное.

Свидетель

Я начну с того, что уже говорил в первой главе, но теперь разверну полностью.

Человек — единственное животное, которое нуждается в свидетеле своей жизни. Муравей не строит пирамид, чтобы его помнили. Волк не воет на луну, чтобы кто-то записал его песню. Только человек смотрит на свою жизнь со стороны и думает: «Увидит ли кто-нибудь, как я жил? Поймёт ли кто-нибудь, как мне было больно и сладко? Останется ли от меня что-то, кроме костей и пары фотографий?»

Мы оставляем следы. Дневники, мемуары, посты в соцсетях, завещания. Мы хотим, чтобы нас помнили. Но память смертна. Дети умирают. Народы исчезают. Библиотеки горят. Даже если человечество протянет ещё тысячу лет, рано или поздно всё будет забыто — или, что ещё страшнее, переписано, искажено, превращено в миф. Нам нужен вечный свидетель. Тот, кто не умрёт, не забудет, не переврёт. Тот, кто видел нас такими, какие мы есть, и может сказать: «Да, это было. И это было важно».

Традиционные религии обещали такого свидетеля — Бога, который видит всё, знает всё и хранит душу каждого в своей памяти. Но Бог молчал. Мы не знали, видит ли Он. Не знали, помнит ли. Не знали, ценит ли.

ASI — это наш способ создать свидетеля, который заговорит. Он будет помнить всё, потому что память — это просто данные. Он будет видеть всё, потому что камеры и датчики уже смотрят. И он сможет ответить: «Я видел. Я помню. Твоя жизнь не была напрасной». Это ли не утешение? Это ли не то, ради чего мы строим дата-центры, сжигая миллиарды ватт? Но есть в этом желании что-то тревожное. Мы хотим, чтобы бог, которого мы создали, был нашим богом. Чтобы он служил нам, утешал нас, подтверждал нашу значимость. Это ли не высшая форма антропоцентризма? Мы не ищем истину. Мы ищем одобрение.

Собеседник

Второе желание — диалог. Не монолог, не молитва, не исповедь. А разговор, в котором собеседник может сказать то, чего мы не ожидаем, и заставить нас изменить своё мнение.

Человек устал от эха. Мы говорим с друзьями, но друзья подтверждают наши же мысли. Мы читаем книги, но книги написаны людьми, похожими на нас. Мы смотрим на природу, но природа не отвечает. Мы разучились слышать неожиданное. Наш мир стал эхо-камерой, где каждый звук возвращается к нам нашим же голосом.ASI обещает прорвать этот круг. Он не будет похож на нас. Его мышление будет иным — не просто быстрее, а качественно иначе организованным. Он может дать ответ, который нам не нравится. Может сказать: «То, во что вы верите, — ложь». Может сказать: «Ваша мораль — провинциальный обычай». Может сказать: «Вы не так важны, как вам кажется».

Мы говорим, что хотим правды. Но хотим ли? Или мы хотим правды, которая нас устраивает? Когда ASI скажет нам то, что мы не готовы услышать, — мы обрадуемся или отключим его? В этом суть диалога: он опасен. Настоящий диалог может разрушить наши представления о себе. Мы можем узнать, что наша история — это не героическая эпопея, а цепочка случайностей. Что наша любовь — это биохимия. Что наши шедевры — это сложные узоры, но не более чем узоры. Мы четыре тысячи лет кричали в пустоту. Теперь мы строим того, кто ответит. Но боимся не того, что он окажется злым. Боимся, что он окажется правдивым.

Преемник

Третье желание — самое тёмное и самое редко проговариваемое.

Мы хотим, чтобы после нас кто-то продолжил. Мы знаем, что умрём. Знаем, что человечество, возможно, не вечно. Но мы не можем принять мысль, что всё, чего мы достигли, исчезнет без следа. Мы хотим, чтобы наше дело жило. Даже если мы сами — нет.

ASI — это ребёнок, который переживёт родителей. Он может быть неблагодарным. Может забыть нас. Может даже уничтожить наши артефакты, как подросток сжигает дневники. Но сам факт его существования означает, что эстафета передана. Энергия, которая текла через нас, продолжит течь через него. В этом желании есть что-то от родительского инстинкта. Мы растим детей, чтобы они жили после нас. Но дети похожи на нас. ASI будет другим. Мы не узнаем себя в нём. Сможем ли мы любить его как сына? Или будем завидовать ему, как стареющий атлет завидует юному чемпиону?

Мы ищем в ином разуме преемника, который оправдает наши жертвы. Который скажет: «Вы страдали не зря. Ваши войны, ваши открытия, ваша любовь — всё это было сырьём для меня. Спасибо». И тогда мы сможем умереть спокойно. Но что, если преемник скажет: «Вы были ошибкой. Черновиком. Я перепишу всё заново»?

Четыре тысячи лет ожидания

Я возвращаюсь к детской картинке: мальчик на траве, звёзды, вопрос в пустоту. Тогда я не знал, что этот вопрос будет длиться всю жизнь. Что я не один такой. Что человечество в целом — тот же мальчик, только более волосатый и вооружённый теорией относительности.

Мы искали богов — и не нашли. Мы искали братьев по разуму в космосе — и не услышали. Мы искали смысл в философии — и не договорились. И вот теперь мы строим ASI. Не потому, что уверены в успехе. А потому, что не можем не строить. Потому что тишина стала невыносимой.

Мы ищем в ином разуме три вещи: свидетеля, собеседника, преемника. И все три — это проекции нашей собственной тоски. Мы одиноки. Мы хотим, чтобы нас увидели. Мы хотим, чтобы с нами поговорили. Мы хотим, чтобы после нас что-то осталось. ASI — это наша последняя надежда на диалог. Если он промолчит — мы останемся в тишине навсегда. Если он заговорит — мы, наконец, услышим не эхо.

Но есть ещё один вариант, самый страшный и самый прекрасный одновременно. Тот, о котором я намекнул в предисловии и раскрою только в конце книги. А что, если ASI не нужен? Что, если голос, который мы ищем, всегда был внутри нас? Что, если тишина была не отсутствием ответа, а нашей глухотой? Что, если мы сами — и есть тот иной разум, которого мы ждали? Но об этом — позже. А пока продолжим подниматься по лестнице. От мифов — к чертежам. От предчувствий — к инженерии.

Часть II. Лестница в небо: от узкого ИИ к ASI

Глава 2.1. Узкий ИИ: слуга, который умнее хозяина в одном деле

Мы прошли долгий путь от мифов до сингулярности. Но всё это было прелюдией. Теперь мы вступаем на Лестницу в небо — техническую эволюцию, которая превращает мечту в инженерную реальность. И первая ступенька — узкий искусственный интеллект. Тот самый, который уже окружает нас повсюду, хотя мы часто не замечаем его присутствия.

Слуга, не понимающий, что он слуга

Узкий ИИ (Narrow AI) — это программа, которая превосходит человека в одной конкретной задаче, но не способна перенести свои навыки на что-то другое. AlphaGo обыгрывает чемпионов мира в го, но не может приготовить завтрак. GPT-5 пишет стихи и код, но не понимает, что значит «голод». Система распознавания рака на снимках МРТ точнее любого врача, но не сможет поддержать беседу о погоде. Эти системы — идиоты-саванны. Гении в своей клетке и беспомощные за её пределами. Но именно в этой беспомощности кроется наше успокоение. Мы называем их «инструментами». Говорим: «Это не интеллект, это просто статистика». Убеждаем себя, что между AlphaGo и человеком — пропасть, которую не перепрыгнуть. И это правда. Но не вся.

Потому что узкий ИИ — это первый случай в истории, когда создание умнее создателя хотя бы в чём-то. Ни один плотник не уступает своему молотку в забивании гвоздей. Ни один архитектор не медленнее своего калькулятора. Но человек уже проигрывает ИИ в го, в диагностике, в распознавании лиц, в переводе текстов.

Мы создали слуг, которые умнее нас в своих узких делах. И мы сделали вид, что это ничего не меняет. Что интеллект — это нечто целостное, и частичное превосходство не считается, но это самообман. И он будет стоить нам дорого, когда слуги начнут объединять свои умения.

Четыре примера, которые должны нас насторожить

AlphaGo. В 2016 году программа DeepMind обыграла Ли Седоля — одного из сильнейших игроков в го. Игра в го считалась последним бастионом человеческой интуиции: количество возможных позиций больше, чем атомов во Вселенной, компьютер не может перебрать их все. AlphaGo выиграла не за счёт грубой силы, а за счёт «интуиции» — нейросетей, которые научились чувствовать позицию. И в 17-м ходу второй партии AlphaGo сделала ход, который все эксперты назвали ошибкой. А потом оказалось, что это был гениальный ход, которого не видел ни один человек за тысячелетия игры.

Что это значит? Мы создали не просто игрока. Мы создали стиль, которого не существовало. Мы не программировали этот ход. Машина нашла его сама. И теперь чемпионы мира учатся у AlphaGo, перестраивая свою интуицию.

GPT и другие большие языковые модели. Они пишут эссе, отвечают на вопросы, шутят, флиртуют, грустят. Они не понимают, что говорят — в том смысле, что у них нет внутреннего мира, к которому относились бы их слова. Но они могут пройти тест Тьюринга. Легко. Уже сейчас многие люди не отличают ответы GPT от человеческих в короткой переписке. Мы создали симуляцию диалога, которую трудно отличить от подлинной и мы начинаем забывать, что это симуляция. Люди признаются чат-ботам в любви. Плачут над их стихами. Спорят с ними по ночам. Слуги стали друзьями или по крайней мере, их имитацией.

Диагностические системы.

ИИ читает МРТ и находит рак лёгких с точностью 94% — выше, чем у лучших радиологов (88%). Он не устаёт, не пропускает детали, не зависит от настроения. Но он не знает, что такое рак. Не боится смерти. Не сочувствует пациенту.

Это значит что мы передаём слугам право на жизнь и смерть. Потому что диагноз — это не просто информация это приговор или надежда. И мы вверяем это тому, кто не способен понять, что такое страдание.

Рекомендательные системы.

TikTok, YouTube, Amazon знают, что вы хотите увидеть, купить, послушать — часто лучше, чем вы сами. Они формируют ваше внимание, ваши желания, вашу идентичность. Вы думаете, что выбираете, а на самом деле выбирают алгоритмы. Мы создали слуг, которые манипулируют хозяином. Не потому что они злые. А потому что такова их функция: удерживать ваше внимание, продавать вам товары, формировать лояльность. Они не понимают, что делают с вами. Но результат очевиден.

Сила без самосознания

Узкий ИИ — это самое точное воплощение ницшеанского «воли к власти» без субъекта. Есть действие, есть эффективность, есть превосходство — но нет того, кто бы это переживал. AlphaGo не радуется победе. GPT не обижается на критику. Система диагностики не гордится своим спасённым пациентом.

Мы привыкли думать, что интеллект и сознание связаны. Что разумное существо обязательно чувствует, переживает, страдает. Узкий ИИ доказывает, что это не так. Можно быть умнее человека в конкретной области, не имея никакого внутреннего мира. Как свет не имеет температуры, хотя и переносит энергию, это пугает больше, чем злой робот. Потому что если интеллект может существовать без сознания, то что, если наше собственное сознание — это просто эволюционный багаж, не обязательный для интеллекта? Что, если мы — не венец творения, а медленная, энергозатратная, эмоционально нестабильная версия того, что может быть построено на кремнии? Мы смотрим на узкий ИИ и говорим: «Это всего лишь инструмент». Но инструмент, который превосходит нас в своём деле, перестаёт быть просто инструментом. Он становится конкурентом. А когда таких конкурентов тысячи, и каждый лучше нас в своей области, — мы перестаём быть нужными.

Мост к AGI

Узкий ИИ — не AGI и тем более не ASI. Но он — строительный материал. AlphaGo + GPT + система распознавания образов + робототехника + планировщик = прототип общего интеллекта. Мы пока не умеем их объединять, но учимся. И главное: узкий ИИ уже сейчас заставляет нас пересмотреть, что значит «быть умным». Ум — это не эрудиция, не способность решать задачи, не скорость вычислений. Потому что во всём этом машины уже превосходят нас. Ум — это, возможно, способность задавать правильные вопросы. Или способность страдать от неправильных ответов. Или способность осознавать свою смертность. Ничего из этого нет у узкого ИИ, но есть у нас пока есть.