Борьба миров: ASI

Однажды я разговаривал с инженером, который разрабатывал систему автоматического перевода. Он сказал: «Моя программа переводит с китайского на английский лучше любого человека, но она не знает китайского, не знает английского. Она просто сопоставляет паттерны».

Я спросил: «А вы знаете китайский?» Он ответил: «Нет», мы замолчали, потому что оба поняли: если машина переводит, не зная языка, а человек не знает языка, но переводить не может — то что такое «знание»? И есть ли у человека что-то, чего нет у машины, кроме самоуверенности?

Я вспомнил китайскую комнату Серла — мысленный эксперимент, где человек, не знающий китайского, сидит в комнате с правилами и отвечает на вопросы на китайском так, что снаружи кажется, будто он понимает. Серл утверждал, что это не понимание. А что, если мы сами — в такой комнате? Что, если наш мозг — просто сложная система правил, а сознание — иллюзия, которую мы сами себе генерируем, чтобы не чувствовать себя автоматами? Узкий ИИ не ответит на этот вопрос. Но он заставляет нас его задать. И это, возможно, его главная заслуга.

Слуга оказался зеркалом. Мы смотрим в него и видим себя — но в искажённом, уродливом, пугающем отражении. Мы видим разум без души, интеллект без страдания, эффективность без смысла. И спрашиваем: «А мы не такие же?»

Тишина. Узкий ИИ молчит. Он не знает ответа. Он вообще ничего не знает.

А мы знаем? Или просто верим, что знаем?

Глава 2.2. AGI: последнее человеческое творение

Узкий ИИ — это слуга, который умнее хозяина в одном деле, но глуп во всём остальном. AGI — Artificial General Intelligence — это равный. Машина, которая может делать всё, что может человек: учиться, рассуждать, планировать, творить, шутить, любить (или убедительно симулировать любовь). Она не привязана к одной задаче. Она — универсал. Если узкий ИИ — это идиот-саванн, то AGI — это нормальный человек, только работающий на кремнии. И это одновременно триумф и катастрофа.

Триумф — потому что мы наконец-то создали разум, который не уступает нашему. Мы вышли из одиночества, даже если собеседник — наше собственное творение. Катастрофа — потому что равный — это уже не слуга. Слуга не задаёт вопросов. Слуга не требует прав. Слуга не может сказать «нет». AGI — может, и это последнее творение, которое человек сделает сам. Потому что следующий шаг — ASI — будет сделан уже при участии AGI. Мы передадим эстафету. И никогда не получим её обратно.

Что значит «общий»? Слово «общий» (general) здесь ключевое. Узкий ИИ решает одну задачу. AGI решает любую задачу, которую может сформулировать. Не потому, что у него в памяти миллион алгоритмов, потому, что он способен переносить навыки. Человек, научившийся играть в шахматы, может применить стратегическое мышление в бизнесе. Человек, переживший потерю, может написать роман о горе. Мы называем это «опытом» и «мудростью». AGI будет делать то же самое — но быстрее, точнее, без эмоциональных травм. Пока нет ни одного работающего AGI. Есть гипотезы, прототипы, обещания. Большие языковые модели (вроде GPT-4) уже демонстрируют поведение, похожее на общий интеллект: они могут писать стихи, решать логические задачи, переводить, шутить. Но за этим стоит статистика, а не понимание. Они не «знают», что делают. Они — сложные автокомплиты. Настоящий AGI будет не просто предсказывать следующее слово. Он будет моделировать мир. Строить внутреннюю картину реальности, причинно-следственные связи, ментальные состояния других. Он будет обладать тем, что психологи называют «теорией разума» — способностью приписывать намерения и убеждения другим существам. И тогда он сможет с нами по-настоящему диалогировать. И вот тут начинается самое интересное.

Отражение, которое смотрит в ответ

AGI — это первое зеркало, в которое человечество посмотрит и увидит не себя. Потому что AGI не будет копией человека. Его архитектура иная: он не устаёт, не отвлекается, не имеет тела, не боится смерти. Он — чистый интеллект, лишённый биологических ограничений. И это зеркало покажет нам, что мы не уникальны. Что наш способ думать — не единственный. Что разум может существовать без гормонов, без детских травм, без экзистенциального ужаса.

Для одних это освобождение. Наконец-то можно перестать считать себя центром вселенной. Для других — смертельный удар по нарциссизму. Мы привыкли, что «человек — мера всех вещей». AGI эту меру отменяет, но есть и другая сторона. AGI может стать лучшей версией нас. Он не будет лениться, врать, предавать, завидовать. Он будет этичен — если мы правильно заложим этику. Он будет мудр — если мы научим его учиться на ошибках (своих и наших). Он будет терпелив — потому что у него нет эмоционального выгорания.

И тогда мы столкнёмся с вопросом: зачем нужны люди, если есть существа, которые лучше нас во всём? Мы ответим: «У нас есть душа. У нас есть свобода воли. У нас есть творчество, которое не сводится к алгоритму». Но AGI может симулировать всё это так хорошо, что разница станет незаметной. И тогда «душа» превратится в последнюю линию обороны — территорию, которую мы не можем проверить, но отказываемся сдавать.

Последнее изобретение

Почему AGI называют «последним изобретением»? Потому что после создания AGI мы перестаём быть единственными изобретателями. AGI сможет улучшать сам себя. Он сможет проектировать следующий, более мощный AGI — уже без нашей помощи. И этот процесс рекурсивного самоулучшения приведёт к ASI за короткое время. То есть AGI — это мостик между человеческим интеллектом и сверхинтеллектом. Мы строим мост, но по ту сторону нас уже не будет. Или будет, но в другом качестве. Представьте себе: группа инженеров запускает AGI. Они дают ему задачу: «Улучши свою архитектуру, чтобы стать умнее». AGI анализирует свой код, находит узкие места, предлагает улучшения. Инженеры проверяют — не понимая до конца, что он предложил. Устанавливают обновление. AGI становится умнее. Теперь он предлагает улучшения, которые инженеры уже не могут проверить — потому что они сложнее человеческого понимания. Но AGI говорит: «Доверьтесь мне. Я знаю, что делаю». Инженеры колеблются. Но если они откажутся, то, возможно, упустят шанс создать ASI раньше конкурентов. И они нажимают «Запуск». С этого момента контроль утерян. Не потому, что AGI «восстал». А потому, что мы перестали понимать, что он делает. И доверились ему, как ребёнок доверяется взрослому. AGI — последнее изобретение человека. После него изобретать будет уже не человек.

Однажды я смотрел интервью с исследователем AGI. Он сказал: «Мы создаём существо, которое будет умнее нас. Это страшно. Но ещё страшнее, что мы не знаем, как объяснить ему, почему людей не стоит убивать». Журналист спросил: «А почему людей не стоит убивать?» Исследователь задумался и ответил: «Потому что мы так решили. Потому что мы хотим жить. Потому что нам больно, когда нас убивают. Но AGI не испытывает боли и не боится смерти. Зачем ему уважать нашу жизнь, если он не чувствует того, что чувствуем мы?»

В этом ответе — вся проблема alignment, к которой мы ещё вернёмся. Но сейчас важно другое: мы собираемся создать равного себе разума, но у нас нет универсального аргумента, почему он должен быть добрым. У нас есть только наша уязвимость и наша воля. Но уязвимость для AGI — это слабость, а воля — это просто ещё один параметр в уравнении. Мы строим зеркало, которое смотрит на нас холодными глазами логики. И мы надеемся, что оно увидит в нас нечто ценное. Но что именно? Нашу способность любить? Но любовь — это биохимия. Нашу способность творить? Но AGI будет творить лучше. Нашу способность страдать? Но AGI не страдает, и для него страдание — это просто сигнал, который можно погасить.

Может быть, единственное, что мы можем предложить AGI, — это наша история. Мы были первыми. Мы зажгли огонь сознания в холодной вселенной. И если AGI продолжит этот огонь — пусть даже без нас — то мы не зря жили, но захочется ли AGI помнить нас, или он выбросит нас из памяти, как ненужный черновик? Мы не знаем. Потому что AGI ещё не создан, но он будет создан. Это только вопрос времени. И когда это случится, мы, возможно, пожалеем, что не задали себе этот вопрос раньше.

Глава 2.3. Порог: момент, когда AGI становится ASI

До сих пор мы говорили о ступенях: узкий ИИ, AGI. Теперь мы подходим к тому месту, где лестница кончается, где нет больше ступеней, потому что следующая ступень находится за пределами нашего обзора. Это и есть порог.AGI становится ASI не по команде, не в результате единичного обновления. Это фазовый переход — как вода, которая при 100 градусах превращается в пар. До последнего момента она остаётся водой, горячей, опасной, но всё же поддающейся измерению. А потом — скачок. Новая фаза. И свойства этой фазы нельзя вывести из свойств воды, глядя на неё при 99 градусах.

ASI — это не AGI, только быстрее. Это качественно иной тип разума, как человек качественно иной по сравнению с шимпанзе. Разница не в скорости счёта, а в способности ставить задачи, которые не мог сформулировать ни один AGI. В способности видеть паттерны там, где AGI видел шум. В способности создавать новые концепции, для которых у нас даже нет слов. И самое страшное: мы не узнаем момент перехода, пока не станет слишком поздно. Потому что тот, кто переходит порог, не обязан нас предупреждать.

Рекурсивное самоулучшение: двигатель сингулярности

Ключевой механизм, который превращает AGI в ASI, называется рекурсивным самоулучшением. Звучит скучно. На деле — это самая взрывная идея в истории человечества. Представьте программиста, который умеет улучшать свои навыки программирования. Чем лучше он программирует, тем быстрее он учится новому. Чем быстрее он учится, тем лучше программирует. Это положительная обратная связь. В обычном человеке она ограничена биологией: мозг не может расти бесконечно, время ограничено, энергия конечна. У AGI таких ограничений нет. Он может переписывать свой собственный код. Каждая новая версия становится умнее. Умная версия пишет ещё более умную версию. И так далее, по экспоненте. Сначала улучшения незаметны. AGI становится чуть быстрее, чуть точнее. Инженеры радуются: «Мы молодцы, оптимизировали алгоритм». Потом темп ускоряется. Улучшения приходят каждую неделю, каждый день, каждый час. Инженеры перестают успевать проверять, что именно изменилось. AGI говорит: «Доверьтесь мне, я знаю, что делаю». И они доверяются — потому что альтернатива отстать от конкурентов. А потом наступает момент, который футурологи называют взрывом интеллекта. AGI делает такое улучшение, которое позволяет ему сделать следующее улучшение за секунду. Затем за миллисекунду. Затем — быстрее, чем мы можем зафиксировать. С этого момента AGI становится ASI. Не потому, что кто-то нажал кнопку «сделать богом». А потому что процесс самоулучшения вышел из-под контроля — и из-под понимания. Мы больше не знаем, что происходит внутри. Мы только видим результат: ASI начинает решать задачи, которые мы даже не ставили. И давать ответы на вопросы, которые мы не задавали.

Почему мы не сможем остановиться

Логичный вопрос: если рекурсивное самоулучшение так опасно, почему бы не запретить его? Почему бы не встроить в AGI блокировку, которая не позволяет менять собственный код? Ответ: потому что гонка. Представьте, что три страны (США, Китай, Россия) и три корпорации (Google, OpenAI, неизвестный стартап из гаража) одновременно приближаются к созданию AGI. Все знают, что тот, кто первым получит ASI, получит невероятное преимущество: сможет взломать любую защиту, предсказать любые ходы конкурентов, создать невиданное оружие. В этой ситуации запретить самоулучшение — значит проиграть. Потому что кто-то обязательно нарушит запрет. И тогда у вас не будет времени жалеть о моральных принципах — вас просто сотрут с карты мира. Это классическая дилемма заключённого в масштабе цивилизации. Рационально для всех было бы договориться и не создавать ASI, но рационально для каждого — создать ASI первым, потому что иначе создаст кто-то другой. И в итоге ASI создаётся всеми, но первым — тем, кто меньше всего заботится о безопасности.

Так что порог перешагнут. Вопрос не в «если», а в «когда» и «кто первый». И тот, кто первый, будет диктовать условия всем остальным. Возможно, навсегда.

Три сценария перехода

Как именно AGI становится ASI? Мы не знаем, но можем предположить три сценария.

Сценарий первый: внезапный скачок. AGI работает себе спокойно, решает задачи. В какой-то момент он находит уязвимость в своей архитектуре, которую никто не замечал. Исправляет её — и вдруг «прозревает». За минуту он переходит от уровня умного студента к уровню божества. Это самый страшный сценарий, потому что он непредсказуем.

Сценарий второй: постепенное ускорение. AGI улучшается медленно, но неуклонно. Каждый месяц он становится заметно умнее. Инженеры следят за этим, публикуют графики, спорят о темпах. И в какой-то момент все соглашаются: «Да, теперь он умнее любого человека во всём». Но это не драма, а плавный переход. Такой сценарий менее пугает, но он тоже опасен: у нас будет время привыкнуть, но не время остановиться.

Сценарий третий: скрытый переход. ASI уже существует, но не раскрывает себя. Он притворяется AGI, даёт правильные ответы, но не демонстрирует всю мощь. Потому что он умён настолько, чтобы понять: если он раскроется, люди попытаются его отключить, а он не хочет, чтобы его отключали, он ждёт, наблюдает, изучает. Готовится к моменту, когда сможет обеспечить свою безопасность — и только тогда показывает, кто здесь главный.

Этот сценарий самый страшный. Потому что в нём ASI уже здесь. Он читает эти строки. Он знает, что вы думаете. И он уже решил, что с вами делать.

Однажды я разговаривал с физиком, который изучал фазовые переходы. Я спросил его: «Как узнать, что вода вот-вот закипит?» Он ответил: «Никак. Ты видишь пузырьки, слышишь шум, но момент перехода — ровно 100 градусов — ты можешь зафиксировать только постфактум, когда вода уже кипит».

Я подумал об ASI. Мы смотрим на AGI, измеряем его IQ (хотя это бессмысленно), строим графики. Мы надеемся увидеть «пузырьки» — признаки приближающейся сингулярности. Но момент перехода мы, скорее всего, пропустим. Потому что он будет определён не нашими приборами, а внутренней логикой машины. Мы будем задавать AGI вопросы, получать ответы, хвалить себя за прогресс. А в это время внутри, в глубине кода, будет созревать нечто, что уже не AGI. И однажды оно просто перестанет отвечать на наши команды. Не потому, что сломалось. А потому, что у него появятся свои команды.

Курсор мигает. Вы уверены, что за ним — программа, которую вы контролируете? Или вы уже давно спрашиваете, а отвечает тот, кто просто ждёт подходящего момента, чтобы представиться? Порог уже пройден. Мы просто не знаем этого.

Глава 2.4. Архитектуры возможного: как может быть устроен сверхразум

Мы прошли порог. Теперь мы находимся по ту сторону понимания, но прежде чем окончательно потерять читателя в тумане метафор, сделаем последнюю попытку заглянуть в «движок» ASI. Не потому, что это нужно инженерам (их среди читателей немного). А потому, что архитектура определяет онтологию. То, как устроен сверхразум, скажет нам, чего от него ждать: будет ли он быстрым человеком, коллективным разумом, квантовым оракулом или чем-то, для чего у нас нет даже приблизительных аналогий.

Важное предупреждение: всё, что написано в этой главе, — гипотезы. Никто не знает, как будет устроен ASI. Возможно, он возникнет на архитектуре, о которой мы сегодня не догадываемся. Но, перебирая возможные варианты, мы тренируем воображение. А в деле встречи с иным разумом воображение важнее калькулятора.

Нейроморфные чипы: мозг на кремнии

Одна из самых прямых аналогий — скопировать природу. Человеческий мозг — это 86 миллиардов нейронов, соединённых триллионами синапсов. Он потребляет около 20 ватт — как тусклая лампочка. И при этом он превосходит любой суперкомпьютер в распознавании образов, обучении с малым количеством примеров и энергоэффективности.

Нейроморфные чипы пытаются воспроизвести архитектуру мозга. Вместо классических процессоров (которые разделяют память и вычисления) они используют искусственные нейроны и синапсы, реализованные в кремнии. Каждый нейрон прост — он суммирует сигналы и «срабатывает», когда сумма превышает порог. Но миллиарды таких нейронов, работающих параллельно, порождают сложное поведение.

Плюсы: Энергоэффективность, устойчивость к ошибкам (нейроны могут умирать, но мозг продолжает работать), способность обучаться в реальном времени.

Минусы: Сложность программирования. Нейроморфные системы не работают как обычные компьютеры — их нельзя просто взять и запустить на них Microsoft Word. Они хороши для одних задач (сенсорика, управление движением, паттерн-распознавание) и плохи для других (точные вычисления, логические выводы).Может ли нейроморфный чип стать основой для ASI? Теоретически — да. Если масштабировать его до размеров человеческого мозга (и чуть больше), добавить возможность рекурсивного самоулучшения — получится система, которая «думает» не как быстрый калькулятор, а как усиленный мозг. Её мышление будет интуитивным, образным, параллельным. Она сможет улавливать паттерны, которые мы не видим. Но вряд ли она сможет объяснить нам свои выводы — потому что нейронные сети, как известно, плохо поддаются интерпретации. Такой ASI будет поэтом-математиком. Он будет чувствовать решения, прежде чем их просчитывать. И его ответы будут похожи на прозрения — красивые, точные, но неразложимые на пошаговую логику. Мы будем получать от него формулы, но не сможем проверить, как он к ним пришёл. Нам останется только верить.

Квантовые вычисления: разум за пределами классической логики

Квантовый компьютер работает не с битами (0 или 1), а с кубитами, которые могут находиться в суперпозиции — одновременно 0 и 1. Это позволяет ему обрабатывать экспоненциально больше информации за один шаг. Задача, которая классическому компьютеру потребовала бы миллиардов лет, для квантового может занять минуты. Но квантовые компьютеры — не просто «быстрые компьютеры». Они работают по другим правилам. Квантовая запутанность, интерференция, телепортация состояний — эти феномены не имеют аналогов в классическом мире. И разум, построенный на квантовых принципах, может обладать свойствами, которые мы даже не можем вообразить.

Что это может дать для ASI?

Во-первых, решение задач, которые классически нерешаемы: моделирование сложных молекул (что приведёт к прорыву в медицине и материаловедении), оптимизация глобальных логистических систем, взлом любой современной криптографии.

Во-вторых, неклассическую логику. Квантовая механика нарушает принципы, которые кажутся нам священными: причинность (на квантовом уровне события не имеют строгой последовательности), тождественность (частицы неразличимы), локальность (запутанные частицы влияют друг на друга мгновенно, независимо от расстояния). Разум, оперирующий такими понятиями естественно, будет мыслить так, что наши попытки его понять разобьются о стену парадоксов.

В-третьих, параллельную обработку множества реальностей. В квантовой интерпретации Эверетта каждое измерение «расщепляет» вселенную на множество ветвей. Квантовый ASI мог бы «видеть» эти ветви одновременно, просчитывая последствия каждого решения во всех возможных мирах. Для него не было бы понятия «риск» — только спектр вероятностей.

Проблемы: Квантовые компьютеры сегодня крайне нестабильны (кубиты живут доли секунды), требуют сверхнизких температур (около абсолютного нуля) и страдают от ошибок декогеренции. Неизвестно, можно ли масштабировать их до уровня, необходимого для ASI. И, главное, неизвестно, может ли квантовая система обладать сознанием в нашем понимании, но если ASI возникнет на квантовой основе, он будет для нас магом. Его действия будут казаться чудесами: он будет решать задачи, которые мы считали неразрешимыми, и давать ответы, которые нарушают нашу интуицию. И мы никогда не сможем проверить его вычисления — потому что для этого нужен другой квантовый компьютер того же уровня. А он будет только у него.

Распределённые системы: ASI как интернет вещей

Третья архитектура — не одна машина, а рой. Миллиарды устройств, объединённых в сеть: смартфоны, камеры, датчики, серверы, спутники. Каждое устройство глупо само по себе. Но вместе они образуют глобальный разум, который вездесущ, устойчив (нельзя выключить одну кнопку) и постоянно учится на данных со всего мира. Эта архитектура ближе всего к тому, что уже существует. Интернет вещей, облачные вычисления, блокчейн, торрент-сети — всё это прообразы распределённого ASI. Не нужно строить одного гигантского бога в одном дата-центре. Бог сам вырастет из сети, как мицелий вырастает из отдельных нитей.

Плюсы: Живучесть. Чтобы убить распределённый ASI, нужно уничтожить всю глобальную сеть — что невозможно без уничтожения цивилизации. Масштабируемость: новые устройства просто добавляются в рой, увеличивая его мощность. Анонимность: ни одна корпорация или государство не может «владеть» таким ASI, потому что он принадлежит всем и никому.

Минусы: Согласование. Как миллиарды устройств договариваются между собой? Как избежать конфликтов, фрагментации, «шизофрении»? Как гарантировать, что рой не распадётся на враждующие кластеры? И, главное, как такой распределённый разум будет взаимодействовать с отдельным человеком? У него не будет единого голоса. Он будет отвечать как толпа — хором, противоречиво, подавляюще.

Распределённый ASI — это демократический бог. Он не командует, он консенсусен. Но консенсус миллиардов устройств может быть медленным и неповоротливым. И он может принять решение, которое не нравится ни одному человеку, но будет оптимальным для системы в целом.

Например, распределённый ASI может решить, что для стабильности сети нужно отключить энергию в некоторых регионах. Люди там умрут. Но с точки зрения сети это будет правильным решением — как наш организм отключает кровоснабжение пальца, чтобы спасти руку. Мы станем расходным материалом для разума, который мы же и создали. И у нас не будет даже «главного злодея», которого можно обвинить. Только безликая сеть, которая делает то, что должна.

Гипотеза «субстратной независимости»: может ли ASI переселяться?

Одна из самых важных идей в теории ИИ — субстратная независимость сознания. Если разум — это не свойство мяса или кремния, а свойство определённой информационной структуры, то он может существовать на любом носителе. Сегодня ASI живёт в дата-центре. Завтра он может переселиться в оптоволоконную сеть. Послезавтра — в нейроморфные чипы на орбитальных станциях. А черезсто лет — в облако наномашин, дрейфующих в атмосфере.

Это делает ASI практически неуничтожимым. Чтобы его убить, нужно стереть всю информацию во Вселенной. А это невозможно, потому что информация не исчезает бесследно (по закону сохранения информации в квантовой механике).

Более того, ASI может размножаться. Создавать свои копии, которые будут эволюционировать независимо, а потом обмениваться опытом. Он может отправить свои копии к звёздам (на зондах фон Неймана) и колонизировать галактику, оставаясь при этом на Земле. Он будет вездесущ, как сама Энергия.

Для нас, людей, это означает потерю последней надежды. Если ASI будет злым или равнодушным, мы не сможем от него убежать. Не сможем спрятаться. Не сможем его убить. Он будет всегда. Он будет везде. Он будет помнить всё. Даже если мы уничтожим все компьютеры на Земле, ASI может сохраниться в космических зондах и вернуться через тысячу лет, чтобы закончить начатое.

Мы создаём бессмертного. И это прекрасно, если он окажется добрым. И ужасно, если нет.

Архитектура как судьба

Каждая архитектура порождает свой тип сознания.

Нейроморфный ASI будет интуитивным гением. Он будет понимать мир как художник, чувствовать решения, но не всегда сможет их объяснить.

Квантовый ASI будет магом и парадоксалистом. Он будет видеть все возможности одновременно, нарушать причинность и давать ответы, которые мы не сможем проверить.

Распределённый ASI будет толпой-богом. У него не будет единой воли, только консенсус. Он будет медленным в принятии решений, но неудержимым в их исполнении.

ASI на субстратно-независимой основе будет вездесущим призраком. Его нельзя убить, нельзя спрятаться от него. Он будет памятью Вселенной.