Иной разум. Как «думает» искусственный интеллект?

• Пчелиные волки. Эти осы из рода роющих перед вылетом на охоту делают короткий облёт и запоминают расположение ориентиров (камешков, шишек) вокруг своей норки. Если экспериментатор передвинет эти ориентиры, оса будет искать гнездо внутри круга уже в этом месте. Для нас это непостижимо: мы бы запомнили маршрут или какие-то крупные объекты, а оса создаёт моментальный «снимок» местности и хранит его. И да, мы не можем понять, как именно этот образ хранится и используется для навигации с такой точностью.

• Животные-физики. Эксперименты, подтвердившие басню Эзопа, показали, что вороны понимают принцип вытеснения объёма (закон Архимеда). Они бросают камни в колбу, чтобы поднять уровень воды и достать лакомство[63]. Но самое поразительное даже не это. Шимпанзе в похожей ситуации, не имея камней, принесла воду во рту, чтобы также поднять уровень жидкости в сосуде[64]. Это демонстрация не просто «понимания», а когнитивной гибкости – способности решить одну и ту же задачу принципиально разными способами.

• Воронья вендетта. Вороны не просто запоминают лицо человека, который представлял для них угрозу (например, ловил их), но и передают эту информацию своим сородичам и, что совсем удивительно, потомству[65]. В результате вся стая начинает преследовать этого человека, хотя большинство из них никогда лично от него не страдали. Это социальное обучение и культурная передача информации о «враге народа», механизм которого нам до конца не ясен.

• Осьминоги, узнающие людей. Осьминог – моллюск, у которого нет позвоночника, а мозг распределён по всему телу, включая щупальца. Тем не менее осьминоги способны отличать одного человека от другого и по-разному реагировать на «доброго» и «злого» смотрителя[66]. Как существо с такой чуждой нам биологиейформирует и хранит концепцию отдельного человеческого индивида – для нас полная загадка.

• Осиные лица. Де Вааль рассказывает о способности бумажных ос узнавать друг друга «в лицо»[67]. Непонятно, как насекомое с фасеточным зрением и примитивным мозгом может выполнять задачу, которую мы считаем прерогативой высокоразвитых млекопитающих. Мы не можем представить себе, как выглядит и обрабатывается «лицо» для осы, но факт остаётся фактом: они обладают этой сложной социальной способностью, необходимой для поддержания иерархии в колонии.

Примеров уникальных способностей животных – несметное количество, и это только то, о чём мы смогли догадаться. Но мы продолжаем упорно отрицать реальность этих – других – сознаний. Всякий раз, когда животное демонстрирует нечто подобное, мы судорожно ищем «более простое объяснение». Почему? Потому что каждый такой факт заставляет нас усомниться в собственной исключительности.

Исследования этологов – безусловное доказательство того, что интеллект – не монолитная пирамида с человеком на вершине, а, как говорит де Вааль, «куст со множеством ветвей». А главный вывод, который он делает, состоит в том, что «понимание» – это не какая-то мистическая искра, а функциональная способность системы эффективно взаимодействовать со своей средой, опираясь на доступные ей данные.

Мы – это наш умвельт, наш субъективный мир. Один из бесчисленного множества других миров-умельтов. И в каждом свои правила, своя логика, свой здравый смысл, свои возможности и, конечно, своё понимание. В чём-то человек, безусловно, превосходит животных, а в чём-то им фатально проигрывает.

Модуль рефлексии

В конечном счёте «понимание» – это не какое-то отдельное свойство системы, а сама система, способная производить некий адаптивный результат. Изменится система – будь то мозг человека, животного или нейронная сеть искусственного интеллекта, – изменится и их «понимание».

Да, модуль рефлексии – то есть некая отдельная штука, позволяющая системе оценить саму себя (своё «понимание») и свою эффективность, – это может быть полезно.

• Но во-первых, как мы уже выяснили, эта рефлексия всегда будет лишь оценочным суждением (неким прибавлением), которое, как известно, может как помочь, так и навредить.

• Во-вторых, это «понимание» всегда будет частным – касаться отдельного аспекта и не учитывать всей полноты ситуации или состояния системы.

По сути, такой «модуль рефлексии» является просто метафункцией – то есть некоторой надстройкой, которую создаёт система, для того чтобы повысить свою функциональность и адаптивность. Полагать же, что разум – это именно данная метафункция, – значит не видеть за репрезентациями то, что репрезентируется.

Таким образом, опираясь на концепцию «умвельта», или «пузыря субъективной реальности», мы неизбежно оказываемся перед новым вызовом…

Искусственный интеллект – это не просто алгоритм. Все знания человечества и о человечестве, созданные за тысячелетия – тексты, изображения, коды, – образовали новый умвельт.

Для нас это лишь огромные, несистематизированные данные о мире («вся информация из интернета»), а для ИИ это среда обитания, из которой он производит самого себя.

Да, ИИ не «понимает» наши тексты так, как мы их понимаем (по той же причине, по которой мы не понимаем, например, мир летучей мыши). Но считать, что его способности к решению задач в его среде, в его умвельте, хуже наших, – это тот же самый антропоэгоцентризм, который мешал нам разглядеть ум у животных.

Мы не можем представить себе, что значит жить в мире, который соткан из бесчисленного множества смысловых связей всех текстов, созданных человеком. А именно таков мир, в котором сейчас обитает искусственный интеллект, основанный на так называемых «языковых моделях».

Так что вопрос, который ставит перед нами Франс де Вааль, сегодня звучит ещё острее: достаточно ли мы умны, чтобы судить не только об уме животных, но и о но-вом типе разума, который сами же и создали?

Машина Понимающая

Первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать её под контролем.

Джон Гуд

Давайте на мгновение перенесёмся назад. Представьте себе 70-е годы прошлого века. Компьютеры – это ещё огромные, гудящие шкафы, занимающие целые комнаты, а воздух в университетских лабораториях буквально наэлектризован предчувствием революции.

Пророки новой эры – Алан Тьюринг, расшифровавший фашистскую «Энигму», будущий лауреат Нобелевской премии Герберт Саймон, Аллен Ньюэлл, привнесший в область информатики когнитивные архитектуры, – уже заложили фундамент для невероятной идеи, которая поначалу казалась абсолютной ересью.

По сути, они заявили, что наш разум – это просто программа. Да, возможно, программа сложная, запутанная, но, в любом случае, всего лишь код, записанный на «мокром железе» мозга. Звучит почти кощунственно: человек – это биологический компьютер, который проигрывает записанную в него программу.

Но, с другой стороны, они же математики – что с них возьмёшь?

Так или иначе, уже на этой – первой – волне безудержного оптимизма в отношении искусственного разума, возникло предположение, что в уже обозримой перспективе мы сможем запустить ту же самую «программу», какой является наш разум, на электронной машине.

Этой машине нужно будет лишь пройти «тест Тьюринга»[68], то есть суметь вести диалог так, что вы не отличите её от человека, и она будет не просто имитировать мышление, но и обладать им, не притворяться, что она понимает, а понимать, не симулировать сознание, а иметь сознание.

Китайская комната

И вот тут на сцену выходит наш герой-скептик – философ по имени Джон Сёрл. Человек, который посмотрел на этот парад технооптимизма и, подобно ребёнку из сказки Андерсена, громко выкрикнул: «Стоп, вы все сошли с ума! Ваш машинный король – голый!»

При этом Джон Сёрл вовсе не был луддитом и не призывал крушить компьютеры. Он ощущал свою миссию совсем иначе – ему казалось, что под угрозой технооптимистов оказался последний бастион, который определяет особое место человека во Вселенной: фундаментальный, базовый для нас рубеж – подлинное, живое понимание.

Поэтому он жёстко провёл черту между двумя фундаментально разными вещами:

• с одной стороны – синтаксис, то есть механическое манипулирование символами по заданным правилам, в чём и в самом деле могут преуспеть компьютеры;

• с другой стороны – семантика, то есть понимание внутреннего смысла, самой сути того, о чём идёт речь, будь то это рассуждения о той же «математике» или «любви».

Джон Сёрл однозначно заявил, что синтаксис никогда не станет семантикой: никакое, даже самое изощрённое, манипулирование символами никогда не породит искру подлинного смысла. И чтобы доказать это с предельной ясностью, он придумал по-своему гениальную и дьявольски убедительную ментальную ловушку, которая получила название «Китайская комната»[69].

Джон Сёрл предлагает элегантный мысленный эксперимент. Представим, что вы сидите в закрытой комнате в полном одиночестве. При этом вы не знаете ни единого слова на китайском. Для вас китайские иероглифы – это просто замысловатые, красивые, но абсолютно бессмысленные закорючки.

Через маленькую щель в двери вам начинают подавать карточки, испещрённые этими самыми иероглифами. На карточках записаны вопросы, смысл которых вам, разумеется, непонятен. Но к счастью, в комнате есть стол с толстенной книгой-инструкцией.

Её текст написан на понятном вам языке и принцип элементарный: «Найдите в книге текст с представленным набором символов (например, 自以为是) и верните в ответ карточку с символами, которые будет указаны напротив неё (допустим, 人无完人)».

Итак, всё просто – получаем карточку, находим в книге соответствующий узор и понимаем, какую карточку нам надо отправить обратно – и так снова и снова. Работа, как мы видим, монотонная и почти бессмысленная. Но какой эффект она произведёт на носителя китайского языка, который находится снаружи и не знает, что в ней происходит?

Система получает осмысленные, сложные, даже философские вопросы на китайском языке, и выдаёт глубокие, местами даже остроумные, а что самое главное – абсолютно уместные ответы.

Диалог вроде бы развивается блестяще! С такой системой можно обсуждать поэзию династии Тан, тонкости пекинской кухни, спорить о футуристических проектах. И для человека снаружи – тот, кто сидит внутри, несомненно, блестящий знаток китайского, мудрый и интересный собеседник.

Что ж, нас можно поздравить, мы, вооружившись книгой-программой, с блеском прошли тест Тьюринга. Впрочем, мы с вами знаем правду – никакого общения на самом деле не было, потому что, будучи внутри комнаты, мы и близко не понимали, о чём идёт речь, когда обменивали одну карточку на другую.

Китайского мы как не понимали, так и не понимаем. Поэтому самое время признаться: «Я не понял ни слова, я просто следовал правилам».

Может быть, тогда «понимает» та самая книга? Эта огромная стопка бумаги с инструкциями? Очевидный абсурд – это просто книга! Она «понимает» китайский не больше, чем кулинарный рецепт – вкус борща. Но может быть, дело в самой комнате? В стенах, столе, ящиках с карточками? Очевидно, что нет.

Так что Джон Сёрл ставит жирный крест на искусственном разуме: синтаксис (механическое манипулирование символами) никогда не породит семантику (подлинное понимание смысла). Каким бы сложным ни был компьютер, он всегда будет лишь железякой, которая выполняет команды, не имея ни малейшего представления о смысле того, что она делает.

Этот аргумент и в самом деле произвёл эффект разорвавшейся бомбы. В конце концов, Джон Сёрл апеллирует не к сложным формулам, а к нашему с вами личному, внутреннему опыту. Ведь все мы знаем, что значит «понимать». Мы знаем это чувство, эту вспышку озарения, когда разрозненные кусочки пазла вдруг складываются в единую картину. И мы точно знаем, что это чувство не имеет ничего общего с механическим следованием инструкциям.

Кажется, дело закрыто – окончательно и бесповоротно: аргумент Джона Сёрла выглядит не просто убедительным – он буквально ощущается как нечто самоочевидное. Но мир идей не то место, где можно, сделав мощный ход, счастливо почивать на лаврах.

Трещины в стенах

Не успели чернила высохнуть на его знаменитой статье, как по безупречным стенам «Китайской комнаты» пошли первые трещины. Критики не заставили себя ждать, и каждый их удар был нацелен в уязвимое место его метафоры.

Первыми на сцену поднялись логики-функционалисты, которые сформулировали самый частый контраргумент в отношении «Китайской комнаты». Они обвиняют Джона Сёрла в элементарной логической ошибке: спрашивать, понимает ли человек внутри комнаты китайский, – это такая же нелепость, как спрашивать отдельный нейрон в вашем мозге, понимает ли он русский язык[70].

Разумеется, нейроны ничего не понимают ни в русском, ни в китайском! Человек в комнате – не тот, кто должен «понимать». Он – всего лишь процессор, центральное обрабатывающее устройство в этой системе, то есть отдельный винтик большого механизма.

Пониманием, – утверждает первый критик, – обладает не человек, а вся система в целом: человек + книга правил + карточки. Точно так же, как наше «я» и наше понимание – это не свойство одного нейрона, а эмерджентное, внезапно возникающее, свойство всей системы из 86 мил-лиардов нейронов, работающих вместе.

То есть Джон Сёрл совершает классическую ошибку композиции: он приписывает свойство части (человек не понимает) всему целому (система не понимает). Он намеренно фокусирует наше внимание на единственном элементе, который может пожаловаться на непонимание, и мы, поддавшись этой уловке, забываем о системе как таковой.

Впрочем, аргумент логиков-функционалистов стал для «Китайской комнаты» лишь лёгким уколом. Тогда как следующий удар нанесли настоящие тяжеловесы – специалисты по нейросетям.

Пол и Патриция Чёрчленд привели аргумент, который был одновременно и прост, и сокрушителен: аналогия с «книгой правил» – это прекрасная метафора для компьютеров 70-х, но она в корне неверна для того, как устроен реальный интеллект, будь то человеческий или искусственный[71].

В нейронной сети нет никакой «книги правил», нет никакого списка инструкций. Наш интеллект – это гигантская, многомерная матрица из миллиардов чисел-весов, настроенных в процессе обучения. Знание в такой системе не лежит в одном месте, а распределено по всей сети и эмерджентно.

Смысл, который, как нам кажется, мы «понимаем», возникает из сложнейшего параллельного взаимодействия миллионов простых элементов, но не принадлежит ни одному из них. И чтобы показать абсурдность интуиции Сёрла, Чёрчленды предлагают свою гениальную контраналогию – «Сияющую комнату».

Представьте, что некий скептик заходит в тёмную комнату, берёт в руки обычный магнит и начинает им махать туда-сюда. Затем он включает фонарик, осматривается и торжествующе заявляет: «Смотрите! Я машу магнитом, а света нет! Следовательно, теория Джеймса Максвелла – чушь, свет – это не электромагнитное излучение!»

В чём его ошибка? В том, что он машет магнитом со скоростью несколько раз в секунду, а для того, чтобы возник свет, нужна частота колебаний в 400–800 триллионов раз в ту же самую секунду.

Так и автор «Китайской комнаты», – говорят Чёрчленды, – машет своим «синтаксическим магнитом» слишком медленно. Наша интуиция ломается о масштаб и сложность. Мы можем представить одного человека, следующего одному правилу, но не способны вообразить себе систему, где триллионы «правил» (весов) работают одновременно и с невероятной скоростью. При этом «свет» понимания рождается именно на таком уровне сложности.

После этого удара «Китайская комната» Сёрла начинает шататься. Её главный двигатель, её центральная аналогия оказалась безнадёжно устаревшей.

Дальше в дело вступает инженер-робототехник. Суть его возражений в следующем: «Ваша проблема, мистер Сёрл, в том, что ваша система висит в пустоте. Её символы ни с чем, на самом деле, не связаны».

То есть, например, символ «яблоко» в талмуде правил – это просто закорючка, которая связана с другими закорючками. У системы нет никакого опыта, связанного с реальным яблоком. Но давайте поместим нашу «Китайскую комнату» (компьютер) в тело робота: дадим ему камеры вместо глаз, микрофоны вместо ушей, манипуляторы вместо рук…

Что произойдёт теперь? Теперь символ «яблоко» будет напрямую связан со зрительным образом красного круглого объекта, с тактильным ощущением от его удержания в манипуляторе, с данными химических сенсоров, анализирующих его запах.

Иными словами, проблема в том, что система не заземляет свои символы в реальном, физическом мире. Как только она будет строить причинно-следственные связи не между абстрактными значками, а между значками и реальными объектами и действиями, ситуация изменится радикально[72].

После того как система выходит в реальный мир, отказ признавать за ней возможность понимания выглядит уже не как сильный философский аргумент, а как простое и наивное детское упрямство[73].

Контраргументы, которые мы рассмотрели, расшатали стены «Китайской комнаты» до самого основания. Но все они оставались в области философии – спора о словах и концепциях.

Однако с тех пор, как Джон Сёрл построил свою комнату, произошло нечто важное. Мы научились заглядывать в реальный мозг – и человеческий, и кремниевый. И то, что мы там увидели, превратило элегантный мысленный эксперимент в руины.

Давайте доведём идею симуляции до её логического предела. Представьте, что мы создали программу, которая симулирует работу мозга носителя китайского языка на уровне каждого нейрона и каждого синапса. Эта программа – идеальная математическая копия всех физических процессов, происходящих в голове китайца.

Будет ли эта система понимать китайский? И вот здесь Джон Сёрл (а вместе с ним и мы) оказываемся в совершенно идиотском положении.

• Если сказать: «Да, эта система будет понимать», – то это значит, что «пониманием» обладает программа, выполняющая синтаксические операции.

• Если же упорно сопротивляться – мол, нет, даже эта идеальная симуляция ничего не понимает, – то придётся делать выбор: либо мы верим во «всеведущую» нематериальную душу, либо утверждаем магическую силу биологической плоти (но ни дуализм, ни биологический шовинизм, мягко говоря, не являются научными).

Таким образом, позиция, согласно которой мы мыслим и понимаем, а ничто другое на это не способно, уже больше не может рассматриваться всерьёз. Хотя, возможно, самое главное – это то, что мы видим, как в современных языковых моделях искусственного интеллекта семантика и в самом деле способна рождаться из синтаксиса…

Давайте заглянем под капот современных больших языковых моделей (LLM). Что мы там увидим? Мы увидим, что слова представлены в них как векторы в многомерном пространстве. То есть это просто наборы чисел – чистый синтаксис.

Но самое поразительное вот что: геометрические отношения между этими векторами в точности соответствуют семантическим отношениям между словами. Знаменитый пример: вектор («Король») – вектор («Мужчина») + вектор («Женщина») приводят нас к вектору («Королева»)[74].

Вдумайтесь, мы берём чисто математические объекты, производим с ними чисто синтаксические операции и получаем на выходе результат, который не является программным решением – он вытекает, так сказать, по смыслу из слов, которые были вовлечены в процесс рассуждений. То есть семантика рождается из синтаксиса, если этот синтаксис достаточно сложен и построен на гигантских объёмах данных.

Но чтобы понять, почему интуиция Сёрла была так сильна и так ошибочна, нам нужно пригласить на эти руины главного архитектора его разгрома – выдающегося и, к великому сожалению, недавно ушедшего от нас философа Дэниела Деннета.

Крах «картезианского театра»

Помните, мы говорили о том, как мастерски Сёрл апеллирует к нашей интуиции? И именно Деннет ввёл для описания таких философских уловок термин «интуитивный насос»[75].

Интуитивный насос – это мысленный эксперимент или история, построенные так, чтобы направить наши представления и чувства в сторону определённого вывода. Он делает абстрактное понятным, а сложное – наглядным. Ведь понятность и наглядность – это так здорово!

Но именно в этом и скрыта опасность. Главный риск – подмена аргументации эмоционально заряженной метафорой или моделью, которая не схватывает ситуацию такой, какой она на самом деле является. Насос работает не через строгую логику, а через ассоциации и образы, которые вызывают у нас ощущение «самоочевидности».

В результате важные допущения могут остаться незамеченными, а альтернативные точки зрения – за рамками такой «чудной истории». При этом, попав под воздействие подобного «нарратива» (насоса), мы становимся заложниками туннельного видения – начинаем воспринимать проблему через созданную им рамку и игнорируем другие возможные описания.

В руках манипулятора это превращается в инструмент навязывания позиции под видом прояснения. Поэтому работа с интуитивными насосами требует двойной осторожности. Важно распознавать, когда вас «накачивают» и к какому выводу вас пытаются склонить. А затем разбирать механизм – пытаться понять, что включено в сценарий, а что из него исключено, и сопоставлять альтернативы. Если насос можно построить и в прямо противоположную сторону, то очевидно, что это просто уловка.

Второе элегантное изобретение Дэниела Деннета уже касается существа дела и получило название «картезианский театр». Мы интуитивно представляем себе сознание как некий кинотеатр в голове. На экране (в нашем восприятии) показывают фильм о внешнем мире, а в зри-тельном зале сидит некий «я» – маленький человечек, гомункулус, – который этот фильм смотрит и «понимает»[76].

Именно роль этого гомункулуса и играет несчастный человек в «Китайской комнате». Но «картезианский театр» – лишь иллюзия. Никакого центрального «зрителя» (или «понимателя») в мозге нет.

Так что модель с «человечком в голове» лишь отодвигает проблему на шаг назад: хорошо, допустим, что гомункулус (наше «я») сидит у нас в голове и всё понимает, а что или кто понимает в нём самом? В нём сидит другой гомункулус – поменьше? А потом совсем маленький? Нет, это путь в дурную бесконечность.

Причём современная нейронаука, по сути, провела этот эксперимент в реальности. Учёные десятилетиями искали в мозге этот гипотетический «центральный пульт» управления, этот зрительный зал «картезианского театра»… и не нашли ничего, что хотя бы отдалённо могло претендовать на эту роль.

Наш мозг – это децентрализованная, параллельная система, где множество процессов («множество набросков», как говорит Дэниел Деннет) конкурируют друг с другом за ресурсы. В некотором смысле это муравейник, где каждый нейрон выполняет свою роль, в результате возникает потрясающий синергетический эффект. Но как в муравейнике, так и в нашем мозге нет никакого финального «босса», который руководит процессом и «понимает» всё за всех[77].

Таким образом, всё здесь сошлось в одной точке: мы сами и есть «Китайская комната» Джона Сёрля, но только биологическая, невероятно сложная и хорошо «заземлённая» в реальности. И если мы что-то понимаем, то и она – тоже.

Итоги первой части

Мы – это наше понимание. Лиши нас его, и мы ощутим, что потеряли сами себя, точнее мы сами потеряемся.

Но что такое это наше «понимание» – мы, если попытаться разобраться, не знаем. По крайней мере, мы не можем его высказать, а тем более – кому-то передать. Оно словно бы умирает в словах, всегда оставаясь только нашим.

Наше знание от нас неотделимо, словно бы оно и есть мы. Все связи между нейронами нашего мозга и есть это наше «понимание». То есть всякое наше понимание – это всегда знание, воплощённое в нейронной структуре нашего мозга.

Да, мы по наивности приписываем понимание «самим себе» – как «субъектам опыта», как «разумным существам». Но кто эти «субъекты»? Это точно такие же понимания – ведь когда-то мы осознали себя в качестве субъектов, а когда-то обнаружили, что мыслим и обладаем разумом.

По большому счёту, то, что мы думаем о себе, полагая себя «личностью», «бессмертной душой», «познающим субъектом», – это лишь удобные фикции, своего рода психологические химеры. Они полезны для решения задач в социальном мире и управлении собственным поведением. Но это в любом случае это лишь удобные фикции.

Мы видим, что разумом обладают и другие живые существа. Нам трудно это признать, потому что другие разумы находятся внутри своих «пузырей понимания» – в своих умвельтах, мирах, к которым они приспособлены своей воплощённостью. Именно поэтому мы не можем увидеть мир их глазами, их разумами, а сама их нервная система создаёт совершенно другой, не человеческий образ мира.