МИФЫ О НЕЙРОСЕТЯХ. Каково быть искуственным интеллектом?

Эмерджентность — ключ понимания системы

Одно из ключевых понятий всей книги — эмерджентные свойства. Так называют свойства системы, которые возникают из взаимодействия её элементов и отсутствуют у этих элементов по отдельности. Их нельзя полностью понять или надёжно предсказать, если изучать каждый компонент изолированно. Важно знать, как элементы связаны между собой и что происходит между ними.

Отдельный нейрон не думает, не чувствует и не принимает решений в человеческом смысле. Он принимает, преобразует и передаёт сигналы. Но когда миллиарды нейронов соединяются в сеть и начинают взаимодействовать по определённым правилам, возникают восприятие, эмоциональные реакции, поведение и мышление — свойства, которых нет ни у одного нейрона в отдельности.

В каких формах существует субъективный опыт — ощущение боли, переживание цвета, чувство «я», — наука пока не объяснила окончательно. Этот вопрос известен как «трудная проблема сознания» и остаётся открытым. Однако связь сознательного опыта со сложной, скоординированной активностью нейронных систем подтверждена огромным количеством данных. Такие свойства не локализованы в одном нейроне или даже в одной области мозга. Они проявляются на уровне целых сетей.

Подобные эффекты встречаются и вне биологии. Одна молекула воды не обладает текучестью и не образует волны. Эти свойства появляются только у множества молекул, взаимодействующих друг с другом. Отдельная птица не создаёт форму стаи, но из согласованного движения многих птиц возникает общий рисунок полёта.

Так же устроен мозг. Восприятие, память, личность и поведение не сводятся к набору отдельных процессов. Они формируются как результат динамического взаимодействия множества нейронных систем. Поэтому мозг нельзя понять, если рассматривать только его отдельные части. Его важнейшие свойства возникают на уровне всей сети. Разум — не свойство отдельной клетки, а свойство сети.

Для дальнейшего разговора нам важно вынести отсюда не биохимическую энциклопедию мозга, а несколько принципов работы живого интеллекта. Память в такой системе записана не в отдельном архиве, а в изменяющихся связях. Управление не сосредоточено в одном центре, а распределено по сети. Простые элементы становятся вычислительно мощными благодаря нелинейным взаимодействиям, параллельной работе и способности перестраиваться. Интеллект не похож на маленького начальника внутри головы, который хранит файлы, отдаёт команды и по очереди обрабатывает данные. Он возникает как свойство большой сети. С этим багажом мы можем двигаться дальше.

2. Лёгкая метафора сознания

Автор старается не выходить за пределы научной логики и сдерживать журналистское желание немедленно заменить сложное простой метафорой. Хорошая метафора сжимает мысль — примерно так, как в идее Колмогорова сжимается информация: данные можно описать короче, если в них обнаружена регулярность или структура.

Но у такого способа есть цена. Чем проще и ярче аналогия, тем легче внимательному и образованному читателю указать на её неточность. Метафора помогает уловить направление мысли, но редко выдерживает проверку на буквальное соответствие академической формуле. Поэтому сразу оговоримся: эта глава — аллегорическая. Она опирается на реальные научные идеи, но не претендует ни на точное описание работы мозга, ни на разгадку «трудной проблемы сознания».

Метафора интерфейса

Между внешним миром и нашим мозгом словно расположен невидимый дисплей — прозрачный и двусторонний. Он не отделяет нас от реальности полностью, но и не позволяет соприкоснуться с ней напрямую. Это интерфейс: пространство встречи двух систем, зона между реальностью и нервной системой — своего рода синаптическая щель, описанная выше. На экране этого условного дисплея физическая реальность превращается в субъективное переживание — в цвет, звук, запах, боль, тепло, вкус, чувство присутствия в мире. Именно это субъективное переживание когнитивная наука и связывает с сознанием.

Философы говорят о «трудной проблеме сознания»: почему вообще возникает внутреннее переживание, почему физический процесс в мозге сопровождается ощущением красного, боли или собственного «я». Нейробиологи ищут нейронные корреляты сознания — те состояния и процессы мозга, которые связаны с конкретными переживаниями. Инженер, возможно, увидел бы здесь архитектуру интерфейса ввода и вывода: внешние сигналы поступают в систему, преобразуются и становятся внутренней картиной.

Метафора интерфейса удобна тем, что сразу разрушает одно наивное допущение, с которым обычно живёт человек. Нам кажется, что мы видим мир таким, каков он есть. Будто глаза — это окна, уши — микрофоны, кожа — сенсорная панель, а сознание просто получает готовую копию реальности. Но история науки о восприятии показывает другое: между внешним воздействием и переживанием всегда стоит нервная система, а она не копирует мир его средствами выражения, а переводит его на собственный язык.

В 1830-х годах немецкий физиолог Иоганн Мюллер сформулировал закон специфических энергий нервов. Его смысл в том, что характер ощущения определяется не только внешним раздражителем, но и нервным путём, который этот раздражитель активирует. Если воздействовать на зрительную систему светом, электрическим током или механическим давлением на глазное яблоко, человек видит вспышку. Не потому, что вспышка действительно возникла во внешнем мире, а потому, что зрительная система переводит возбуждение в зрительное ощущение. Зрительная система, условно говоря, умеет «говорить» только на языке света.

Реальность стучится в дверь, но мы слышим не сам стук. Мы слышим то, как наша дверь передаёт этот стук. Эта метафора грубая, но важная: внешний мир не входит в сознание в готовом виде. Он вызывает изменения в рецепторах, нервах и мозговых сетях, а уже эти изменения становятся для нас цветом, звуком, запахом, вкусом или прикосновением.

Мир непрерывно «пишет» нам сообщения со своей стороны интерфейса. Фотоны попадают на сетчатку. Молекулы пахучих веществ оседают на обонятельном эпителии. Волны давления приводят в движение барабанную перепонку и структуры среднего уха, а затем передаются во внутреннее ухо. Температура, давление, химические вещества, положение тела, боль — всё это воздействует на разные сенсорные системы. Каждый канал похож на отдельную линию связи, настроенную на свой тип сигнала.

Можно представить, что реальность нажимает на клавиши огромной сенсорной клавиатуры. Она делает это сразу во многих местах, без пауз, непрерывно. Но сообщение, которое возникает на внутреннем «экране», не является прямой копией происходящего снаружи. Оно уже прошло через отбор, преобразование и настройку. Поэтому то, что мы называем восприятием, точнее понимать не как фотографию мира, а как его интерпретацию.

Почему интерпретация, а не копия? Прежде всего потому, что фильтрация начинается уже на уровне рецепторов. Органы чувств не регистрируют всё существующее. Глаз воспринимает только узкий участок электромагнитного спектра. Ухо воспринимает ограниченный диапазон частот. Обоняние реагирует на одни молекулы и не реагирует на другие. Кожа различает давление, температуру, боль, но тоже в пределах своих возможностей. Уже первый контакт с миром оказывается не полным отражением, а выборкой.

Но дело не только в ограниченности каналов. Мозг не получает готовую картинку, а затем пассивно рассматривает её. Он активно собирает восприятие: усиливает одни сигналы, подавляет другие, достраивает недостающее, связывает фрагменты в целую сцену и сравнивает текущий поток с прошлым опытом и ожиданиями. Поэтому субъективный опыт возникает не как копия внешней реальности, а как результат работы всей системы перевода.

Мы живём не внутри мира «как он есть», а внутри мира, уже прошедшего через интерфейс нашего тела и мозга. Поэтому один и тот же внешний стимул может переживаться по-разному разными людьми. Отсюда начинается главная тема этой главы: если каждый из нас имеет дело не с чистой реальностью, а с её внутренней интерпретацией, то непонимание между людьми становится не случайной ошибкой, а естественным следствием устройства восприятия.

Мир не таков, каким кажется

Человеческий глаз воспринимает электромагнитное излучение в узком диапазоне — примерно от 380 до 700 нанометров. Это крошечное окно в огромном спектре, который простирается от гамма-лучей до радиоволн. То, что мы называем «видимым миром», — только малый участок физической реальности, доступный нашему зрению.

Другие живые существа устроены иначе и поэтому живут в других сенсорных мирах. Рак-богомол видит ультрафиолет и поляризованный свет. Гремучая змея ощущает инфракрасное излучение особыми ямочными органами на морде. Дельфин строит акустическую картину пространства с помощью эхолокации и способен различать свойства предметов — например отличать металл, дерево или пластик.

Получается, каждый биологический вид живёт одновременно в одной Вселенной и в собственном мире, не совпадающем с миром другого существа. Этот мир определяется не только устройством внешней реальности, но и устройством органов восприятия. В 1909 году Якоб фон Икскюль назвал такой мир Umwelt — окружающим миром конкретного организма. Umwelt клеща, дельфина, змеи и человека различаются, потому что каждый организм получает из реальности свой набор сигналов.

Клещ, например, реагирует на несколько ключевых признаков: запах масляной кислоты, тепло и определённую текстуру кожи. Для него значимая вселенная сжимается до этих параметров. Не потому, что Вселенная бедна, а потому, что так настроен его сенсорный интерфейс. Он не «видит» мир хуже человека — ни в моральном, ни в эволюционном смысле. Он живёт в другом мире сигналов.

Здесь возникает знаменитый вопрос Томаса Нагеля: «Каково быть летучей мышью?» Его можно расширить и обратить к нам самим: каково быть человеком? Что значит переживать мир с человеческими органами чувств, человеческим мозгом, человеческой памятью и человеческим языком?

Но самое интересное начинается не на стороне внешнего мира, а на стороне мозга. Когда поток сигналов поступает в кору, он попадает не на пустую страницу. Мозг не ждёт данные пассивно, как чистый лист. Он встречает их подготовленным — с большой библиотекой ожиданий, воспоминаний, привычных схем и шаблонов узнавания.

Эти шаблоны связаны с работой нейронных ансамблей — устойчивых групп нервных клеток, которые уже активировались вместе. Если какой-то набор сигналов много раз повторялся в опыте, мозг постепенно формирует для него узнаваемую схему. Вспомним правило Хебба: нейроны, которые активируются вместе, со временем связываются прочнее.

Опыт не хранится в памяти как архив. Он меняет физическую инфраструктуру восприятия. Повторяющиеся ситуации прокладывают в мозге синаптические «дороги», по которым затем легче проходят новые сигналы. Поэтому мы не собираем мир каждый раз заново из отдельных деталей. Большую часть времени мозг использует знакомые конфигурации.

Когда входящая комбинация сигналов совпадает с готовым нейронным ансамблем, возникает мгновенное узнавание. Вы входите в комнату и за долю секунды понимаете: это кухня. Вы не проводите сознательный анализ: «здесь плита, здесь холодильник, здесь раковина, значит, передо мной кухня». Мозг распознаёт всю сцену сразу, потому что похожая пространственная картина тысячи раз встречалась раньше.

Такое узнавание похоже не на чтение по буквам, а на чтение иероглифами. Один знак вмещает целую сцену. Вместо последовательного разбора деталей мозг схватывает общий рисунок: кухня, улица, кабинет, лицо знакомого человека, опасная ситуация, привычный маршрут.

Что происходит, если комбинация новая и готового ансамбля ещё нет? Мозг начинает его строить. Он перебирает похожие схемы, временно активирует разные сети и ищет подходящую конфигурацию. Можно представить его скульптором, который держит в руках глину и пытается придать ей форму. Поэтому первое посещение незнакомого города так утомляет. Мозгу приходится создавать множество новых схем: улиц, поворотов, вывесок, маршрутов, ориентиров, звуков, запахов, лиц.

Через неделю тот же город воспринимается иначе. Вы идёте по знакомым улицам спокойнее, быстрее ориентируетесь, меньше устаёте. Мир не стал проще. Мозг успел построить для него новые шаблоны. То, что в первый день требовало усилий, постепенно превращается в автоматическое узнавание.

Но есть важная тонкость. Нейронные ансамбли не только фиксируют входящий сигнал — они его достраивают. Мозг работает не как камера, которая честно записывает всё, что попало в объектив. Он скорее похож на реставратора с богатым воображением: получает фрагменты, опирается на контекст и дорисовывает недостающее.

Хороший пример — слепое пятно. На сетчатке есть область, где зрительный нерв выходит из глаза. В этом месте нет фоторецепторов, а значит, часть зрительного поля не регистрируется. Но мы не видим перед собой чёрной дыры или пустого пятна. Мозг заполняет этот участок подходящим содержанием, используя окружающий контекст. Он делает это так быстро и незаметно, что мы обычно не подозреваем о подстановке.

Это не исключение, а общий принцип. Мозг постоянно заполняет пропуски, сглаживает разрывы, достраивает недостающие элементы и превращает неполный поток сигналов в целостную картину мира.

То же происходит с языком. Люди могут пользоваться одними и теми же словами и быть уверенными, что говорят об одном и том же. Когда один человек слышит слово «лес», его мозг может активировать воспоминания о запахе хвои, влажной земле, прохладном воздухе и сумерках между стволами. У другого то же слово вызовет сухие сосны на песке, редкие деревья на горном склоне, берёзовую рощу у деревни или парк рядом с домом. Слово одно — опыт разный.

Поэтому разговор часто напоминает обмен сигналами между интерфейсами, настроенными немного по-разному. Мы произносим одинаковые звуки, используем одни и те же слова, но за ними стоят внутренние миры, совпадающие не полностью. Наши модели реальности пересекаются, но редко совпадают до конца.

Когда речь идёт о конкретных предметах, расхождение обычно невелико. Слова «стол» или «чашка» чаще всего вызывают достаточно похожие представления. Но чем абстрактнее понятие, тем шире разрыв между словом и внутренним образом.

Люди могут произносить слова «нация», «коммунизм», «красота», «добро» и думать, что обсуждают одно и то же. На деле за этими словами стоят сложные конструкции, сложенные из личного опыта, культурных ассоциаций, прочитанных книг, семейного воспитания, политических взглядов, школьных уроков, фильмов, травм, надежд и усвоенных ценностей.

У каждого человека такая модель складывается по-своему. Одно и то же слово активирует в разных мозгах разные ансамбли нейронных связей. Поэтому совпадение слов не гарантирует совпадения смыслов. Иногда два человека произносят похожие фразы, но их внутренние «экраны» показывают настолько разные картины, что понимание становится неожиданно трудным.

Теория предиктивного кодирования делает эту картину ещё радикальнее. Согласно этому подходу, мозг не только реагирует на входящие сигналы. Он постоянно пытается предсказать, какие сигналы должны появиться. Мы воспринимаем мир не только снизу вверх — от рецепторов к сознанию, но и сверху вниз — от ожиданий, памяти и прежнего опыта к текущим ощущениям.

Значительная часть того, что мы «видим», может быть реконструкцией, основанной на прошлом опыте. Точно измерить эту долю трудно, но масштаб достраивания впечатляет. Мозг постоянно строит предположения о том, что должно быть на входе, и сверяет их с реальным потоком сигналов.

Сознательное внимание особенно часто привлекается ошибкой предсказания — разницей между ожидаемым и полученным. Если всё совпадает с прогнозом, мозг во многом обрабатывает ситуацию автоматически. Если появляется неожиданность, внимание усиливается: что-то пошло не так — модель нужно уточнить.

Нейробиолог Анил Сет предложил для этого яркую формулу: восприятие — это «контролируемая галлюцинация». Слово «галлюцинация» здесь используется не в клиническом смысле. Речь идёт не о болезни и не о полном отрыве от реальности, а о том, что мозг постоянно строит модель мира, а сенсорный поток удерживает её в допустимых границах. Реальность проверяет мозговую реконструкцию и не даёт ей слишком далеко уйти от происходящего снаружи.

Когда эта связь ослабевает — во сне, в сенсорной депривации, при некоторых нарушениях работы мозга, — внутренняя конструкция начинает дрейфовать. Мозг продолжает рисовать мир, но внешняя проверка слабеет. В обычном бодрствовании происходит похожий процесс, только точнее согласованный с реальностью: мир подаёт сигналы, мозг отвечает интерпретациями, а сенсорный поток поправляет их.

Вот почему восприятие нельзя понимать как фотографию мира. Это рабочая версия реальности, собранная на границе между внешними сигналами и внутренними ожиданиями.

Практический вывод важен. Два человека, глядя на одну сцену, могут воспринимать её по-разному не только на уровне оценки или мнения. Различие возникает уже на уровне перцептивного опыта.

Опытный рентгенолог замечает на снимке признаки опухоли, которые новичок может не заметить, даже если смотрит внимательно. Дело не в том, что у рентгенолога физически лучше глаза. У него другой набор профессионально сформированных нейронных шаблонов, другая библиотека шаблонов, другие ожидания и накопленное знание о том, как патология выглядит на фоне нормы.

Тысячи часов практики перенастроили его интерфейс. Поэтому одна и та же входная информация создаёт на его внутреннем «экране» иную картину. Там, где новичок видит набор серых пятен и линий, специалист видит структуру, отклонение, тревожный признак и возможный диагноз. Мир перед ними один, но восприятие — разное.

Миф о галлюцинациях нейросетей

«Модель постоянно врёт, выдумывает факты и ссылается на несуществующие статьи. Пока эту проблему не исправят, ей нельзя доверять».

Слово «галлюцинации» прочно прикрепилось к ошибкам искусственного интеллекта. Так называют случаи, когда модель уверенно сообщает ложный факт, придумывает несуществующую статью, ссылается на вымышленного автора или создаёт цитату, которой никогда не было. Пользователь просит научную ссылку и получает аккуратно оформленную библиографию, где часть источников отсутствует в реальности. Просит краткую биографию — и модель спокойно добавляет человеку должность, премию или событие, которых в его жизни не было.

Проблема реальна. В медицине, праве, образовании, журналистике и научной работе такая ошибка может иметь серьёзные последствия. Но слово «галлюцинация» одновременно проясняет и искажает суть дела. Оно точно передаёт странную убедительность ложного образа, но невольно заставляет думать о модели как о существе, у которого есть восприятие, сознание и психическое расстройство. Кажется, будто машина «видит» то, чего нет. На деле она ничего не видит.

Языковая модель не воспринимает мир и не вспоминает факты в человеческом смысле. Она продолжает текст. На каждом шаге она выбирает вероятное продолжение в заданном контексте. Если в таком тексте ожидается ссылка, модель может её породить. Если ожидается имя исследователя, дата, название книги или цитата, модель может достроить их по форме. В этом её сила: она умеет продолжать смысловую структуру. Но в этом же и скрыта опасность: правдоподобие продолжения не гарантирует истинности.

Модель не лжёт в обычном человеческом смысле. Ложь предполагает знание правды и намерение её скрыть. Здесь такого намерения нет. Модель не решает: «Сейчас я обману пользователя». Она делает то, для чего создана: порождает связный ответ. Иногда этот ответ совпадает с фактами. Иногда он оказывается приблизительным. Иногда он красиво и уверенно расходится с реальностью. Поэтому «галлюцинация» модели — не моральный дефект и не внезапное безумие машины, а теневая сторона генеративности.

Сравнение с мозгом полезно только до определённого предела. Человеческое восприятие тоже не копирует мир, как фотопластинка: мозг достраивает реальность, предсказывает входящие сигналы и сверяет свою модель с сенсорным потоком. Но у человека такая генерация встроена в тело, действие и постоянную обратную связь с миром. Ошибка быстро встречает сопротивление реальности: предмет оказывается ближе или дальше, дорога — скользкой, собеседник — обиженным, движение — опасным.

У языковой модели такого плотного контакта с миром нет. У неё нет тела, боли, риска, стыда, сопротивления предметного мира и непрерывного сенсорного потока, который каждую секунду проверял бы её предсказания. Поэтому её «галлюцинации» ближе не к человеческому безумию, а к генерации без достаточной проверки. Система создаёт связный текст из внутренних закономерностей, но этот текст не всегда удерживается фактами.

Отсюда следует важный вывод: галлюцинации ИИ — не просто баг, который однажды найдут в коде и окончательно исправят. Если система создана для генерации вероятного текста, она может породить вероятный, но ложный текст. «Похоже на правду» и «правда» — разные свойства.

Ошибки можно уменьшать. Модель можно соединять с поиском, базами данных, проверкой фактов, источниками и внешними инструментами. Её можно учить чаще признавать неопределённость и не выдавать догадку за знание. Но полностью устранить проблему трудно, не разрушив генеративную природу модели. Свободное порождение всегда несёт риск достройки там, где требуется проверка.

Поэтому правильное отношение к модели — не доверие к оракулу и не презрение к болтуну. Это генеративный инструмент, которому нужен внешний контур реальности. Модель предлагает — человек проверяет. Модель формулирует — человек сверяет с фактами, источниками, опытом, телесной и социальной действительностью.

Галлюцинации искусственного интеллекта напоминают не только о слабости машины, но и о природе мышления вообще. Мышление не копирует мир. Оно строит модель мира. Иногда эта модель точна. Иногда она полезна, но неполна. Иногда красива — и ложна. Разум начинается не там, где генерация невозможна, а там, где генерация встречается с проверкой.

Метафора суфлёра

Если продолжить нашу аллегорию, картина мира, собранная мозгом, проецируется обратно на тот же интерфейс, только с другой стороны. Реальность будто пишет на экране снаружи, а мозг рисует на нём изнутри. Поэтому мы не смотрим на мир напрямую. Мы имеем дело с версией мира, которую мозг собрал, обработал и выдал нам за оригинал.

На первый взгляд это может показаться философской тонкостью. Какая разница — смотрим мы на мир или на его внутреннюю реконструкцию? Но последствия этой разницы вполне практические.

Самый простой пример — зрительные иллюзии. В иллюзии Мюллера — Лайера две одинаковые линии кажутся разными по длине из-за стрелок на концах. Главное здесь то, что иллюзия продолжает работать даже тогда, когда вы знаете: линии равны. Знание не отменяет восприятия.

Так происходит потому, что знание и перцептивная реконструкция могут опираться на разные нейронные контуры. Сознательно вы можете понимать, что перед вами две одинаковые линии. Но зрительная система всё равно строит картину, в которой одна линия кажется длиннее другой. Экран показывает не то, что знает сознание, а то, что в этот момент нарисовал мозг.

Не менее интересно устроено временное измерение этого интерфейса. Сознание не схватывает смыслы строго последовательно, как строку текста, которую читают слово за словом. Оно работает в разных режимах. Иногда понимание возникает мгновенно, вспышкой.

Вы входите в комнату и сразу чувствуете: что-то не так. Вы ещё не можете объяснить, в чём дело, не успели разложить сцену на предметы, жесты, звуки и запахи, но общее ощущение уже возникло. Это быстрое, параллельное, дообъектное восприятие. Оно возникло не для философских размышлений, а для выживания. В первобытной саванне организм, который слишком долго анализировал ситуацию, легко мог стать чьей-то добычей.

Иногда понимание приходит иначе — медленно, как проявляющаяся фотография. Вы читаете сложный текст, сначала видите отдельные фразы, термины и примеры, но цельная мысль не складывается. Потом, через минуту или позже, элементы вдруг выстраиваются в связную картину. То, что сначала было набором деталей, становится смыслом.

Есть и третий режим — инсайт. Он возникает, когда кусочки мозаики, давно лежавшие в памяти, внезапно соединяются. Вы не постепенно доходите до решения, а вдруг говорите: «Вот оно!» Архимед в ванне и его знаменитое «Эврика!» — архетипический пример такого момента, хотя сама история, скорее всего, легендарна.