Почему оно думает? Путешествие внутрь искусственного разума

Результаты выглядели почти скучно: гладкие кривые, предсказуемое поведение, никаких сюрпризов. Увеличиваешь ресурсы вдесятеро – получаешь определённое улучшение. Ещё вдесятеро – ещё улучшение. Зависимость степенная: чтобы добиться заметного прогресса, нужно экспоненциально больше ресурсов. Но прогресс – есть. Это можно планировать, на это можно закладывать бюджеты, под это можно строить вычислительные центры.

Но scaling laws описывают количественное улучшение. Модель лучше угадывает следующее слово – это измеримо, это понятно, это укладывается в рамки задачи. А потом произошло нечто, что в эти рамки не укладывается.

Вода при девяноста девяти градусах и вода при ста градусах – химически та же вода. Те же молекулы, те же связи, та же формула. Но при ста градусах она кипит. Один градус – и качественно другое состояние. Физики называют это фазовым переходом: количественное изменение, накопившись, порождает качественный скачок.

Нечто похожее случилось с языковыми моделями. GPT-2, выпущенная в 2019 году, имела полтора миллиарда параметров. Она умела генерировать связный текст, иногда убедительный, часто бессмысленный. Её можно было использовать как забавную игрушку: задаёшь начало истории – она продолжает. Результат развлекал, но не впечатлял. Модель явно не понимала, о чём пишет. Она складывала слова в последовательности, похожие на осмысленные, но осмысленность была поверхностной, иллюзорной.

GPT-3 появилась в 2020 году. Сто семьдесят пять миллиардов параметров – в сто с лишним раз больше. Архитектура та же. Принцип обучения тот же. Задача та же: предсказать следующий токен. Изменился только масштаб.

И вдруг модель начала делать то, чему её не учили.

Ей давали арифметические примеры – она решала их правильно. Не всегда, но статистически значимо лучше, чем можно было бы объяснить случайностью или запоминанием. Двузначные числа складывала уверенно. Трёхзначные – с ошибками, но чаще правильно, чем неправильно. GPT-2 на тех же примерах выдавала случайные цифры.

Показывали несколько примеров перевода с французского на английский – она продолжала переводить новые фразы, хотя никто не обучал её переводу как отдельной задаче. Меняли направление – переводила в обратном направлении. Меняли языки на немецкий и испанский – справлялась и с ними. GPT-2 в тех же условиях путалась, смешивала языки, теряла смысл.

Описывали логическую задачу – она выдавала решение, иногда верное, с цепочкой рассуждений. «Если все А – это B, и все B – это C, то все А – это C». Машина не просто повторяла схему, она применяла её к конкретным примерам: «Все врачи – люди. Все люди смертны. Значит, все врачи смертны». GPT-2 на таких задачах генерировала грамматически правильный, но логически бессмысленный текст.

Исследователи назвали это few-shot learning: способность выполнять новые задачи, увидев лишь несколько примеров, без специального обучения. Ещё точнее – in-context learning, обучение в контексте: модель как будто обучается прямо во время обработки запроса, на тех примерах, которые ей дали. GPT-2 этого не умела. GPT-3 – умела. Между ними – только размер.

Здесь важно остановиться и зафиксировать странность. Модель обучали предсказывать следующее слово. Это единственная цель, единственный сигнал, единственная метрика успеха во время обучения. Никто не говорил модели: «Научись решать арифметику». Никто не давал ей задачу: «Освой перевод». Никто не требовал: «Выучи логические рассуждения». Всё, что она делала – минимизировала ошибку предсказания следующего токена на гигантском корпусе текстов.

И тем не менее способности появились.

Можно возразить: в обучающих данных были арифметические примеры, были переводы, были логические задачи с решениями. Модель могла их запомнить. Но запоминание не объясняет обобщение. Модель решает примеры, которых не было в данных. Она переводит предложения, которые никто никогда не писал. Она применяет паттерны к новым случаям – а это уже не память, это что-то другое.

Что именно – мы не знаем.

Scaling laws предсказывали, что модель станет лучше угадывать слова. Они не предсказывали, что она начнёт решать задачи. Количественное улучшение в одной метрике каким-то образом превратилось в качественно новые способности. Как вода, которая при нагревании не просто становится горячее, а начинает кипеть.

Аналогия с водой, впрочем, неполная. Мы знаем физику фазовых переходов. Мы понимаем, почему при определённой температуре молекулы воды получают достаточно энергии, чтобы преодолеть силы притяжения и перейти в газообразное состояние. Механизм известен, уравнения написаны, предсказания точны.

С языковыми моделями ситуация иная. Мы видим, что при определённом масштабе появляются новые способности. Мы можем даже примерно предсказать, при каком масштабе какая способность возникнет – эмпирически, по накопленным данным. Но почему это происходит – мы не понимаем. Механизма нет. Есть только наблюдение.

Некоторые учёные пытались найти постепенность там, где другие видели скачок. Они показывали, что если измерять способности более тонкими метриками, переход выглядит менее резким. Модель не внезапно научилась арифметике – она постепенно становилась в ней лучше, просто при малых размерах улучшение было ниже порога, который мы замечаем. Как ребёнок, который долго молчит, а потом «вдруг» говорит предложениями – на самом деле он учился всё время, просто мы не замечали промежуточных шагов.

Это похоже на правду, и у этой позиции есть сторонники. Но она не снимает вопроса. Даже если переход плавный, он всё равно есть. Даже если способность нарастает постепенно, она всё равно возникает из задачи, которая её не подразумевала. Градуальность не равна объяснению. Сказать «это происходило постепенно» не значит сказать «вот почему это произошло».

Другие исследователи указывали на данные. В обучающем корпусе – весь интернет, миллиарды страниц, триллионы слов. Там есть всё: учебники математики и форумы программистов, философские трактаты и инструкции по сборке мебели, научные статьи и бредовые теории заговора. Модель, предсказывая следующее слово в этом океане текстов, неизбежно выучивает паттерны, которые в них закодированы. Арифметика – паттерн. Логика – паттерн. Причинно-следственные связи – паттерн. Модель не понимает арифметику – она выучила, как выглядят тексты, где арифметика применяется правильно.

Это объяснение звучит убедительно, но оно смещает вопрос, не отвечая на него. Допустим, модель выучила паттерны. Как она их применяет к новым случаям? Почему паттерн, извлечённый из одного контекста, работает в другом? Что позволяет модели обобщать – переносить выученное на ситуации, которых она не видела? Предсказание следующего слова этого не требует. Можно представить модель, которая идеально запомнила все тексты и выдаёт статистически вероятные продолжения, не обобщая ничего. Такая модель не решала бы новых задач. А GPT-3 – решает.

Есть ещё одна гипотеза, более техническая. По мере роста модели растёт её способность к так называемому in-context learning – обучению на лету, внутри контекста. Когда вы даёте модели несколько примеров перевода, она не просто копирует их формат. Она выстраивает внутри себя временную «программу», которая выполняет перевод. Эта программа не хранится в весах модели – она возникает в процессе обработки конкретного запроса, в активациях нейронов, в потоках внимания. Маленькая модель не способна выстроить такую программу – ей не хватает ёмкости. Большая – способна.

Гипотеза красивая, и у неё есть эмпирическая поддержка. Исследователи находили внутри моделей структуры, похожие на «временные программы». Но это описание, не объяснение. Мы говорим: модель умеет строить временные программы. Мы не говорим: вот почему она умеет это делать. Вот какой механизм это обеспечивает. Вот из какого принципа это следует.

Факт остаётся фактом: при определённом масштабе модель начинает демонстрировать способности, которых не было в её задаче. Scaling laws описывают количественное улучшение. Они не объясняют качественного скачка. Линия на графике ползёт вниз – ошибка уменьшается. А потом происходит нечто, чего на графике не видно: модель начинает делать то, чего от неё не ждали.

Исследователи, работавшие с GPT-3 в 2020 году, описывали своё удивление. Они знали, что строят большую модель. Они ожидали, что она будет лучше генерировать текст – связнее, убедительнее, разнообразнее. Они не ожидали, что она начнёт решать задачи, которые ей не ставили.

Первые отчёты читались как записки натуралистов, обнаруживших новый вид. Осторожные формулировки: «модель демонстрирует поведение, напоминающее…». Оговорки: «мы не утверждаем, что модель понимает…». Растерянность перед феноменом, который не укладывается в привычные рамки. Исследователи привыкли к тому, что нейросети делают то, чему их учат. А здесь – что-то сверх того. Что-то, что появилось само.

Том Браун и его коллеги, авторы статьи о GPT-3, писали о «мета-обучении»: модель как будто научилась учиться. Не в том смысле, что у неё есть отдельный механизм для обучения. В том смысле, что её способность предсказывать слова включает в себя способность подстраиваться под контекст. Видишь примеры перевода – понимаешь, что нужно переводить. Видишь примеры арифметики – понимаешь, что нужно считать. Формулировка красивая, но объяснением её не назовёшь. Это переописание факта, не его объяснение.

С тех пор модели стали ещё больше. GPT-4 превосходит GPT-3 по всем параметрам. Новые способности продолжают появляться. Каждое поколение демонстрирует что-то, чего не умело предыдущее. Закономерность подтверждается: масштаб порождает новое качество. Объяснение отсутствует: почему масштаб порождает именно это качество – остаётся загадкой.

Мы вернёмся к этой загадке в третьей части книги. Сейчас важно зафиксировать факт. Scaling laws – наблюдаемая регулярность, которая позволяет предсказывать улучшение. Но улучшение в предсказании слов каким-то образом превращается в способности, которые выходят за рамки предсказания слов. Вода нагревается, нагревается, нагревается – и вдруг кипит. Модель растёт, растёт, растёт – и вдруг решает задачи.

Механизм кипения воды известен. Механизм возникновения способностей – нет.

Это не мистика. Это не чудо. Это факт, который мы наблюдаем, воспроизводим, используем – и не понимаем. Таких фактов в истории науки было много. Люди тысячелетиями использовали огонь, не понимая химии горения. Века применяли магнитный компас, не зная электромагнетизма. Селекционеры выводили новые породы животных за тысячи лет до открытия генетики. Факт не требует объяснения, чтобы существовать. Он просто есть. Его можно использовать, на него можно опираться, с ним можно работать.

Но наука не любит необъяснённых фактов. Она стремится понять, встроить наблюдение в теорию, вывести частное из общего. Она хочет не только знать, что вода кипит при ста градусах, но и понимать, почему именно при ста, почему именно так, какой механизм за этим стоит. И здесь – пока – стена. Мы видим, что происходит. Мы не понимаем, почему.

Следующий вопрос неизбежен: какие именно способности возникают? И можно ли было их предвидеть?

3.2. Эмерджентность: способности, которых никто не заказывал

Представьте ребёнка, которого учат читать. Буквы, слоги, слова, предложения. Родители терпеливо показывают книжки, водят пальцем по строчкам, поправляют произношение. Задача ясна: научить распознавать символы и складывать их в осмысленный текст. И вот однажды ребёнок, глядя на ценник в магазине, складывает цифры и говорит: «Это дорого, у нас не хватит». Его не учили арифметике. Он научился сам – каким-то образом, пока учился читать.

Это метафора, и она неточна. Дети учатся в мире, где арифметика повсюду: в разговорах взрослых, в играх, в самой структуре реальности. Нельзя сказать, что ребёнок научился «сам» – он учился у мира. Но метафора схватывает важное: иногда обучение одному приводит к овладению чем-то другим. Иногда результат превосходит задачу.

С языковыми моделями произошло именно это, только в масштабе, который трудно осознать.

Термин «эмерджентность» пришёл из философии и теории сложных систем. Он описывает ситуацию, когда целое обладает свойствами, которых нет у частей. Вода мокрая, хотя ни кислород, ни водород по отдельности не мокрые. Муравейник демонстрирует сложное поведение, хотя отдельный муравей следует простым правилам. Сознание возникает из нейронов, хотя ни один нейрон не сознателен. Эмерджентность – не объяснение, а название для класса явлений, где сумма оказывается больше слагаемых.

В контексте языковых моделей эмерджентными называют способности, которые появляются при определённом масштабе и которых не было в явном виде в задаче обучения. Модель учили предсказывать следующий токен. Она научилась – помимо этого – решать задачи, которые никто не заказывал.

Список этих способностей поражает разнообразием.

Арифметика. Модели ранних поколений не умели считать вообще. Они могли выдать правильный ответ на «2+2», потому что видели это сочетание в данных тысячи раз. Но «347+258» ставило их в тупик – такого примера в данных не было, а принципа сложения они не знали. GPT-3 начала справляться с двузначными числами. GPT-4 решает многозначные примеры, хотя и с ошибками. Способность появилась без единого урока арифметики – только из предсказания слов в текстах, где арифметика иногда встречалась.

Программирование. Ранние модели могли генерировать код, похожий на настоящий, но не работающий. Синтаксис выглядел правильно, переменные имели осмысленные имена, но программа не делала того, что должна была делать. Современные модели пишут работающий код. Они понимают задачу, формулируют алгоритм, реализуют его на конкретном языке, находят и исправляют ошибки. Этому их не учили специально. Они выучили это, предсказывая следующий токен в репозиториях с кодом.

Chain-of-thought, цепочка рассуждений. Это, возможно, самое удивительное. Если попросить модель сразу дать ответ на сложный вопрос, она часто ошибается. Но если попросить её сначала рассуждать вслух, шаг за шагом, качество ответов резко возрастает. Модель как будто «думает», раскладывая задачу на части.

Исследователи из Google обнаружили это в 2022 году, и открытие было почти комическим в своей простоте. Джейсон Вэй и его коллеги добавляли к задачам фразу «давай подумаем шаг за шагом» – и результаты улучшались на десятки процентов. Задача про возраст людей, которую модель решала неправильно в лоб, решалась правильно, если модель сначала выписывала промежуточные шаги. Математические примеры, логические головоломки, задачи на здравый смысл – везде один и тот же эффект.

Модель не учили рассуждать пошагово. Никто не добавлял в функцию потерь награду за промежуточные шаги. Она научилась сама – потому что в обучающих данных были тексты, где люди рассуждали пошагово: учебники, объяснения, разборы задач. Модель выучила паттерн рассуждения вместе со всеми остальными паттернами. И этот паттерн оказался функциональным – он улучшал результат.

Понимание намерений. Модель способна понять, чего хочет пользователь, даже если он выразился неточно или неполно. Она достраивает контекст, угадывает цель, предлагает то, что человек имел в виду, а не то, что он буквально сказал. Человек пишет: «сделай покороче» – и модель понимает, что речь о предыдущем тексте, что нужно сохранить смысл, но убрать лишнее. Человек пишет: «а если по-другому?» – и модель понимает, что нужен альтернативный вариант того, о чём шла речь. Это похоже на то, как работает понимание между людьми – мы постоянно интерпретируем друг друга, заполняя пробелы, достраивая недосказанное. Модель делает то же самое. Её этому не учили явно – ни один пример в обучающих данных не был размечен как «здесь пользователь имеет в виду вот это».

Многоязычность. Системы, обученные преимущественно на английском тексте, демонстрируют способности в других языках. Не так хорошо, как в английском, но значительно лучше, чем можно было бы ожидать от случайного угадывания. Они переводят, отвечают на вопросы, генерируют тексты на языках, которые составляли малую долю обучающих данных. Они как будто уловили что-то общее в структуре языков – или, по крайней мере, ведут себя так, будто уловили.

Каждая из этих способностей появилась не по заказу. Никто не включал в функцию потерь «научись арифметике». Не добавлял специальный модуль для программирования. Не проектировал механизм пошагового рассуждения. Всё это возникло как побочный эффект одной простой задачи: предсказать следующий токен.

Хронология появления этих способностей показательна. В 2019 году, с GPT-2, ничего этого не было. Модель генерировала связный текст, но не решала задач. В 2020 году, с GPT-3, появился few-shot learning – способность выполнять новые задачи по нескольким примерам. В 2022 году обнаружили chain-of-thought – пошаговое рассуждение, улучшающее результаты. В 2023 году, с GPT-4, способности достигли уровня, на котором модель сдаёт профессиональные экзамены – юридические, медицинские, инженерные.

Четыре года. Та же архитектура. Та же задача. Только масштаб.

Возникает естественный вопрос: можно ли было это предвидеть? Знали ли исследователи, что масштабирование приведёт к таким результатам?

Ответ – нет. И это важно понимать. Scaling laws предсказывали улучшение в предсказании слов. Они не предсказывали появление новых способностей. Графики показывали: ошибка предсказания будет падать. Графики не показывали: при таком-то размере модель начнёт программировать.

Эмерджентность по определению непредсказуема: если бы мы знали заранее, что при определённом размере модель научится решать дифференциальные уравнения, это не было бы эмерджентностью – это было бы запланированным свойством. Мы бы проектировали систему с этой способностью. А мы – не проектировали. Мы обнаружили способность уже после того, как система была построена.

Некоторые исследователи предполагали, что масштаб имеет значение. Рихард Саттон в 2019 году написал эссе «Горький урок», где утверждал: в истории искусственного интеллекта общие методы, масштабируемые с ростом вычислений, всегда побеждали специализированные подходы, основанные на человеческом знании. Вывод был провокационным: вместо того чтобы вкладывать интеллект в архитектуру, нужно вкладывать вычисления в обучение. Но даже Саттон не предсказывал конкретных способностей. Он говорил о тенденции, не о результате.

Илья Суцкевер, один из основателей OpenAI, позже описывал это как ставку: команда верила, что масштаб даст что-то важное, но не знала, что именно. Интуиция и несколько обнадёживающих экспериментов – вот и всё, на чём держалась уверенность. Ставка сыграла. Но это была именно ставка, не предсказание.

Сейчас, оглядываясь назад, можно рационализировать. Модель видела триллионы токенов. В этих токенах закодировано человеческое знание: как считать, как программировать, как рассуждать. Модель, достаточно большая, чтобы уловить все эти паттерны, неизбежно научится их воспроизводить. Звучит логично. Но это объяснение post factum. До того, как способности проявились, никто не мог сказать с уверенностью: вот при таком размере модель начнёт программировать, вот при таком – рассуждать пошагово.

Более того, мы до сих пор не можем предсказать, какие способности появятся следующими. Модели продолжают расти. GPT-5 находится в разработке. Что она будет уметь такого, чего не умеет GPT-4? Мы не знаем. Мы можем предположить, что что-то новое появится, – эмпирическая регулярность подсказывает это. Но что именно – загадка до момента, пока модель не обучена и не протестирована.

Это странное положение дел для инженерной дисциплины. Обычно инженеры знают, что строят. Они проектируют мост – получают мост. Проектируют самолёт – получают самолёт. Свойства изделия следуют из проекта. Здесь – иначе. Исследователи проектируют систему для предсказания слов, а получают систему, которая решает задачи, пишет код, рассуждает о морали. Свойства изделия превосходят проект.

Некоторых это пугает. Если мы не знаем, что получим, – как мы можем контролировать процесс? Как можем гарантировать безопасность? Как можем отвечать за результат? Эти вопросы законны, и мы вернёмся к ним позже. Сейчас важно другое: эмерджентность – это факт. Нравится нам или нет, способности появляются без заказа. Мы не проектируем их – мы обнаруживаем.

Слово «обнаруживаем» здесь ключевое. Исследователи языковых моделей всё больше напоминают натуралистов, изучающих новый вид. Они не создают поведение – они наблюдают его. Они не программируют способности – они тестируют, какие способности проявились. Каждая новая модель – как экспедиция в неизвестное: ты примерно знаешь, куда идёшь, но не знаешь, что найдёшь.

После выхода каждой крупной модели начинается период, который исследователи неформально называют «capability elicitation» – выявление способностей. Сотни людей по всему миру придумывают задачи, которые можно дать модели. Математика, логика, программирование, творческое письмо, анализ текстов, ролевые игры, решение головоломок. Никто не знает заранее, с чем модель справится. Каждый удачный тест – маленькое открытие. Каждый провал – граница, которую пока не удалось преодолеть.

Это похоже на исследование пещеры с фонариком. Луч освещает небольшой участок. Ты видишь, что там. Но ты не знаешь, что в темноте вокруг. Может быть, рядом – огромный зал. Может быть – тупик. Пока не посветишь – не узнаешь.

Ребёнок, которого учили читать, научился ещё и считать. Модель, которую учили предсказывать слова, научилась ещё и думать – или делать что-то настолько похожее на мышление, что разницу трудно уловить. В обоих случаях результат превзошёл задачу. В обоих случаях мы не вполне понимаем, как это произошло.

Разница в том, что ребёнка мы можем спросить. Мы можем попросить его объяснить, как он догадался про ценник. Он, возможно, ответит что-то вроде: «Я видел, как мама считает деньги». Объяснение будет неполным, детским – но оно даст нам зацепку. Мы поймём, откуда взялся навык.

Модель – нет. Точнее, спросить можем, но ответу нельзя доверять: модель генерирует правдоподобные объяснения, не имея доступа к собственным механизмам. Если спросить её: «Почему ты умеешь программировать?» – она ответит что-нибудь разумное. Скажет про обучающие данные, про паттерны, про трансфер знаний. Но это не отчёт о внутреннем устройстве – это текст, похожий на объяснение. Модель не знает, почему умеет то, что умеет. Она генерирует гипотезу так же, как генерирует любой другой текст.

Вопрос, который остаётся: откуда это взялось?

Не «как» – на «как» есть технический ответ: из обучения на данных, из архитектуры трансформера, из масштаба. А «откуда» в более глубоком смысле: почему предсказание слов порождает рассуждение? Почему статистика употребления превращается в способность решать задачи? Почему количество – именно это количество, именно так организованное – переходит в качество?

На этот вопрос ответа нет. Есть гипотезы, есть спекуляции, есть красивые метафоры. Но объяснения, из которого всё следовало бы с необходимостью, – нет. Мы наблюдаем явление. Мы воспроизводим его. Мы используем результаты. Мы не понимаем, почему оно происходит.

Эмерджентность – удобное слово. Оно позволяет назвать то, что мы видим. Но название – не объяснение. Сказать «это эмерджентное свойство» – значит сказать «это свойство, которое появилось неожиданно и которое мы не можем вывести из известных нам принципов». Честнее было бы признать: объяснения у нас нет.

И с этим нам предстоит разобраться – или признать, что разобраться невозможно. Но прежде чем дойти до этого признания, стоит рассмотреть ещё один факт: момент, когда учёные осознали, что получили не то, что строили.

3.3. Точка, где количество перешло в качество

История создания языковых моделей – это история людей, которые строили одно, а получили другое. Не в смысле ошибки или провала. В смысле превышения ожиданий настолько радикального, что оно потребовало пересмотра самих категорий.

В начале 2010-х годов нейросети для обработки языка были нишевым инструментом. Они помогали в машинном переводе, в распознавании речи, в анализе тональности текстов. Задачи были конкретными, метрики – чёткими. Перевод должен быть точным. Распознавание – безошибочным. Анализ тональности – соответствовать разметке. Исследователи улучшали модели шаг за шагом, соревновались на стандартных наборах данных, публиковали статьи о приросте в несколько процентов.

Никто не думал о «мышлении». Никто не ставил вопрос о «понимании». Это были инженерные задачи с инженерными решениями.

Трансформер, предложенный в 2017 году командой Google, был именно таким решением. Архитектура для машинного перевода. Статья называлась «Attention Is All You Need» – «Всё, что нужно, – это внимание». Название отсылало к техническому новшеству: механизму внимания, который позволял модели связывать далёкие части текста. Авторы показали, что их подход превосходит предыдущие на задаче перевода. Это была хорошая статья с хорошими результатами. Одна из многих.