Искусственный интеллект. Путь к новому миру

Еще спустя два года появилось само понятие «искусственный интеллект». До этого ученые, например, Тьюринг, использовали Intelligent Machinery (в переводе с англ. – «интеллектуальная машина»). Термин, которой вошел в обиход, предложил американский информатик Джон Маккарти на легендарном Дартмутском летнем исследовательском семинаре по искусственному интеллекту, который считается точкой отсчета в этом направлении науки.

К концу 1960-х годов, по мнению ученых, бóльшая часть работы в области ИИ была выполнена – оставалось исправить мелкие ошибки. В это верили и главные спонсоры исследований и компьютерных разработок в США – правительство и Пентагон. Развитие области интересовало военных, так как компьютеры и программное обеспечение все чаще становились важнейшими компонентами систем вооружений. А без качественных информационных технологий их нельзя было довести до ума. Интерес военных к ИИ был обусловлен и общим стремлением к автоматизации в США. Это была центральная тема исследований в стране после окончания Второй мировой войны.

Значительная часть инвестиций поступала  через Управление перспективных исследовательских проектов – Defense Advanced Research Projects Agency, DAPRA (тогда – Advanced Research Projects Agency, ARPA). Оно было создано  в 1958 году в ответ на запуск Советским Союзом первого искусственного спутника Земли. Перед DARPA ставилась задача восстановить и сохранить первенство Штатов в сфере военных технологий. Организация оказала эпохальное влияние на развитие цифровой среды. Для примера, эта она финансировала разработку университетами распределенной компьютерной сети ARPANET, из которой вырос Интернет, навсегда изменивший то, как мы потребляем информацию, общаемся и работаем.

Особенно важным центром финансируемых управлением исследований был Стэнфордский исследовательский институт (SRI). Центр, основанный в 1966 году, внес значительный вклад в такие области, как языковой перевод и распознавание речи. Там, к примеру, создали  первого автономного робота по имени Шейки (Shakey): его разрабатывали с 1966 по 1972 год на основе исследований в области робототехники, компьютерного зрения и обработки естественного языка. Готовая модель могла рассуждать над собственными действиями: в то время как другим требовались инструкции для каждого конкретного шага, Шейки мог анализировать команды и разбивать их на простые действия. Основная часть программы писалась на одном из первых языков программирования – LISP, который в 1958 году создал уже упомянутый Джон Маккарти. Еще почти через 50 лет эта же организация запустила стартап Siri, который в 2010 году купила Apple.

Хотя ученым было что показать, этого оказалось недостаточно. Прогресс шел слишком медленно. Поэтому оптимизм сменился пессимизмом: интерес к ИИ постепенно начал угасать и в конечном итоге сменился  «зимой». В 1974 году DARPA сократила инвестиции в исследования ИИ. К тому моменту стало понятно, что заманчивые обещания ученых не сбываются: ошибок еще много и до умных автономных роботов с юмором и любовью к Шекспиру крайне далеко.

Интересно, что одним из главных разочарований, которое в итоге привело к закрытию спонсорских программ и в целом скепсису к сфере, стал машинный перевод, про который я упомянул ранее. После многолетних исследований ученые так и не смогли преодолеть фундаментальные проблемы машинного перевода – они недооценили многозначность слов и важность контекста. Из-за этого машина могла полностью исказить смысл фразы. Общеизвестным примером стал перевод на русский и обратно фразы The spirit is willing but the flesh is weak («Дух крепок, но плоть слаба»), превратившейся в результате в The vodka is good but the meat is rotten («Водка хорошая, но мясо протухло»). Во многом прогрессу препятствовали существующие технические ограничения – недостаток компьютерных мощностей и данных.

Впоследствии индустрия пережила еще несколько падений и подъемов. Первая оттепель наступила в 1980-х годах. Тогда исследователи осознали, что, объединяя персептроны Фрэнка Розенблатта в слои, можно решать более сложные задачи, чем раньше. Простые сети могли работать только с линейными данными. Многослойный же персептрон (MLP) мог обрабатывать нелинейные данные и обучаться на своих ошибках с помощью метода обратного распространения ошибки, а значит, осваивать новые навыки.

В дальнейшем ученые изобрели множество типов архитектур. В нашем мозге одновременно происходят процессы распознавания и образов, и текста, и картинок – и все это откладывается в памяти. Компьютерные же нейросети не столь универсальны: пришлось придумывать разные виды, каждый из которых лучше всего приспособлен для своей задачи. Например, в 1990-х появились сверточные нейронные сети (convolutional neural network, CNN) – разновидность нейронных сетей, создатели которой были вдохновлены возможностями и устройством человеческого зрения. Они фокусируются на распознавании образов и используются в приложениях компьютерного зрения. Концепцию предложили Ян Лекун, Леон Ботт, Йошуа Бенгио и Патрик Хаффнер в 1998 году в статье «Градиентное обучение в распознавании документов». Эта работа заложила основу сверточных нейронных сетей. Однако следующие десять лет модель оставалась на уровне теории из-за опять же слабого развития технологий, низких вычислительных мощностей, нехватки данных для обучения моделей и пр.

Хотя ученым удалось добиться множества интересных результатов, постепенно в индустрии наступила вторая «зима». Она во многом связана с развитием персональных компьютеров – они перетянули внимание на себя, и финансирование искусственного интеллекта вновь сократилось. Такая ситуация сохранялась до начала 2000-х годов. Еще десять лет понадобилось для того, чтобы ИИ вновь привлек внимание широкой общественности.

Прорыв случился в 2012 году. В тот год в Торонто проходило ежегодное соревнование разработок в области распознавания изображений – ImageNet Large Scale Recognition challenge. Среди участников была команда из исследовательской лаборатории ИИ в Торонтском университете. Ею руководил 64-летний британец Джефф Хинтон. Он начинал карьеру еще в 1970-х и был из тех немногих, кто продолжил исследования ИИ после первой «зимы». В интервью американскому The New Yorker он признавался , что это было непросто: «В хороших университетах нейросетями тогда занимались единицы. Вы не могли этим заниматься в MIT. Вы не могли это делать в Беркли. Вы не могли делать это в Стэнфорде».

В 1978 году он получил докторскую степень в области искусственного интеллекта в Эдинбургском университете. Уже будучи профессором департамента информатики Торонтского университета, он вместе с двумя аспирантами – выходцами из России Алексом Крижевским (Alex Krizhevsky) и Ильей Суцкевером (Ilya Sutskever) – разработал алгоритмы, с помощью которых они обучали компьютерные системы распознавать устную речь, автоматически считывать банковские чеки и мониторить промышленные установки для повышения безопасности. Все эти наработки со временем легли  в основу большой нейронной сети AlexNet, обученной распознавать  изображения объектов – цветов и автомобилей. На ImageNet исследователи впервые продемонстрировали  свою модель, что принесло им победу и мировую славу. Разработка спровоцировала новую волну интереса к ИИ и бум на венчурном рынке. Согласно данным исследования CB Insights , число сделок со стартапами с приставками ИИ за следующие пять лет выросло в 4,6 раза – с 150 в 2012 году до 698 в 2016 году.

Но что такого особенного было в AlexNet? Почему никто не мог с ней конкурировать, а после мероприятия случился бум? Во-первых, это была одна из первых сверточных нейронных сетей, которая продемонстрировала мощь глубокого обучения в компьютерном зрении. Она состояла из восьми слоев, что было значительно глубже, чем у предыдущих сетей. Такая глубина позволяла захватывать более сложные признаки изображений, что повысило качество распознавания. Во-вторых, AlexNet показала, что глубокие нейросети могут категоризировать данные, которые они до этого не видели. Представьте, что вы обучили модель распознавать кошек на наборе данных с разными конкретными изображениями нескольких пород: персов, британских голубых и пр. Модель могла определить породу у кошки на изображении, которое не участвовало в обучении. Сейчас это кажется данностью, но предыдущие поколения нейросетей этого не умели. Они могли определить породу кошки только на фотографии, которую уже видели и запомнили. А ведь способность обобщать данные и распознавать новые изображения – это как раз то, что делает возможным использовать нейросети для прикладных задач!

Прорыва не случилось бы, если бы не изменения на рынке. Большие наборы данных, которые необходимы для обучения нейросетей, стали доступнее благодаря развитию Интернета. Талант и визионерство команды из Университета Торонто проявились также и в том, что они использовали для обучения графические микропроцессоры; об этом писал в своей книге «Власть Роботов» Мартин Форд. Оказалось, что они могут служить «мощными ускорителями» для приложений, связанных с глубинным обучением. Они могли выполнять  более тысячи миллиардов операций в секунду вместо недели. К тому моменту такие процессоры в основном использовались в видеоиграх.

После признания «мощного синергетического эффекта глубокого обучения и графических процессоров» NVIDIA даже изменила траекторию своего движения, как пишет Форд. Так она превратилась в одну из самых значимых технологических компаний в мире. Об этом свидетельствует ее рыночная стоимость: с января 2012 года по январь 2020 года акции компании выросли на колоссальные 1500 %. Рост, кстати, продолжился в 2022 году, после появления ChatGPT и последовавшего бума в области ИИ, а как следствие – спроса на чипы компании. В 2023 году оценка ее стоимости достигла  1 трлн долларов.

По стопам своих исследований в 2012 году Хинтон и его партнеры запустили  собственный стартап DNNresearch. Правда, развивали его недолго: годом позже компанию приобрел  Google. IT-гигант вел  аналогичные исследования под руководством Джеффа Дина и надеялся за счет команды вывести их на новый уровень. Впоследствии это подразделение получило название Google Brain. Хинтон провел в Google 10 лет. Он покинул компанию только в 2023 году, чтобы открыто критиковать развитие нейросетей. По его мнению, они могут заполнить интернет фейковыми новостями, а также лишить людей работы. Его партнер, Суцкевер, ушел задолго до этого, еще в 2015 году. Тогда он стал главным ученым и сооснователем молодого стартапа, который только образовался и планировал составить конкуренцию Google. Этой компанией была OpenAI, которая еще спустя почти 10 лет совершила новую революцию на рынке ИИ.

В OpenAI Суцкевер возглавил разработку моделей-трансформеров. Это большие языковые модели, которые могут определять контекст и адаптироваться к различным задачам. Такие модели даже прозвали  «Т9 нового уровня». И это недалеко от истины: они могут читать огромные объемы текста, выявлять закономерности в том, как слова и фразы связаны друг с другом, и затем предсказывать, какое слово должно последовать за этим. Архитектуру для моделей-трансформеров разработали  в 2017 году в Google, Суцкевер приложил к этому руку еще до своего ухода из компании. Обычные глубокие нейронные сети (DNN) могли плохо понимать контекст в длинных последовательностях. Но архитектура «трансформер» решила эту проблему благодаря механизму самовнимания (self-attention). Он позволяет модели самостоятельно определять, какие слова в предложении важны и как они связаны друг с другом. Таким образом модель понимает контекст и взаимосвязи слов в тексте и обрабатывает длинные цепочки данных. По сути, основная функция нейросетей – предсказывать следующее слово или его часть, ориентируясь на предшествующие. Причем после генерации каждого нового слова модель заново прогоняет через себя весь предыдущий текст вместе с только что написанным дополнением – и пишет последующее слово уже с учетом него. Сделав несколько таких итераций, она отдает пользователю связный текст.

Архитектура трансформера впоследствии стала фундаментальной частью многих передовых моделей обработки естественного языка и машинного обучения. Так, в 2018 году Google представил BERT (Bidirectional Encoder Representations from Transformers) на основе такой архитектуры. В кратчайшие сроки BERT стал основным инструментом для решения задач обработки естественного языка. Фактически именно BERT стоял за каждым англоязычным запросом, вводимым через Google-поиск. В том же 2018 году OpenAI представил свою первую модель – GPT, которая в дальнейшем послужила основой для будущего мегахита ChatGPT‑3.5.

Важной вехой в истории развитии нейросетей стало появление GAN (Generative Adversarial Networks) – это технология глубокого обучения, которую предложили сотрудники Google Иан Гудфеллоу и его коллеги в 2014 году. Она позволяет генерировать новые данные на основе уже существующих. Это может быть текст, как в случае с ChatGPT, а также видео, картинки и музыка. GAN состоит из двух нейросетей – генератора и дискриминатора. Первая создает новые изображения или же музыку (в этой сфере технология также активно применяется), а дискриминатор определяет, насколько эти данные соответствуют реальным. Например, на основе изображений реальных котов можно создавать новые, практически не отличимые от настоящих. Все нейросети, которые генерируют новые данные на основе существующих, называют генеративным искусственным интеллектом. Подробнее о них я расскажу в следующей главе.

Глава 2

Революция генеративного ИИ

Мегахит‑2022

То, что происходит после выхода ChatGPT‑3.5, нередко называют «новой весной» в сфере искусственного интеллекта. Технологии снова привлекают внимание ученых, а также предпринимателей и, что немаловажно, инвесторов. Согласно данным  CrunchBase, мировые инвестиции в стартапы, которые разрабатывают продукты на базе ИИ, в 2023 году составили около 50 млрд долларов США. Почему это имеет значение? Кто знаком с миром технологий в целом и ИИ в частности, понимает, насколько разработка продуктов на основе нейросетей капиталоемкий процесс. Огромные средства требуются для сбора датасетов и обучения моделей, патентов, постоянной доработки.

Шел 2015 год, и несколько человек, которые в будущем станут основателями одной из самых (если не самой) влиятельных компаний в мире, собрались  на роскошном ужине в отеле Rosewood Sand Hill в сердце Кремниевой долины, Менло-Парке. На вечер пришли Сэм Альтман, тогда еще глава бизнес-инкубатора Y Combinator, и известный американский предприниматель Илон Маск, основатель SpaceX. Среди гостей также был 26-летний Грег Брокман, который бросил престижный MIT и работал техническим директором в финтех-стартапе Stripe. Среди присутствовавших были как опытные исследователи ИИ, так и новички в индустрии с минимальными навыками в машинном обучении. Объединяло их одно – вера в возможность создать общий искусственный интеллект.

Они хотели открыть лабораторию, которая разрабатывала бы передовые технологии в сфере ИИ и в перспективе могла бы конкурировать с Google. Участникам ужина не давала покоя недавняя покупка технологического гиганта – за год до этого он приобрел  стартап ИИ DeepMind, который помог бы ему монополизировать технологию всеобщего искусственного интеллекта в случае его успешного создания. Так как командой в первую очередь двигали научный интерес и миссия демократизировать передовые технологии ИИ, на старте они создали некоммерческую организацию. Команда проекта пообещала публиковать все свои разработки и открыть исходный код новых технологий. Эту идею они отразили в названии организации – OpenAI.

Спонсоры-учредители пообещали  выделить $1 млрд на новую компанию. Но обучение нейросетей оказалось намного дороже – стоимость достигала десятков миллионов долларов. Недешево обходилась и работа исследователей. Например, Суцкевер первые несколько лет работал ведущим научным сотрудником и получал  годовой оклад в размере 1,9 млн долларов США. Компания не могла оставаться некоммерческой с учетом таких расходов, поэтому Альтман и партнеры открыли коммерческое направление, которое могло бы привлекать венчурный капитал. «В конечном счете самое главное для нас – это добиться, чтобы общий искусственный интеллект приносил пользу всем. Мы считаем разработку коммерческого продукта одним из способов получить достаточное финансирование, чтобы этого удалось достичь», – так объясняется решение на официальном сайте компании.

Уже в 2018 году OpenAI представила первую модель GPT‑1. Она генерировала связный и контекстуально соответствующий текст по заданному запросу. Ее обучили на 5 Гб датасетов, которые включали тексты с интернет-страниц и книг. Модель содержала 117 млн параметров (также известны как «веса» или «коэффициенты»). Под параметрами понимаются значения, которые модель запоминает во время своего обучения.

Чтобы понять, что такое параметры, представьте, что у вас есть информация о домах и вы хотите предсказать цену одного из домов на основе нескольких его параметров, например, удаленности от города, размере дома, его состоянии, размере участка и материалов, из которых сделан дом. В этом примере можно использовать простейшую модель машинного обучения, называемую линейной регрессионной моделью, которую в нашем случае можно представить в виде функции регрессии:

f(x,b) = b0 + b1x1 + b2x2 + b3x3 +… + bnxn

где параметры:

b0 – начальный параметр, заданный в модели b1 – влияние удаленности от города на цену b2 – влияние размера дома на цену b3 – влияние состояния дома на цену и т. д.,

а x1, x2, x3 и т. д. – факторы модели, то есть текущие значения, которые подставляются в такую модель в зависимости от характеристик самого дома.

Во время обучения алгоритм анализирует ваш набор данных, сравнивает свои прогнозы с реальными ценами и корректирует значения параметров (b0, b1, b2 и т. д.), чтобы минимизировать разницу между своими прогнозами и фактическими ценами. После завершения обучения модель выучивает оптимальные значения этих параметров на основе найденных в данных закономерностей.

Спустя год появилась более продвинутая GPT‑2, обученная уже на основе 1,5 млрд параметров и 40 Гб датасетов. Она улавливала более сложные тонкости языка, чем ее предшественница, и установила новые стандарты в создании и понимании текста искусственным интеллектом. Ее даже использовал виртуальный ассистент Джой от «Сбера». Несмотря на существенный прогресс, OpenAI не стала останавливаться на достигнутом. В июне 2020 года она представила более совершенную модель – GPT‑3. По размеру та обошла предыдущие модели с большим отрывом: она уже работала  на основе 175 млрд параметров, а размер ее датасета составил 600 Гб. Она обучалась примерно на двух третьих данных интернета – в датасет вошла вся англоязычная «Википедия», книги и стихи, материалы на сайтах СМИ и GitHub, путеводители и даже сборники рецептов.

По сравнению с прошлыми моделями GPT‑3 продемонстрировала беспрецедентные возможности в различных языковых задачах – от перевода до генерации кода. Хотя сейчас об этом мало кто помнит, GPT‑3 произвела фурор. Не последнюю роль в этом сыграло эссе, опубликованное в британском издании The Guardian . Модель была его автором. В материале она признавалась, что может принимать рациональные, логические решения. «Я научилась всему, что я знаю, просто читая интернет, и теперь могу написать эту колонку», – делилась нейросеть. После материала о новом алгоритме заговорили даже те, кто далек от технологий.

На волне успеха компания начала дорабатывать модель и спустя два года планировала выпустить GPT‑4 – более совершенную версию, которая могла бы писать эссе, решать комплексные проблемы, в том числе писать код и т. д. После месяца тестирования модель GPT‑4 была практически готова. Ее планировалось зарелизить в начале 2023 года вместе с еще несколькими наработками OpenAI. Но руководство вдруг изменило план действий. Некоторые переживали, что конкурирующие компании могут отодвинуть их на второй план, выпустив собственные чат-боты на основе ИИ до GPT‑4 – по крайней мере, так рассказывали американским изданиям источники в компании. Поэтому компания решила выпустить промежуточную версию – GPT‑3.5. Ее выпуск позволил бы опередить конкурентов, а заодно быстрее собрать отзывы людей, чтобы потом доработать нейросеть.

К всеобщему удивлению, она произвела фурор: побила рекорды виральности и стала самым быстро растущим продуктом в истории, опередив Instagram  и TikTok. ChatGPT вызвал такой интерес отчасти благодаря сравнительной простоте и доступности – бесплатная бета-версия была открыта для всех и работала  по крайней мере на 95 языках, включая искусственные, например клингонский (язык вселенной из сериала «Звездный путь»).

Пользователь: Напиши короткий рассказ на клингонском языке, потом переведи его на русский

ChatGPT: Сначала создам небольшой рассказ на клингонском, а затем переведу его на русский язык. На клингонском:

Qo’noS qachDaq SuvwI’ Sa H. vaj, ghob’e’ qul tu’lu’. qul vISovbe’. «qaStaHvIS yIn, batlh bIHegh!» jatlh SuvwI’. vaj, SuvwI’ qul vIlegh. qul vIje’ ‘ej vaj, jIjaH. DaH, juppu’DI’ maH!

Перевод на русский:

В доме на Кроносе был воин. И вдруг, видит огонь. Я огонь не знаю. «Во время жизни, с честью умираем!» сказал воин. И так, воин смотрит на огонь. Я куплю огонь и потом, я уйду. Теперь, мы друзья!

Этот короткий рассказ отражает клингонский дух стойкости и чести, а также их склонность к прямому действию.

Она также позволяла общаться с ней формате неформального диалога, как с человеком. Это сделало ее доступной не только профессионалам – ученым и разработчиками, но и массовой аудитории. Изумляло, а некоторых даже пугало то, насколько четкие ответы давала нейросеть и насколько хорошо справлялась с самыми разными задачами. Она могла не просто отвечать развернуто, но давать обоснования ответов, писать стихи и сочинения, шутки, бизнес-планы, рекламные стратегии и многое другое. Кроме того, она могла по-разному эмоционально окрашивать тексты, в зависимости от запроса пользователя делать их более эмоциональными или, напротив, сухими.

Пользователь: Напиши короткий рассказ в один абзац по идее басни про ворону и сыр

ChatGPT: На вершине древнего дуба ворона со счастливым взглядом держала в клюве кусочек сыра. Случайно проходивший мимо лис, увидев ворону, решил хитростью завладеть добычей. С лукавой улыбкой он начал хвалить ворону за ее красоту и пышное оперение, уверяя, что такая прекрасная птица наверняка обладает и чарующим голосом. Если бы ворона спела, подумал лис, сыр обязательно упал бы ему прямо в лапы. Ворона, польщенная такими словами, раскрыла клюв, чтобы доказать своё мастерство, и сыр мгновенно оказался у лиса. Тот, ухватив добычу, исчез в лесной чаще, оставив ворону с пониманием, что комплименты и лесть – опасное оружие в лапах хитреца.

Пользователь: А теперь перепиши тот же рассказ, но добавь как можно больше юмора и современного сленга для подростков

ChatGPT: На вершине старинного дуба сидела ворона, так сильно держа в клюве кусок сыра, будто это был последний билет на концерт популярной птичьей группы «Кар-карычи». Мимо, на легких лапах, пробегал лис, мастер юмора и хитрости, который, увидев ворону, решил разыграть ситуацию в свою пользу. С восторгом в глазах и лукавой усмешкой он заговорил о великолепии её перьев, словно они были работой известного птичьего стилиста, и предположил, что её голос способен затмить самых знаменитых оперных певцов.

«О, великолепная ворона! Твои перья сияют, как старинные бриллианты в короне королевы, а твой голос, уверен, может оживить самые заурядные стихи! Не желаешь ли ты поделиться своим искусством и озарить этот скучный день своей песней?» – лукаво произнёс лис.

Ворона, польщённая до глубины души и забыв о предосторожности, решила дать лису настоящее шоу. Она раскрыла клюв широко, как будто готовилась к оперному выступлению на лучших сценах мира, и издала звук, который мог бы соревноваться с криком сирены, забывшей слова своей песни. Сыр, естественно, упал прямо в ожидающие лапы лиса, который, не сдерживая смеха, поблагодарил ворону за «незабываемое представление» и умчался, оставив её с важным уроком: в мире комплиментов и лести важно не только знать свои сильные стороны, но и держать сыр покрепче.