Полная версия
Укрощение искусственного интеллекта. Пособие по выживанию в нашем необыкновенном будущем
Благодаря обратному распространению многослойные нейросети научились расшифровывать почерк на конвертах и чеках, различать отношения между людьми в семейном генеалогическом древе, управлять программой, распознающей напечатанные слова и произносящей их вслух через голосовой синтезатор, и даже удерживать едущий на автопилоте автомобиль между полосами движения на шоссе. Однако ранние нейросети еще многого не умели. Они не могли классифицировать сложные объекты[53] на изображениях – не умели даже отличать собак от кошек. Они с трудом справлялись с распознаванием речи и переводом на другие языки. Были и иные недостатки: для обучения нейросетей требовались огромные объемы данных, а для многих областей их просто не существовало. Более того, обработка всех этих данных в больших нейросетях с помощью компьютерных чипов того времени оказывалась мучительно медленной. В то же время другие методы машинного обучения, использующие передовую статистику, показывали многообещающие результаты. В конце концов многие исследователи и инженеры в области ИИ снова сочли нейросети тупиковым путем развития.
Глубокое обучение набирает оборотыДжеффри Хинтон, который к тому времени перебрался в Университет Торонто, по-прежнему был уверен, что нейронные сети – верный путь к человекоподобному ИИ. Хинтон продолжал деятельность. В 2004 году им был основан исследовательский коллектив[54], занимающийся продолжением работы над нейросетями. Его подход получил название глубокого обучения. Это был умный маркетинговый ход: слово «глубокий» означало просто многослойность нейросети, но одновременно оно как бы подразумевало, что нейросети каким-то образом приходят к более глубоким знаниям, чем при использовании других «неглубоких» методов машинного обучения. Глубокое обучение должно было оправдать надежды, которые оставались недоступными для нейросетей на протяжении пятидесяти с лишним лет.
Изменились всего две вещи: интернет сделал доступными огромные объемы данных, что позволило решить проблему информационного голода нейросетей, и на рынке появился новый вид компьютерных чипов, называемых графическими процессорами (graphics processing unit, GPU). Американская компания Nvidia представила свой первый GPU GeForce 256 в конце 1999 года – отдельную печатную плату (карту), которую можно было вставить в компьютер или сервер. Этот GPU был разработан для быстрого рендеринга графики, необходимого в видеоиграх. GeForce 256 вычислял несколько потоков данных параллельно, а не последовательно, и выполнял другие ключевые вычисления непосредственно на видеокарте, а не передавал их более универсальному центральному процессору (или CPU), как это было в предыдущем поколении видеокарт. Графические процессоры потребляли много энергии и выделяли много тепла, поэтому каждая карта поставлялась с собственным вентилятором охлаждения. Но новые чипы позволили создать домашние игровые консоли, такие как Xbox и PlayStation. А еще они обещали навсегда изменить исследования в области искусственного интеллекта.
В 2005 году группа исследователей[55] из Мэрилендского университета продемонстрировала, что параллельная вычислительная мощность графических процессоров может хорошо работать для простой двухслойной нейронной сети. В следующем году[56] команда из Microsoft заявила, что новейшие GPU также могут гораздо эффективнее вычислять веса нейронов в сложной системе глубокого обучения. Затем, в 2009 году[57], Хинтон и два его аспиранта создали для Microsoft систему глубокого обучения на GPU[58], и она всего за несколько месяцев сравнялась по производительности с уже существовавшей в этой компании системой распознавания речи, на разработку которой ушло десятилетие кропотливой работы. Помогло то, что Microsoft располагала огромным количеством речевых данных для обучения сети. Чем больше информации получали системы глубокого обучения, тем лучше они становились. Другие аспиранты Хинтона были направлены в IBM и Google, где повторили свой успех. Имевшаяся у Google программа распознавания речи для смартфонов на базе Android ошибалась в произнесенном слове в 23 % случаев. Всего за неделю ученики Хинтона достигли уровня ошибок в 21 %, а еще через две недели – в 18 %.
Глубокое обучение набирало обороты. Но все еще оставались сомневающиеся, которые считали, что нейронные сети не смогут классифицировать сложные изображения. В 2012 году Хинтон и два аспиранта, Илья Суцкевер и Алекс Крижевский, заставили скептиков умолкнуть, создав систему глубокого обучения на GPU, названную AlexNet в честь Крижевского. Система AlexNet победила в конкурсе ImageNet, проводимом Стэнфордским университетом. По заданию система ИИ должна была классифицировать изображения тысячи различных категорий объектов. Показатель ошибок AlexNet равнялся всего 15 %, что более чем в два раза превосходило результат второго лучшего участника. Глубокое обучение заявило о себе во весь голос. Хинтон, Суцкевер и Крижевский создали компанию, в основе деятельности которой лежала идея разработки систем глубокого обучения для задач компьютерного зрения. Через несколько недель Google купила компанию за 44 млн долларов. Трио перешло на работу в Google Brain – передовую исследовательскую лабораторию искусственного интеллекта, которую корпорация открыла в 2011 году.
Стремительная гонка за ИИ общего назначенияПлотина, сдерживавшая глубокое обучение, начала давать трещину еще до появления AlexNet, теперь же она окончательно рухнула. Крупные американские технологические компании[59] – Google, Microsoft, Meta (тогда называвшаяся Facebook), Amazon и Apple – и их китайские аналоги Baidu и Tencent принялись активно внедрять глубокое обучение. Они соревновались в найме специалистов, назначая высокие шести- и даже семизначные зарплаты новоиспеченным светилам науки. Но в большинстве случаев применение глубокого обучения все еще ограничивалось узкими задачами – распознаванием людей на фотографиях в социальных сетях или лучшим пониманием голосовых команд. Речь шла не про общие, а про специфические виды интеллекта. Более того, глубокое обучение[60] все еще оставалось недоступным для большинства компаний вне технологического сектора, поскольку у них не было ни специалистов в этой области, ни массива данных, необходимых для процесса обучения.
В то время лишь немногие исследователи верили, что глубокое обучение может соответствовать представлениям Тьюринга об искусственном интеллекте. Одним из этих исследователей был Шейн Легг. Уроженец Новой Зеландии[61], получивший образование в сфере математики и вычислительной техники, Легг во время бума интернет-фирм поступил на работу в одну из первых компаний, занимавшихся разработкой ИИ в Нью-Йорке. Там он помог популяризировать термин «искусственный интеллект общего назначения», или ИИОН, под которым Легг подразумевал программное обеспечение, способное решать большинство когнитивных задач не хуже или даже лучше, чем обычный человек. Легг отличал более широкую идею ИИОН от прикладного ИИ, умеющего исключительно хорошо делать что-то одно. После того как его стартап потерпел неудачу, Легг вновь вернулся к учебе. Подобно предыдущим поколениям исследователей ИИ, Легг считал, что лучший способ понять, как создать ИИОН, – изучение мозга. Поэтому ученый поступил на кафедру вычислительной неврологии Гэтсби при Университетском колледже Лондона, которая занималась исследованиями на стыке неврологии и ИИ. Там Легг познакомился с Демисом Хассабисом. Бывший шахматный вундеркинд, ставший компьютерщиком и предпринимателем в сфере видеоигр, Хассабис также был заинтересован в создании ИИ. Как и Легг, тот считал, что к этому приведет глубокое обучение. В 2010 году они вместе с Мустафой Сулейманом, другом детства Хассабиса, который занимался социальным предпринимательством, стали соучредителями стартапа под названием DeepMind. У маленькой и никому не известной лондонской фирмы была дерзкая и, с точки зрения некоторых, невыполнимая миссия: «Решить проблему интеллекта, а затем использовать его для решения всех остальных проблем».
Эта цель стала казаться[62] менее нелепой в 2013 году, когда компания DeepMind продемонстрировала систему глубокого обучения, которая, начав практически с нулевых знаний, методом проб и ошибок за несколько часов научилась играть в 50 различных старых игр на приставке Atari на сверхчеловеческом уровне. Результат ошеломил технологов, включая одного из первых инвесторов DeepMind Илона Маска. Как и Легг и Хассабис, Маск верил в идею ИИОН, но в то же время приходил от нее в ужас. Ведь если люди изобретут искусственный интеллект, они смогут быстро прийти и к искусственному сверхинтеллекту, или ИСИ, который окажется намного более разумным, чем любой из нас. ИСИ будет крайне сложно контролировать. Такая система способна даже развить собственное сознание, что поставит перед нами глубокие философские и практические вопросы. ИСИ может вступить в конфликт с людьми, что, в качестве версии, приведет к нашему вымиранию или порабощению как вида. Именно такие опасения беспокоили Илона Маска и других людей, знакомых с успехами DeepMind.
Во время полета на одном частном самолете вместе с Илоном Маском[63] соучредитель Google Ларри Пейдж стал невольным свидетелем того, как Маск обсуждает по телефону с другим инвестором из Кремниевой долины прорыв DeepMind в видеоиграх Atari. Пейдж сразу же заинтересовался покупкой этого стартапа. На тот момент Google инвестировала в нейросети больше, чем любая другая из крупных технологических компаний. Пейдж не хотел, чтобы кто-то из конкурентов опередил его. Вскоре после полета он направил лучших исследователей искусственного интеллекта Google для изучения DeepMind. Затем он обошел в торге[64] Microsoft и Meta и приобрел эту небольшую лондонскую компанию за 650 млн долларов.
Покупка DeepMind встревожила Маска. Он был в дружеских отношениях с Пейджем, но не мог допустить, чтобы тот стал монополистом ИИОН, несмотря на девиз Google «Не будь злом». «Он может случайно сотворить зло», – заявил Маск журналистке Эшли Вэнс в 2013 году[65]. Маск считал, что создание мощного ИИ[66] равносильно вызову злых духов. Он говорил, что компании, создающие ИИ, «осознают опасность, но полагают, что смогут управлять сверхинтеллектом и не позволят ему бесконтрольно вырваться в интернет. Поживем – увидим».
Илон Маск был не единственным, кто опасался, что ИИОН окажется под контролем только корпорации Google. Сэм Альтман, 30-летний венчурный капиталист из Кремниевой долины[67], который в то время был президентом Y Combinator – самого престижного американского инкубатора стартапов, разделял мнение Маска об ИИОН, о значительных потенциальных преимуществах и возможных экзистенциальных рисках. Альтман был согласен с тем, что компания Google не должна монополизировать столь мощную технологию. В конце 2015 года Маск, Альтман и группа других людей, включая Суцкевера, бывшего ученика Хинтона, выступили соучредителями лаборатории искусственного интеллекта в Сан-Франциско, призванной стать противовесом DeepMind. Они назвали лабораторию OpenAI. Как и DeepMind, OpenAI была явно нацелена на работу по созданию ИИОН.
Если не принимать во внимание эту общую цель, OpenAI должна была стать тем, чем не была DeepMind. Если DeepMind контролировалась одной из крупнейших в мире технологических компаний, то OpenAI задумывалась как некоммерческая организация с миссией обеспечить развитие ИИОН «таким образом, чтобы оно пошло главным образом на пользу всему человечеству». В то время как компания DeepMind действовала в условиях секретности[68], OpenAI заявила, что обязуется публиковать все свои исследования и открывать доступ к программному обеспечению. Именно поэтому Маск с самого начала хотел назвать лабораторию OpenAI («Открытый ИИ»). Он был убежден, что единственный способ помешать отдельной компании или правительству использовать мощный ИИ в авторитарных целях – это обеспечить всеобщий доступ к технологии. По мнению Маска, у каждого человека должно быть собственное, персонализированное программное обеспечение ИИОН. Новая лаборатория планировала уделять особое внимание исследованиям безопасности ИИ – области, которая в то время не была основным направлением деятельности корпоративных лабораторий, занимавшихся разработкой искусственного интеллекта. Маск стал основным спонсором некоммерческой организации, пообещав выделить 1 млрд долларов.
Поначалу OpenAI занималась обучением с подкреплением – тем же методом обучения ИИ, который DeepMind использовала в работе с играми Atari. Обучение с подкреплением отличается[69] от подхода, примененного Хинтоном, Суцкевером и Крижевским для победы в конкурсе ImageNet. Нейросеть AlexNet обучали на основе уже классифицированных объектов, имеющих пометки, которые позволяли компьютеру определить, видит он кошку или кенгуру. Это называется контролируемым обучением. При обучении с подкреплением сеть начинает работу без каких-либо данных и учится исключительно на опыте, методом проб и ошибок, обычно в симуляторе или игровой среде. Обучающим стимулом служит так называемый сигнал вознаграждения: привели ли совершенные действия к победе в игре, набраны очки или нет? Именно так программное обеспечение DeepMind осваивало игры Atari.
К моменту появления OpenAI DeepMind использовала этот метод для достижения еще одной вехи в развитии ИИ: она создала программу AlphaGo, которая обыграла лучшего в мире игрока в древнюю стратегическую игру го. В матче с Ли Седолем, чемпионом мира из Южной Кореи, AlphaGo сделала один настолько нестандартный ход, что эксперты-комментаторы, наблюдавшие за состязанием, были уверены, что это ошибка. Но ход оказался эффективным. Программа перевернула тысячелетние представления людей о том, как надо играть в го.
Компания OpenAI стремилась доказать, что тоже может продвинуться к ИИОН с помощью обучения с подкреплением. Она разработала новый важный алгоритм обучения[70] и выложила его в свободный доступ. Позже специалисты компании создали пять нейросетей, которые после обучения с подкреплением смогли совместными усилиями победить лучшую человеческую команду в сложной и быстро развивающейся видеоигре Dota 2.
ТрансформерЧтобы перейти от Dota 2 к ChatGPT, потребовался еще один прорыв: в 2017 году исследователи из Google Brain[71], вдохновленные отчасти «инопланетным языком» из фильма «Прибытие», разработали новую конфигурацию нейросети под названием трансформер. По сравнению с предыдущими системами ИИ, трансформер гораздо лучше справлялся с вычислением сложных закономерностей в длинных последовательностях. Он работал с любыми последовательностями: музыкальными нотами, кадрами видео или даже очередными оптимальными действиями в компьютерной игре. Но лучше всего трансформер подходил для выявления закономерностей в языке. Это связано с тем, что правильное спряжение глагола или гендерное местоимение, которое нужно использовать по ходу фразы, часто зависит от того, какие слова встречаются в начале предложения или даже несколькими предложениями ранее. Предыдущие программы искусственного интеллекта с трудом справлялись с зависимостями подобного рода.
Трансформер в значительной степени смог решить эту проблему. Он разбивал предложения на фрагменты (каждый длиной около слова), называемые токенами, а затем параллельно анализировал большие группы токенов, на что не были способны предыдущие нейросети. В этом анализе трансформер опирался на механизм, называемый внутренним вниманием (self-attention): для любого предложения он определял, на какие токены ему следует обратить особое внимание, чтобы сделать точное предсказание значения любого другого токена. Когда этот процесс был применен к языку, трансформеры смогли построить так называемую большую языковую модель (БЯМ). Она представляет собой чрезвычайно сложную статистическую карту взаимосвязей между всеми словами в обучающей базе данных. Примечательным в новой БЯМ на основе трансформеров было то, что, хотя ее обучали только предсказывать слова в предложении, полученная модель оказалась многоцелевой, словно швейцарский складной нож, поэтому была пригодна для обработки человеческого языка.
Освоив статистические закономерности, лежащие в основе языка, можно было использовать одну БЯМ на основе трансформера для решения всех видов задач, связанных с языком: обобщения, перевода, категоризации, анализа стиля и ответов на вопросы. В прошлом инженерам пришлось бы создавать особую часть программного обеспечения ИИ для каждой из этих задач. Теперь же все могла решать одна большая языковая модель.
Перед исследователями открывались безграничные возможности. Уже через несколько месяцев после публикации[72] первых результатов компания Google начала обучение БЯМ на основе трансформера и дала этой модели название BERT. По сравнению с предыдущими БЯМ, BERT представляла собой огромную нейросеть, которая могла обрабатывать связи между 340 млн различных переменных параметров. Ее обучение проводилось на взаимосвязях между 3,3 млрд слов из 11 тыс. англоязычных книг, а также «Википедии». Задача обучения состояла в том, чтобы предсказать пропущенное слово в предложении, – процесс вроде гигантской игры Mad Libs. После обучения нейросети Google опробовала этот алгоритм на серии тестов на знание языка. В большинстве из них BERT приблизилась к результатам человека.
В течение года результаты BERT существенно улучшились. Поисковый механизм Google внезапно усвоил важность предлогов для понимания смысла запросов людей. Теперь, когда кто-то набирал запрос «Требования к американской визе для бразильских путешественников», Google выдавал только те страницы, которые касались бразильцев, приезжающих в США, а не американцев, отправляющихся в Бразилию.
Суцкевер из OpenAI сразу понял, что это означает: прогресс на пути к ИИОН возможен. Письменность – отличительная черта человеческой цивилизации. Огромные объемы знаний существуют в письменной форме. Для тех, кто стремится к ИИОН, всегда было мечтой, чтобы искусственный интеллект мог быстро обучать себя новым навыкам, просто читая, как это делает человек, занимающийся самообразованием. Илья Суцкевер, Алек Рэдфорд и еще двое исследователей из OpenAI создали[73] трансформер и «скормили» ему 7 тыс. неопубликованных книг, в основном в жанрах фантастики и фэнтези, а также романов. Затем специалисты отточили «знания» ИИ на тысячах отрывков из письменных экзаменов в средней школе и на парах «вопрос – ответ», взятых с сайта Quora. Новый ИИ мог написать несколько связных абзацев. Однако он не был совершенен. Если его просили продолжить писать, ИИ начинал выдавать бессмысленные предложения или повторялся. Но это все же было намного лучше, чем раньше.
Рэдфорд и Суцкевер назвали созданную ими систему GPT (от generative pretrained transformer – «генеративный предварительно обученный трансформер»). Слово «генеративный» появилось в этом названии потому, что трансформер не просто анализирует существующие данные, а создает собственные. Предварительно обученным его назвали, поскольку на начальном этапе он изучает статистические закономерности языка и лишь затем может быть настроен на выполнение конкретных задач. В наши дни любой ИИ, способный создавать новый контент, называется генеративным.
Трансформеры могут генерировать не только слова. Соединив языковую модель на основе трансформеров[74] с другими видами ИИ, компания OpenAI создала нейронную сеть DALL-E (ее название – это объединение фамилии художника Сальвадора Дали и героя мультфильма компании Pixar робота WALL-E), способную генерировать неподвижные изображения практически в любом стиле на основе текстового описания. Этот же метод был усовершенствован[75] другими компаниями, в том числе стартапами Stability AI и Midjourney, а также такой крупной компанией, как Adobe. Аналогичным образом можно создавать и видео. И хотя на данный момент длина видеороликов[76] составляет всего около одной минуты, в перспективе появится возможность делать целые художественные фильмы на основе текстового описания. Другие компании, в том числе Google[77], используют трансформеров для работы со звуком, создавая композиции и даже имитируя голоса. Трансформеры не ограничиваются созданием контента – их можно применять также для предсказания очередного наиболее вероятного действия в последовательности, что приведет к появлению нового поколения цифровых помощников[78] – гораздо более способных, чем все предыдущие.
Есть ли у нас тот ИИ, который нам нужен?Ключевое представление о нейросетях Суцкевер получил на своей предыдущей работе: чем больше система и чем большее количество данных в нее загружается, тем лучше она функционирует. Получалось, что это справедливо для больших языковых моделей. Такого же мнения придерживался и другой исследователь из OpenAI – Дарио Амодеи, бывший физик, переквалифицировавшийся в специалиста по ИИ. Позже он ушел из компании OpenAI и основал конкурирующую фирму Anthropic. Амодеи продемонстрировал, что нейросеть[79], похоже, подчиняется принципам масштабирования: она не просто улучшает производительность по мере собственного роста, это улучшение носит предсказуемый характер. Десятикратный рост объема данных, на которых обучалась модель, улучшал ее работу примерно на треть. Правда, рост модели мог повлечь за собой и появление неожиданных возможностей. Те задачи, с которыми модели меньшего объема испытывали трудности, вдруг становились посильными для больших.
Изначально Суцкевер полагал[80], что можно пройти бо́льшую часть пути к ИИОН, просто создавая все более крупные нейросети. В конце концов, человеческий мозг насчитывает около 86 млрд нейронов и между ними, по некоторым оценкам, существует около 100 трлн связей. Когда OpenAI создала первый GPT, самые крупные нейросети насчитывали всего несколько сотен миллионов искусственных нейронов и связей между ними. Может быть, ключом к интеллекту является большее количество нейронов? Многие исследователи ИИ в этом сомневались. Цифровые нейроны в нейросетях лишь отдаленно похожи на нейроны в мозге. Кроме того, биологический мозг гораздо эффективнее в обучении – чтобы усвоить концепцию, ему требуется всего несколько примеров, а не миллионы. Наш мозг также гораздо лучше применяет полученные знания в новых ситуациях. Скептики считали, что для достижения человеческого уровня интеллекта потребуется принципиально иной набор алгоритмов. Однако Суцкевера это не остановило. Он не видел причин отказываться от самого очевидного пути – просто строить все более крупные нейронные сети, использующие те же базовые алгоритмы, что и трансформеры, и строить до тех пор, пока не станет ясно, что преимущества подобного подхода исчерпаны.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.
Примечания
1
Leonard Mlodinow, interview by Katie Haylor, The Elastic behind Light Bulb Moments, The Naked Scientists, March 20, 2019, https://www.thenakedscientists.com/articles/interviews/elastic-behind-light-bulb-moments.
2
Warren Schirtzinger, Thomas Edison Was an Energy Marketing Genius, Renewable Energy World, July 26, 2016, https://www.renewableenergyworld.com/storage/thomas-edison-was-an-energy-marketing-genius.
3
Jim Rasenberger, Fade to Black, New York Times, January 2, 2005, https://www.nytimes.com/2005/01/02/nyregion/thecity/fade-to-black.html.
4
Jeremy Kahn, The Inside Story of ChatGPT: How OpenAI Founder Sam Altman Built the World’s Hottest Technology with Billions from Microsoft, Fortune, January 25, 2023, https://fortune.com/longform/chatgpt-openai-sam-altman-microsoft/.
5
Jeremy Kahn, OpenAI Says It’s Making Progress on ‘The Alignment Problem’, Fortune, January 27, 2022, https://fortune.com/2022/01/27/openai-alignment-problem-instructgpt-gpt-3/.
6
Cade Metz, The Rise of AI – What the AI Behind AlphaGo Can Teach Us about Being Human, Wired, May 17, 2016, https://www.wired.com/2016/05/google-alpha-go-ai/.
7
Dan Garisto, Google AI Beats Top Human Players at Strategy Game StarCraft II, Nature, October 30, 2019, doi:10.1038/d41586-019-03298-6.
8
Kelsey Piper, AI Triumphs Against the World’s Top Pro Team in Strategy Game Dota 2, Vox, April 13, 2019, https://www.vox.com/2019/4/13/18309418/open-ai-dota-triumph-og.
9
Wikipedia contributors, Larry Tesler, Wikipedia, December 3, 2023, https://en.wikipedia.org/w/index.php?title=Larry_Tesler&oldid=1188057072.