Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Макс Тегмарк

Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

© Max Tegmark, 2017

© Д. Баюк, перевод на русский язык, 2019

© А. Бондаренко, художественное оформление, макет, 2019

© ООО “Издательство Аст”, 2019

* * *

Эта книга издана в рамках программы “Книжные проекты Дмитрия Зимина” и продолжает серию “Библиотека фонда «Династия»”.

Дмитрий Борисович Зимин – основатель компании “Вымпелком” (Beeline), фонда некоммерческих программ “Династия” и фонда “Московское время”.

Программа “Книжные проекты Дмитрия Зимина” объединяет три проекта, хорошо знакомых читательской аудитории: издание научно-популярных книг “Библиотека фонда «Династия»”, издательское направление фонда “Московское время” и премию в области русскоязычной научно-популярной литературы “Просветитель”.

Подробную информацию о “Книжных проектах Дмитрия Зимина” вы найдете на сайте ziminbookprojects.ru

Посвящается команде FLI.

Благодаря им все возможно

Я искренне благодарен всем, кто поддерживал меня и помогал мне во время работы над этой книгой.

И среди них –

моя семья, мои друзья, мои учителя, коллеги и сотрудники, делившиеся со мной идеями и вдохновлявшие меня на протяжении многих лет,

моя мама, подогревавшая мое любопытство в отношении сознания и смысла,

мой папа, не устающий бороться за то, чтобы сделать мир лучше,

мои сыновья Филипп и Александр, показавшие мне, на какие чудеса может быть способен зарождающийся интеллект человеческого уровня,

все энтузиасты науки и техники во всем мире, на протяжении многих лет присылавшие мне свои вопросы и замечания и поощрявшие мое желание разрабатывать и публиковать свои идеи,

мой агент Джон Брокман, выкручивавший мне руки до тех пор, пока я не согласился писать эту книгу,

Боб Пенна, Джесс Тэйлер и Джереми Ингленд, с которыми я обсуждал квазары, сфалероны и каверзы термодинамики,

все те, кто откликнулся по прочтении частей книги в рукописи, включая мою маму, моего брата Пэра, Луизу Бахет, Роба Бенсингера, Катерину Бергстрём, Эрика Бриньоулфссона, Даниелу Читу, Дэвида Чалмерса, Ниму Дегхани, Генри Лина, Элин Мальмскёльд, Тоби Орда, Джереми Оуэна, Лукаса Перри, Энтони Ромеро и Нейт Соареша,

супергерои, которые комментировали гранки всей книги – а именно Мейя, папа, Энтони Агирре, Пол Элмонд, Мэтью Грейвс, Филипп Хелбиг, Ричард Маллах, Дэвид Марбл, Говард Мессинг, Луиньо Сеоане, Марин Сольячич, Яан Таллин и мой издатель Дэн Фрэнк,

а больше всех

Мейя – моя возлюбленная муза и спутница, не устающая меня подбадривать, поддерживать и вдохновлять, без чего эта книга никогда бы не появилась.

жизнь 3.0

Прелюдия

Сказание о команде “Омега”

Группа “Омега” была душой всей компании. Если прочие занимались только тем, как бы выжать побольше денег из различных коммерческих воплощений идеи искусственного интеллекта в ее самом узком смысле, “Омега” пробивалась к тому, что всегда было мечтой Главного – созданию универсального искусственного интеллекта. Подавляющее большинство сотрудников компании смотрело на членов “Омеги” как на пустых мечтателей, ловцов журавлей в небе, отделенных десятилетиями от достижения своих целей. Но все-таки это большинство всячески поощряло членов “Омеги” в их делах: и потому, что престиж компании, который поднимали их прорывные идеи, служил общему благу, и потому, что высоко ценили улучшения в алгоритмах, которые члены “Омеги”, или просто “омеги”, как они сами себя называли, то и дело предлагали.

Однако никто не мог себе даже представить, что образ, тщательно создаваемой для себя “Омегой”, служил ее тайной цели – сокрытию того, что реализация самого амбициозного проекта в человеческой истории была уже совсем близка. Главный так тщательно, по одному, отбирал сотрудников в эту группу не только потому, что они были блестящими исследователями, но и ради удовлетворения своих амбиций, из-за своей приверженности идеалам гуманизма – он хотел быть полезным сразу всем. Он не уставал напоминать своим “омегам” об исключительной опасности того, чем они занимаются: если могущественным правительствам станет хоть что-нибудь известно, они пойдут на все, вплоть до похищения сотрудников, чтобы помешать им, а еще лучше – чтобы выкрасть разрабатываемый ими код. Но “омеги” были на 100 процентов в курсе. Все они пришли в этот проект по тем же самым соображениям, по которым лучшие физики мира пришли когда-то в проект “Манхэттен” по созданию атомной бомбы: они были уверены, что если не сделают ее первыми, ее сделает кто-то, значительно менее приверженный идеалам гуманизма.

Созданный ими искусственный интеллект получил имя Прометея, и его возможности со временем быстро росли. Хотя его когнитивные способности во многих отношениях все еще сильно отставали от человеческих (например, ему плохо давались социальные навыки), но в одном он явно преуспевал – в программировании интеллектуальных систем. “Омеги” умышленно подталкивали его в этом направлении. Такова была их стратегия: они взяли на вооружение аргумент “интеллектуального взрыва”, выдвинутый еще в 1965 году британским математиком Ирвингом Гудом: “Пусть ультраинтеллектуальная машина определяется как машина, значительно превосходящая человека, как бы он ни был умен, в любой интеллектуальной деятельности. Поскольку создание машин – одна из разновидностей такой деятельности, ультраинтеллектуальная машина сможет создавать еще лучшие машины, и тогда, без сомнения, случится “интеллектуальный взрыв”, когда умственные способности человека навсегда безнадежно отстанут. Поэтому ультраинтеллектуальная машина будет последним изобретением, которое нужно сделать человеку, позаботившись о том, чтобы эта машина оказала нам любезность, проинформировав, как удерживать ее под нашим контролем”.

“Омеги” рассудили, что если они смогут запустить подобную рекурсию самоподдерживающихся улучшений, то машина скоро станет достаточно умной, чтобы научить себя и прочим человеческим умениям, которые будут ей полезны.

Первые миллионы

Было девять часов утра пятницы, когда “омеги” решили перекусить. Прометей тихо жужжал в бесконечных компьютерных стойках, выстроенных рядами в просторном, хорошо кондиционированном зале, проход в который строго контролировался. По соображениям безопасности у него не было никакого доступа в интернет, но в своей локальной копии он содержал большую часть паутины – Википедию, Библиотеку Конгресса, Twitter, кое-что из YouTube, большую часть Facebook… Он мог использовать все это в качестве своих учебных материалов[1]. “Омеги” очень рассчитывали на это время, выбранное ими для спокойной работы, пока их друзья и родные думают, что они уехали на корпоративный уик-энд. Они забили подсобную кухню пригодной для приготовления в микроволновке едой и энергетическими напитками, намереваясь основательно поработать.

К этому моменту Прометей был немного слабее их всех в программировании интеллектуальных систем, но благодаря быстродействию мог уложить тысячи человеко-лет самого усердного пыхтения во время, едва ли достаточное для того, чтобы расправиться с банкой “Ред Булла”. К 10 утра он завершил свой первый редизайн, создав свою копию 2.0, несколько улучшенную, но все еще субчеловеческую. Ко времени запуска Прометея 5.0 (едва миновало 2 часа пополудни) “омеги” уже едва сдерживали волнение: рост производительности бил все рекорды и продолжал ускоряться. К закату они уже решили перевести Прометея 10.0 во вторую фазу – начать с его помощью делать деньги.

Первой целью стал MTurk – “механический турок” Amazon. После запуска в 2005 году эта краудсорсинговая торговая интернет-площадка быстро развивалась, вмиг объединяя усилия десятков тысяч людей, не подозревающих о существовании друг друга, в стройный многоголосый хор, устроенный таким образом, чтобы успешно решать так называемые ХИТс – HITs, то есть “Human Intelligence Tasks”, что в переводе означает “задачи для человеческого разума”. Эти задачи – от транскрибирования аудиозаписей до разбора фотографий и составления описаний веб-страниц – отличались одной общей чертой: если они выполнены хорошо, никто не сможет распознать, человеческий это был интеллект или искусственный, AI[2]. Прометей 10.0 был способен вполне удовлетворительно выполнять задания примерно половины категорий. Для каждой категории “омеги” создали свой узко ориентированный программный модуль, дающий Прометею возможность решать задачи только такого типа и никакие другие. Каждый такой модуль они загружали в AWS, “Amazon Web Services” – инфраструктуру платформ облачных веб-сервисов, позволявшую запускать его одновременно на всех арендованных ими виртуальных машинах. И за каждый доллар, заплаченный Amazon за аренду, они получали по два доллара от его “механического турка” за успешно решенные задания. Ох, не подозревал Amazon, какие безграничные возможности для совершения привлекательных арбитражных сделок существуют внутри его собственной компании!

Чтобы замести все следы, “омеги” много месяцев предусмотрительно создавали учетные записи для “механического турка”, заранее регистрируя их на имена тысяч и тысяч несуществующих людей, а модули Прометея могли теперь скрываться за их личиной. Клиенты “механического турка” обычно расплачивались в течение восьми часов после получения услуги, а за это время “омеги” заново инвестировали полученные деньги в дополнительное машинное время и вводили в дело новые модули, разработанные непрерывно улучшающимся Прометеем. Из-за того что они удваивали инвестиции каждые восемь часов, скоро выяснилось, что они практически полностью исчерпывают все предложения “механического турка” и не могут зарабатывать больше миллиона долларов в день, не привлекая к себе нежелательного внимания. Но даже этого было более чем достаточно для следующего шага, который можно было теперь совершить без неловких обращений по поводу наличности к главному бухгалтеру компании.

Опасные игры

Если отвлечься от новых прорывных AI-технологий, то среди проектов, более других занимавших умы “омег” после запуска Прометея, следует выделить разработку планов наискорейшего обогащения. По сути дела, конечно, вся цифровая экономика была у их ног, но с чего начать? С компьютерных игр, музыки, кинофильмов или мобильных приложений? Писать ли книги и статьи, торговать ли акциями на биржах, или делать изобретения, а затем их продавать? В сухом остатке было, разумеется, стремление к максимизации возврата с инвестиций, но любая нормальная инвестиционная стратегия казалась снятой рапидом пародией на то, что они уже делали: если нормальный инвестор был доволен 9 % прибыли в год, то одна только работа на “механического турка” приносила им 9 % прибыли в час, ежедневно возвращая исходную инвестицию умноженной на восемь. И теперь, когда этот источник стал иссякать, надо было придумать, что делать дальше.

Первой в голову приходила мысль раздраконить фондовый рынок, – но в конце концов “омеги” почти единодушно отказались от соблазна развивать AI для хедж-фондов, вкладывающихся как раз для этого самого. Кое-кто даже припомнил, что AI в фильме Превосходство (2014) именно так заработал свои первые миллионы. Но их возможности были сильно ограничены новыми правилами, введенными после недавнего банковского кризиса. Они быстро поняли, что хотя легко смогут обогнать любого другого инвестора, им и близко не удастся подойти к тому уровню прибыли с оборота, которого они могут достичь, продавая собственный продукт. Если на тебя работает самый сверхразумный AI в мире, то уж лучше вкладываться в собственные компании, чем в чьи-то чужие! И хотя определенные исключения подразумевались (например, при использовании сверхчеловеческих способностей Прометея к хакингу для скупки контрольных пакетов акций при получении инсайдерской информации о движении курса), “омеги” не считали стоящим никакое дело, привлекающее к себе повышенное внимание.

Стоило им сконцентрироваться на тех сферах, в которых они могли бы производить, развивать и продвигать собственный продукт, и на первом месте оказались компьютерные игры. Прометей очень быстро научился создавать исключительно завлекательные игры, легко освоившись с генерацией кода, графическим дизайном, веерной трансформацией персонажей во время движения и прочими премудростями, необходимыми для создания готовых к выпуску на рынок игрушек. Более того, переварив накопившиеся на различных сетевых форумах отзывы, ему было нетрудно определить, что именно особенно нравится геймерам каждой из существующих категорий, и, полагаясь на свои сверхчеловеческие способности, оптимизировать каждую игру под максимальную прибыль с продаж. The Elder Scrolls V: Skyrim – игра, на которую каждый “омега” потратил столько часов, что ни за что бы в этом не признался, – собрала за первую неделю продаж 400 миллионов долларов в далеком 2011-м, и они надеялись, что Прометей, потратив миллион долларов на облачные ресурсы, сможет создать что-нибудь по меньшей мере столь же затягивающее за двадцать четыре часа. Продавая ее онлайн, они могли бы, подключив Прометея к форумам, разогреть блогосферу. Достигнув уровня в 250 миллионов в неделю, они удваивали бы начальные инвестиции восемь раз за восемь дней, это давало бы им доходность в 3 % в час, что лишь немногим меньше их стартовой доходности с “механическим турком”, но на этот раз их доход был бы значительно более устойчив. Выдавая по одной такой игре каждый день, они быстро заработали бы 10 миллиардов, даже не приблизившись к порогу насыщения рынка.

Но участница их команды, специализирующаяся в области кибербезопасности, отговорила их от этого плана. Она указала на неприемлемо высокий риск, что Прометей при таком варианте развития событий может высвободиться из-под их контроля и обрести свободу действий. Поскольку никакой уверенности относительно эволюции его целей в процессе непрерывного самосовершенствования у “омег” не было, они предпочли менее рискованные пути развития, содержа Прометея “под замком” и не выпуская его на просторы интернета. Для основного блока Прометея, установленного в их серверной комнате, использовалось простое физическое ограничение: у него вообще не было никакого подключения к интернету, и все что мог он выдавал просто в виде документов или сообщений компьютеру, который “омеги” контролировали.

Запускать какую-либо сложную программу, сгенерированную Прометеем, на подключенном к интернету компьютере было бы рискованным предприятием, поскольку “омеги” не имели возможности в полной мере убедиться в том, что именно она станет делать, и не будет ли она, например, размножать себя в сети подобно вирусу. Тестируя софт, созданный Прометеем для “механического турка”, “омеги” предохранялись от такой опасности, запуская его на виртуальных машинах. Это такая программа, которая симулирует отдельный компьютер. Так, некоторые пользователи “Маков” покупают себе софт, имитирующий компьютер с операционной системой Windows на их собственном компьютере, что позволяет запускать написанные под Windows программы, которые в результате не замечают враждебного им программного окружения. “Омеги” разработали свой собственный вид виртуальных машин, который они назвали “Ящиком Пандоры” и который симулировал простейший тип компьютера, лишенный всех привычных нам прибамбасов и погремушек: у него не было ни клавиатуры, ни монитора, ни динамиков, ни интернет-подключения, ничего такого. Для транскрибирования аудиофайлов для “механического турка” “омеги” настроили систему так, что в Ящик Пандоры отправлялся единственный аудиофайл, а на выход поступал единственный текстовый документ – файл с транскрипцией. Законы ящика играли для программ внутри него ту же роль, какую законы физики играют для нас самих внутри Вселенной: программа так же не может его покинуть, как мы не можем разогнаться до скорости света, как бы ни изощрялись. Если не считать этих единственных способов ввода и вывода, программы были заперты внутри Ящика Пандоры, как в параллельной вселенной с собственными вычислительными законами. Паранойя, охватывавшая “омег” при мысли о побеге Прометея, достигла таких масштабов, что они строго ограничивали существование любого сомнительного кода также и во времени. Например, каждый раз, когда работа над транскрибированием данного аудиофайла заканчивалась, вся память Ящика Пандоры полностью стиралась, и происходила полная переустановка системы, в результате чего создавался новый Ящик “с нуля”. Таким образом, когда поступало новое задание на транскрибирование аудиозаписи, не было никакой информации о том, что происходило прежде, и обучение было невозможно.

Когда “омеги” пользовались облаком Amazon для выполнения заданий в рамках “механического турка”, они не боялись помещать внутрь находившихся там виртуальных машин созданные Прометеем модули, потому что все процедуры ввода и вывода были исключительно простыми. Ничего подобного не сработало бы для “тяжелых” компьютерных игр с присущей им мелкой графикой, которые не посадишь ни в какой “ящик”, потому что им требуется полный доступ к “железу” геймера. К тому же они хотели избежать и другой опасности, а именно той, что какой-нибудь не в меру искушенный геймер мог бы обнаружить Ящик Пандоры и заинтересоваться, что у него внутри. Опасность утечки выводила за пределы их возможностей не только рынок компьютерных игр, но и вообще весь огромный и притягательный рынок программных продуктов, где их ожидали миллиарды бесхозных долларов.

Первые миллиарды

“Омеги” сузили сферу своего поиска продуктами, которые были бы достаточно прибыльными, сугубо цифровыми (исключали бы большие начальные инвестиции) и при этом оставались бы на необходимом уровне понятными (они знали, что текст или кино не содержат в себе ничего такого, что увеличивает риск утечки). В конце концов они остановили свой выбор на раскрутке развлекательной медиакомпании. Веб-сайт, бизнес-план и пресс-релизы для нее были готовы еще даже до того, как Прометей стал нечеловечески умен, но идея контента для нее все еще отсутствовала.

Хотя к утру воскресенья Прометей и стал поразительно талантлив, выкачивая все больше и больше денег из “механического турка”, его таланты оставались довольно узкими: в частности, он был целенаправленно оптимизирован под создание AI-систем, способных выполнять иссушающие ум задания, приходившие от “механического турка”. Но за пределами этого он был очень слаб – например, в создании новых фильмов. Слабость эта коренилась не в какой-то глубокой причине, вовсе нет – эта была та же самая причина, по которой и Джеймс Кэмерон в момент своего рождения был как режиссер исключительно слаб: эта профессия требует довольно длительного обучения. Подобно любому человеческому детенышу, Прометей мог научиться чему угодно, пользуясь теми данными, к которым у него был доступ. Только в отличие от Кэмерона, которому понадобились годы только на то, чтобы научиться читать и писать, Прометею на это понадобилось всего лишь утро пятницы, причем между делом он заодно прочитал всю Википедию и еще пару миллионов книг. Но кино посложнее. Написать сценарий, который привлек бы к себе человеческое внимание, почти так же сложно, как написать хорошую книгу. Тут требуется детальное понимание человеческого общества и человеческих представлений об интересном. Превращение сценария в итоговый видеофайл требовало веерных анимаций симулированных актеров вместе со сложным антуражем, в котором они должны были появляться, симулированных голосов, музыкальных саундтреков и всего такого. Возвращаясь к утру воскресенья, надо сказать, что Прометей мог просмотреть двух с половиной часовой фильм меньше чем за минуту, одновременно прочитывая книгу, послужившую литературным источником фильма, и все опубликованные отзывы и рецензии. “Омеги” заметили, что, просмотрев в таком режиме несколько сотен фильмов, Прометей мог предсказать, какие рецензии получит тот или иной фильм и для какой категории зрителей он будет особенно привлекателен. На их взгляд, он даже научился сам писать неплохие рецензии, в которых обсуждал и тонкости сюжета, и технические детали – вроде того, как был поставлен свет и под каким углом работала камера. Все это они делали с дальним прицелом: когда Прометей начнет производить собственные фильмы, он будет знать необходимые слагаемые успеха.

Поначалу “омеги” настроили Прометея на анимацию, чтобы избежать затруднительных вопросов о личностях симулированных актеров. В воскресенье к ночи они, запасшись пивом и попкорном из микроволновки и притушив свет, приготовились увенчать свой дикий уик-энд просмотром кинодебюта Прометея. Это была комедия в стиле фэнтези, немного напоминающая диснеевское Холодное сердце, веерная анимация для нее простраивалась Прометеем в виртуальных боксах облачных сервисов Amazon, на что ушел почти весь вырученный у “механического турка” за сутки миллион. Едва начался фильм, “омеги” испытали одновременно изумление и ужас от мысли, что все ими увиденное могло быть создано без всякого участия человека. Но скоро они обо всем забыли, покатываясь со смеху над гэгами и с замиранием сердца следя за героями в наиболее драматические моменты их судьбы. Некоторые даже немного прослезились во время эмоционального финала и до такой степени погрузились в его фиктивную реальность, что даже забыли думать о ее создателе.

Запуск веб-сайта “омеги” запланировали на пятницу, чтобы дать Прометею время заполнить его контентом, а себе – сделать то, что они ему доверить не могли: провести рекламную кампанию и нанять сотрудников для дочерних фирм, созданием которых они занимались несколько последних месяцев. Заметая следы, они делали вид, будто сюжетные линии фильма их медиахолдинг, для публики никак не связанный с “Омегой”, скупал у независимых кинопродюсеров, преимущественно работающих над хайтечными стартапами в низкобюджетном секторе. Большинство из них, к вящему удобству нанимателей, работали в довольно удаленных местах вроде Тиручираппалли или Якутска, куда вряд ли смогли бы добраться даже самые дотошные из журналистов. Немногие сотрудники, действительно взятые в штат, занимались маркетингом и администрированием и на любые вопросы должны были отвечать, что команда, на которую они работают, рассредоточена по разным местам и в настоящий момент интервью не дает. Для ковер-стори они выбрали подходящий слоган: “Творческому таланту мира – правильное направление”, брендируя свою компанию как базирующуюся на прорывных технологиях, дающих шанс творческим людям, в особенности из развивающихся стран.

Когда пятница наступила и любопытные пользователи стали заглядывать на их сайт, их ждали там онлайн-развлечения в стиле Netflix и Hulu, но при существенных отличиях: все анимации оказывались им совершенно незнакомыми. И хотя о них никто никогда не слышал, они сразу овладевали вниманием зрителя. Большинство эпизодов длились по 45 минут, в их основе была оригинальная и неожиданная сюжетная линия, но заканчивались они так, чтобы сразу хотелось узнать, а что же было дальше. При этом они все были заметно дешевле любого из продуктов-конкурентов. Первый выпуск любого сериала предлагался бесплатно, за каждый последующий нужно было платить всего по 49 центов, а при покупке всего сериала целиком клиент получал изрядную скидку. Сначала было всего три сериала по три серии в каждом, но в каждый из них ежедневно добавлялись новые серии, при этом учитывались различия во вкусах зрителей разных социальных групп. На протяжении первых двух недель навыки Прометея стремительно совершенствовались, и это касалось не только качества самих эпизодов, но и характеров персонажей, достоверности анимации и расходов на облачные ресурсы, необходимых для производства каждой серии. В результате только за первый месяц “омеги” записали в свой актив дюжину новых сериалов, ориентированных на любой возраст, от младенцев до пенсионеров, на всех основных языках мира, благодаря чему их сайт стал самым интернациональным среди всех конкурентов. Наиболее внимательные зрители были под особым впечатлением от того, что этническое разнообразие передавалось не только звуковой дорожкой, но и видеорядом: например, если персонаж говорил по-итальянски, то его губы двигались в точном соответствии с произносимыми итальянскими словами, а жесты точно повторяли особенности жестикуляции жителей этой страны. Хотя Прометей был уже вполне способен производить кино с симулированными актерами, никоим образом не отличимыми от живых людей, “омеги” продолжали воздерживаться от этого, чтобы не выдать себя. Они, однако, запустили несколько сериалов с полуреалистическими анимированными персонажами, замещающих традиционные телевизионные реалити-шоу и телефильмы.