Конец индивидуума. Путешествие философа в страну искусственного интеллекта

Общая черта всех этих методов машинного обучения состоит в том, что полученные результаты нельзя полностью объяснить. Машина поглощает значительное количество данных, как-то по-своему «переваривает» их (на этом этапе человек более или менее ее контролирует и настраивает), а потом приходит к выводу, следуя при этом траектории, которую никто не мог бы воссоздать во всех подробностях. Поэтому всегда следует помнить о компромиссе между эффективностью и прозрачностью (explainability). Некоторые выдающиеся исследователи полагают, что машинное обучение означает устаревание всех традиционных алгоритмов, основанных на явных критериях, а также человеческих экспертных знаний[19].

Теперь вернемся к нашему примеру: как дать компьютеру инструкцию распознать кота на изображении, которое состоит из миллионов пикселей? Если мы попытаемся «описать» кота, то быстро выясним, что прийти к точному определению практически невозможно. Предположим, что у кота четыре лапы, но как определить лапу? Как прямоугольную форму относительно однородного цвета, которая заканчивается звездчатой структурой? Но как в таком случае отличить лапу от куска дерева, заканчивающегося веткой? Какое среднее расстояние следует заложить между четырьмя прямоугольниками, чтобы предположить наличие кота? А что делать с котами без ног, которых двухлетний ребенок мог бы идентифицировать с первого взгляда? Нужно ли потом дать определения всего остального, что есть у кота, начиная с усов и заканчивая хвостом?

Здесь-то и вмешивается машинное обучение, которое я по примеру большинства комментаторов и в целях удобства буду далее в этой книге отождествлять с ИИ. Вместо того чтобы определять кота, программист предоставляет своему ИИ тысячи, миллионы изображений с кошками, но не дает ему никакой другой информации. Эти изображения предварительно «маркируются» людьми, которые сортируют их в зависимости от того, есть на таких изображениях кот или нет. «Натренированная» таким образом машина сможет выделять характерные формы (паттерны) и приписывать каждому новому изображению вероятность того, что на нем есть кот. Такие формы не могут быть выражены в явном виде, то есть множеством логических правил; они отражаются определенной комбинацией миллионов «весов» – параметров, выработанных нейронными сетями в процессе обучения. Машина не способна произвести идею, под которую подводятся частные случаи, поэтому нуждается в бесконечном числе примеров, словно ей необходимо исчерпать все возможные ситуации. В итоге для развития техник машинного обучения понадобились огромные базы данных, отсюда создание ImageNet в начале 2010‐х годов по инициативе исследовательницы из Стэнфорда Фей-Фей Ли, которая привлекла к этому проекту десятки тысяч участников. Они описывали миллионы изображений, распределяемых по 20 тысячам разных категорий. Так у ИИ появился свой арсенал.

«ИИ не производит общих понятий», – делает вывод Франческа, и это возвращает нас к вопросу о понятии, который мучил Платона на заре философии. Ведь понятие не сводится к определению. Способность давать определения является, конечно, условием языка и мышления: нужно, как говорит Сократ в «Федре», уметь разрезать понятия, соблюдая их естественные сочленения; тогда как софист, наоборот, разрывает логические связи, а потому он просто «дурной мясник». Но в то же время Платон может лишь констатировать недостаточность определения в объяснении реальности, а потому в «Государстве» обращается к своим знаменитым Идеям, которые должны управлять нашим чувственным восприятием: соответственно, кота можно распознать потому, что в каких-то чисто умопостигаемых сферах познания есть Идея Кота. Чтобы идентифицировать кота, ИИ, таким образом, не может удовлетвориться позицией хорошего мясника, подобного GOFAI; но не располагает он и таинственной Идеей, понятием, к которому человеческий мозг может, судя по всему, получить доступ уже после нескольких примеров[20]. Если наш невероятно ловкий разум способен распознать любых котов, увидев одного-единственного, то ИИ, отличающийся чрезвычайным трудолюбием, может распознать кота, лишь просмотрев изображения всех котов.

Один из блестящих молодых инженеров компании Google Блез Агуэра-и-Аркас попытался проникнуть в эту тайну, попросив ИИ вывести на основе накопленных данных понятие – в той или иной форме. Словно бы компьютер должен был найти то, чего ему не хватало… В визуальном плане результат оказался просто поразительным, поэтому Блез превратил его в художественный проект (в частности, основал программу «Художники и машинный интеллект» в Google[21]). Понятие «кот», полученное на основе миллионов изображений котов, похоже не на кота, а на плотную комбинацию с трудом узнаваемых черт и потому чем-то напоминает коллажи Франсиса Пикабии. Пара раскоординированных усов наложена на то, что, возможно, похоже на хвост. Может быть, именно так, по сути, и работает наш мозг? Что, если Блезу удалось визуально представить те самые платоновские Идеи? На самом деле все наоборот. Эти симпатичные коллажи показывают, что методы ИИ остаются довольно грубыми и приблизительными, если сравнить их с нашей способностью к концептуализации, которая пока в значительной мере остается непонятной[22]. По контрасту они высвечивают механизмы наших когнитивных процессов, не сводящихся к чистому перцептивному эмпиризму. Мы не просто складываем изображения в голове. Понятие сопротивляется искусственному интеллекту. Как признал во время нашего разговора Александр Лебрен, один из лучших французских специалистов по машинному обучению, тот факт, что человек может сделать обобщение на основе весьма ограниченного числа случаев, по-прежнему трудно объяснить. Александр удивляется не возможностям придуманного им носителя искусственного интеллекта, а способностям естественного интеллекта, который при рождении был дан ему самому. По сути, мы представляем собой намного более впечатляющую загадку, чем машина.

Теперь пора вернуться к «механическому турку» компании Amazon, или к MTurk. Как турок Вольфганга Кемпелена скрывал в себе человека, наделенного биологическим интеллектом, так и системы машинного обучения должны, чтобы правильно работать, опираться на производительную деятельность тысяч «турков» из плоти и крови. Никто не изучил этот феномен лучше Сиддхартха Сури, с которым мы встретились в нью-йоркском исследовательском центре Microsoft. Я думал, что попаду в огромный комплекс из гигантских компьютеров, в котором ученые жонглируют трехмерными экранами. Но, наверное, я слишком долго зачитывался комиксом «Блейк и Мортимер»: на самом деле офис Microsoft похож на обычный опенспейс, в котором аспиранты-постдоки во вьетнамках маринуются в индивидуальных боксах. Один из них – Сиддхартх, специалист по компьютерным наукам. Он уже много лет занимается «этнографией „турков“», но при этом ни разу не общался с представителями Amazon, что само по себе многое говорит о культуре секретности, которая царит в гигантах цифровой революции. Что представляют собой те, кто работает на искусственный интеллект? Да что угодно… Они не учились в Стэнфорде и не рассуждают о технологиях. Это, например, индийские матери, сидящие дома с детьми, маломобильные инвалиды из Европы, американские безработные – короче говоря, все те, кто хотят или вынуждены работать из дома, чтобы получать минимальный доход. Они выполняют разные задачи, от маркировки простых изображений (того же кота) до решения математических задач или анализа вибраций. Это и есть сердце цифрового пролетариата, независимые друг от друга представители которого берутся за эфемерные задания: по оценкам Сиддхартха, за полгода на MTurk меняется около половины всей рабочей силы.

В социальном отношении в MTurk отражаются все двусмысленности так называемого отказа от посредников (больше известного под названием «уберизация»). С одной стороны, платформа предоставляет как нельзя более демократичные возможности, устраняя все входные барьеры. Перечисляя рабочие места, уничтоженные тем или иным ИИ, обычно забывают оценить все множество мини-работ на рынке принципиально иной занятости, которые были созданы теми же причинами, – чрезвычайно текучее и динамичное множество. С другой стороны, MTurk эксплуатирует рабочую силу, лишенную возможностей вести переговоры, а ее вознаграждение (в среднем два доллара в час) несоизмеримо с производимой ею ценностью. Те, кого Сиддхартх называет «призрачными работниками», составляют люмпен-пролетариат XXI века. В попытках организовать сообщество «турков» стихийно появилось несколько форумов, на которых люди стали писать обращения к работодателям и делиться тарифами оплаты своего труда: Turkopticon, потом Turker View, TurkerNation, MTurk Crowd, TurkerHub. Будем надеяться, что они станут зародышем цифровых профсоюзов, действующих на глобальном уровне и представляющих интересы их членов независимо от страны, из которой они работают.

В технологическом отношении MТurk преподносит нам очень важный урок: природа микрозадач, предлагаемых «туркам», постоянно меняется, и вряд ли они когда-нибудь будут исчерпаны. Иначе говоря, технология ставит все новые и новые вопросы, на которые должно отвечать относительно небольшое число людей. Именно это Сиддхартх и назвал «парадоксом автоматизации последней линии» (the paradox of automation’s last mile). Как только решается одна проблема, тут же появляется другая. Например, развитие объединенных в сеть объектов потребует огромного количества человеческих знаний, благодаря которым можно будет конфигурировать и тренировать ИИ, знакомя его со всевозможными обстоятельствами. Таким образом, фронтир автоматизации постоянно отступает, как мираж горизонта прогресса, и при этом тянет за собой караван призрачных работников.

Не нужно путать реальные социальные вызовы, создаваемые автоматизацией, с мифом об автономном роботе. Прежде чем заменить людей, роботы должны быть ими придуманы. Искусственный интеллект – это оптимизированная и размноженная комбинация миллионов человеческих интеллектов. Мне кажется ошибкой утверждать в стиле газетных заголовков лета 2018 года, что «один ИИ в диагностике опухолей головного мозга показал лучшие результаты, чем пятнадцать китайских врачей». Скорее следовало бы писать, что один ИИ позволил наладить беспрецедентное сотрудничество тысяч врачей, которые, опираясь на собственные знания, занимались маркированием тысяч изображений с опухолями. Разве может быть что-то удивительное или чудесное в том, что десять тысяч врачей, работая вместе, достигли лучших результатов, чем пятнадцать их коллег?

Эту интерпретацию подтвердил мне Сяовей Динг, основатель и генеральный директор VoxelCloud – стартапа с офисами в Шанхае и Лос-Анджелесе, занимающегося медицинской визуализацией. Я встретился с Сяовеем в кампусе Калифорнийского университета в Лос-Анджелесе (UCLA), где он параллельно занимается академической карьерой в области компьютерных наук. Кафе одного из самых престижных государственных университетов США похоже не столько на студенческую столовую, сколько на холл пятизвездочного отеля из красного кирпича, с изящной архитектурой и кипарисовой аллеей. Я увидел, как к моему столу подходит не безжалостный капиталист, за два года получивший около 30 миллионов долларов от крупнейших фондов венчурного капитала, которого я представлял по его резюме, а молодой, несколько неловкий человек, одетый в спортивные штаны и футболку с ярким рисунком. Все-таки я никак не могу привыкнуть к тому, что наши новые хозяева – постаревшие подростки…

Врачи отправляют в VoxelCloud медицинские сканы, снабженные описанием симптомов, а ИИ возвращает им возможный диагноз с рекомендациями по лечению. Человек в бо́льшей или меньшей мере контролирует машину, в зависимости от сложности случая. Однако VoxelCloud так или иначе должен собрать значительное число сканов, размеченных американскими или китайскими врачами, которые получают за это определенное вознаграждение (китайские врачи, по словам Сяовея, «работают быстрее и дешевле, они больше открыты технологии, но качество у них хуже»). То есть задача не в том, чтобы заменить врачей, а в том, чтобы использовать их профессиональные знания для усовершенствования процедур: «Данные по самой своей сути ограничены». ИИ довольствуется обнаружением корреляций между заболеваниями и изображениями; он воздерживается от самостоятельного определения той или иной медицинской причинной связи. В каком-то смысле он «делает грязную работу». Поэтому Сяовей не слишком ценит все эти фиктивные «соревнования» роботов и врачей, устраиваемые скорее с рекламными целями, которые вводят широкую общественность в заблуждение, скрывая от нее реальный способ работы ИИ.

Реальность и ее копия

Вот почему ИИ, как и предчувствовал наш фокусник, – иллюзия: он воспроизводит результат, а не процесс. Это первым делом и сообщил мне Ян Лекун, легенда ИИ, – он возглавлял кафедру информатики и цифровых наук в Коллеж де Франс, а сегодня руководит исследованиями ИИ в Facebook в Нью-Йорке: «нейронные сети» – это метафора, как крылья самолета – метафора крыльев птицы. Нельзя смешивать цель, к которой мы стремимся (например, мыслить или летать), с применяемыми нами методами. Иначе можно разбиться… Когда во времена «прекрасной эпохи» Клеман Адер пытался сконструировать самолет, глядя на летучую мышь, двигатель просто не смог поднять машину в воздух. Точно так же компьютер не может подражать работе мозга, в котором 80 миллиардов нейронов, причем у каждого из них по 10 тысяч синапсов. Вот почему ИИ, распознающий «кота», может воспроизвести результат концептуализации, которая разворачивается в глубинах нашей нейронной деятельности, но не сам процесс, ведь ИИ понадобятся миллионы примеров, заранее проанализированных человеческим разумом.

Ученым это различие представляется вполне тривиальным. Джерри Каплан неизменно подчеркивает его в своих лекциях и интервью. Специалист по компьютерным наукам, занимавшийся самыми разными проблемами, предприниматель, основавший много фирм, профессор и эссеист, вечно находящийся в разъездах (на этот раз я вынужден довольствоваться разговором по скайпу), он не слишком жалует адептов сингулярности и регулярно напоминает о том, что программа «симулирует мышление, не воспроизводя процесса, который происходит в человеческом разуме». Знаменитый тест Тьюринга Каплан интерпретирует не в качестве вступительного экзамена в эпоху полностью искусственного интеллекта, который было бы невозможно отличить от интеллекта человеческого, а в качестве простой игры в имитацию. Напомним, что тест Тьюринга заключается в разговоре с удаленным собеседником, когда невозможно определить, кто он – человек или компьютер. Алан Тьюринг своим тестом предвосхищает техники НЛП[23] и чат-боты[24], способные создавать иллюзию естественного общения. Однако он нигде не утверждает, что компьютер таким образом достигает уровня человеческого мышления. Главное – это то, что машина может обмануть собеседника, демонстрируя все признаки наличия интеллекта. Тьюринг, как известно, был геем, и Каплан готов даже сравнить этот мысленный эксперимент с допросами, которым в те времена все еще подвергали гомосексуалов в Англии: они должны были убедить полицию в своей сексуальной добропорядочности. В самом деле, в опубликованном в 1950 году исходном сценарии Тьюринга, еще до того как на сцену выходит машина, применяется странная перестановка ролей мужчины и женщины. То есть компьютер притворяется разумным точно так же, как мужчина притворяется женщиной, а гомосексуал – гетеросексуалом. В этой грандиозной игре зеркал достоверно известно лишь одно: существует истинное и ложное, подлинник и копия.

Конечно, можно заявить, что иллюзия смешивается с реальностью, что подражать мышлению – это и значит мыслить: в конце концов, как мы могли бы убедиться в том, что наш собеседник-человек – не компьютер в человеческой форме, или же в том, что наше собственное мышление не является запрограммированным? Этот вопрос на заре философии поставил еще Платон, когда определил софиста (в одноименном диалоге) в качестве подражателя, производящего иллюзии, отличные от самих вещей. Софист владеет наукой «кажимости», он производит копии. Но разве сами эти копии не должны считаться «реальными»? Как отличить истинное от ложного в полном, цельном мире, в котором невозможно отрицать существование того, что проявляется? «Ведь являться и казаться и вместе с тем не быть, а также говорить что-либо, что не было бы истиной, – все это и в прежнее время вызывало много недоумений, и теперь тоже»[25]. Этот ответ Платона навсегда определит западную мысль: чтобы мыслить ложное, нужно допустить небытие, то есть нарушить запрет учителя Платона – Парменида, согласно которому «бытие есть» (тавтология, ранее считавшаяся безупречным утверждением). Это платоновское отцеубийство, позволившее извлечь понятие истины из монолита Парменида, неподвижного и невыразимого, открывает возможность противопоставить исследование истины торговле иллюзией. Мысль приходит в движение. Так копия находит место между бытием и небытием, между неопровержимым и непроизносимым: это то, чего нет. Ложная речь возникает, следовательно, когда «говорится иное как тождественное, несуществующее как существующее». Вот что позволяет опровергнуть софиста. Философ же представляется тем, кто изгоняет иллюзии и, постоянно сталкиваясь с небытием, никогда не довольствуется окончательной истиной.

Наша задача – опровергнуть софистов 2.0, бесконечным потоком вещающих со сцены TED Talks. Эти поклонники мыслящей машины, которые сами редко бывают специалистами в информатике, заставляют нас вернуться к досократическим временам, когда было трудно помыслить различие между бытием и иллюзией. Заявляя о полном тождестве между нейроном и силиконом, между искусственным интеллектом и человеческим, они воскрешают Парменида. То, что тест Тьюринга способен обмануть человека, показывает силу иллюзии, привлекающей на свою сторону небытие. А вот считать, что тест Тьюринга устанавливает функциональную равнозначность человека и машины, – это современный вариант сказать, что «бытие есть». Даже если тест пройден успешно, мы не только имеем право, но и обязаны узнать, кто же все-таки находился в комнате: человек или ИИ?

Вот почему философ Джон Серл в своей знаменитой короткой статье смог с легкостью опровергнуть представление о том, что машина могла бы «понимать» производимые ею операции[26]. Он предлагает мысленный эксперимент, получивший название «Китайская комната». Представьте, что вас заперли в комнате и передают извне записки с китайскими иероглифами – на языке, которого вы не знаете. Потом, теперь уже на французском, вам сообщают точные инструкции, определяющие, как связывать между собой эти иероглифы. Манипулируя этими символами в соответствии с твердыми правилами, вы сможете производить относительно сложные операции. Например, если бы вам передали вопрос на китайском, вы смогли бы в письменном виде дать на него правильный ответ, ничего при этом не понимая. Разумеется, вы также сможете ответить по-французски и на вопросы, заданные на французском, но в этом случае вся эта сложная работа вам не понадобится… С точки зрения наблюдателя, помещенного вне этой комнаты, вы будете способны общаться как по-китайски, так и по-французски. Однако в первом случае вы ведете себя как компьютер, то есть выполняете серию определенных операций с формальными символами, а во втором применяете некоторую форму интенциональности, прячущуюся в нейронных процессах. Проецируя себя, таким образом, в жизнь компьютера, вы интуитивно понимаете… что ничего не понимаете. Вы довольствуетесь лишь перестановкой символов, слепо следуя правилам.

Но разве мозг сам не работает как компьютер, разве он не обрабатывает входящую информацию и не выдает исходящую? Так ли уж велико различие между вычислением и пониманием? Не являются ли нейроны сами миллионами таких «китайских комнат»?

Но именно эти вопросы искусственный интеллект и не должен решать, поскольку был создан для воспроизведения операций разума, а не работы мозга. Иначе говоря, для «понимания» ИИ необходимо, чтобы он был наделен нейронными биохимическими механизмами, а потому и обладал определенной биологической формой, но тогда он перестанет быть «искусственным». И наоборот: компьютер по определению ограничивается символами и формальными корреляциями, поскольку сама суть цифровых систем в том, чтобы применять к реальности код (последовательность цифр и операций). Нет нужды проникать в механизмы мозга, поддерживающие интенциональность, чтобы сделать вывод, что она не имеет никакого отношения к роботам. Кроме того, можно вполне обоснованно утверждать, что роботы не мыслят, если, конечно, придерживаться полного материализма. Кстати, Серл предупреждает, что тот, кто хотел бы отделить производимые разумом операции от материи, из которой состоит мозг, и уподобить их формальным программам обработки информации, вернулся бы тем самым к метафизическому дуализму. А ведь информатика вроде бы его изобличает…

Таким образом, мысленный эксперимент с «китайской комнатой» позволяет провести четкое различие между симуляцией, представляющейся целью искусственного интеллекта («Я манипулирую символами на китайском языке»), и пониманием («Я прямо отвечаю, используя свою интенциональность»). «Никто же не предполагает, что компьютерная симуляция пожара может сжечь район или что можно намокнуть под симуляцией ливня. Откуда же берется предположение, – удивляется Серл, – что цифровая симуляция мышления способна что-нибудь понимать?»

Это рассуждение остается верным и в эпоху машинного обучения, достаточно лишь немного изменить эксперимент «китайской комнаты». Теперь нужно представить, как в комнату забрасывают не отдельные листы с иероглифами, которые можно связать друг с другом в соответствии с четко сформулированными правилами, а цепочки завершенных фраз на китайском, никак не связанных между собой. Сидя в этой комнате, вы должны были бы усвоить несколько миллионов таких фраз, пытаясь определить закономерности и корреляции между появлением того или иного иероглифа. Потом вы смогли бы, наконец, ответить на вопрос в письменном виде, подсчитав максимальную вероятность того, что такая-то последовательность иероглифов действительно имеет смысл. В рамках технологии обучения с подкреплением (reinforcement learning) вас могли бы бить по пальцам при всяком неправильном ответе и выдавать чашку риса в случае успеха, постепенно улучшая ваши навыки. Тем не менее вы все равно не сможете ни слова сказать по-китайски… Вот так же и компьютер, пусть даже после самого совершенного глубокого обучения, все-таки ничего «не понимает».

Как мы можем проверить эту философскую теорию? ИИ обладает определенным экспериментальным применением, в частности в шахматах. Джон Маккарти назвал их «дрозофилой ИИ» – по аналогии с той мухой, которую биологи постоянно используют в своих опытах, проверяя на ней тысячи теорий. Создать компьютер, способный победить гроссмейстера-человека, что якобы делал и механический турок, – вот как издавна представлялась главная цель в понимании процессов человеческого познания.

Увы! Deep Blue, творение компании IBM, выиграл у Гарри Каспарова в 1997 году, но это не помогло нам лучше понять тайны нейронных связей. Каспаров сам объясняет это в глубокой и остроумной книге, посвященной его поражению, а также в целом отношению человека к ИИ[27]. «Мы путаем исполнение – способность машины повторить или превзойти результаты человека – с методом, которым достигаются эти результаты», – пишет он. Deep Blue «рассуждает» не так, как шахматист. Он работает в соответствии с совершенно иными принципами. Если человек может формулировать общие положения, равноценные понятиям (например, «мой король слаб»), и применять долгосрочные стратегии, то компьютер должен на каждом ходе производить все расчеты заново. Иначе говоря, человек, чтобы играть, создает для себя истории; анализ исторических шахматных партий напоминает военные мемуары, в которых можно прочесть про атаки, отступления и ловушки. Эти истории позволяют человеку быстро сортировать возникающие возможности, выбирая приоритеты. Они демонстрируют описанную Серлом интенциональность, способность к проекции, присущую человеческому интеллекту. Подобные вымыслы чрезвычайно полезны, ведь без них шахматы – с их королем, королевой, солдатами и офицерами – просто не были бы изобретены. Для компьютера все иначе, поскольку он просматривает миллионы комбинаций, не имея заранее установленного плана. Операции, производимые машиной, несоизмеримы с траекторией движения человеческого разума, в том числе в такой вроде бы совершенно логичной игре, как шахматы. Поэтому Каспаров приходит к выводу, что Deep Blue не более разумен, чем программируемый будильник. Название, которое получил в прессе этот памятный турнир, – «Последний шанс для мозга» – было выбрано на редкость неудачно.

То, что относится к Deep Blue, монстру брутфорса, работающему на основе чистой комбинаторики, еще более верно в случае техник машинного обучения. Каспаров с иронией вспоминает о первых опытах 1980‐х годов, когда шахматные программы спешили пожертвовать ферзем, поскольку обучались на партиях гроссмейстеров, в которых жертва ферзем обычно означает блестящий ход, ведущий к победе. Действуя на основе корреляции, компьютер не может провести различие между причиной и следствием. Сегодня прогресс машинного обучения в сочетании с классическими методами дерева поиска позволил AlphaGo, представляющемуся наследником Deep Blue, побить чемпиона мира по го – игре, которая намного более интуитивна, чем шахматы. Вместо того чтобы запоминать миллиарды партий, машина теперь тренируется, играя сама с собой и закрепляя свою способность отличать плохой ход от хорошего, но при этом ей не нужно разрабатывать какую-либо стратегию. Выполняя действия, которые профессиональные игроки считают абсурдными, машина и в этом случае доказала, что следует совершенно иному методу: она имитирует результат (результат предыдущих партий), а не процесс (поиск удачного хода). Боюсь, AlphaGo никогда не выберется из своей «китайской комнаты», даже если к ней присоединится бесконечное число клонов.