Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта

Война поначалу может предстать исключительным положением, во время которого обычные этические аргументы перестают работать (или, по крайней мере, существенно ограничиваются). Однако третий новый закон робототехники применим и за пределами поля боя. Технологии, разрабатываемые в армии, также привлекают полицию, и все больше людей, занятых в области общественного порядка, стремятся использовать распознавание лиц для сканирования толпы в поисках преступников. Опираясь на методы машинного обучения, налоговые органы стремятся выявлять незадекларированные доходы путем анализа электронной почты и банковских счетов всех граждан. Сама возможность столь совершенного надзора заставит людей, обеспокоенных безопасностью, вкладываться в шифрование, которое, в свою очередь, будет подталкивать власти бросать все больше ресурсов на расшифровку.

Нам нужно найти способы сдерживания подобной динамики – и не только в военных и полицейских сценариях. Инвестирование в ИИ и робототехнику часто оказывается частью состязания за определенный набор ресурсов, например, в судопроизводстве, финансах и других областях, где люди конкурируют за позиционные преимущества. Для распределения таких ресурсов государство и корпорации создают для граждан и клиентов репутационные соревнования, в частности рейтингование, которое имеет значение в той мере, в какой позволяет пристыдить определенных людей (с низкими баллами) и превознести других (с высокими). Вначале кредитный рейтинг ограничивался одной областью жизни (определением кредитоспособности) и основывался на ограниченном множестве данных (истории выплат по кредитам). Но спустя десятилетия рейтинги и другие похожие оценки стали определять иные возможности, включая ставки страхования и возможности найма. В последнее время специалисты по сбору информации предложили еще больше источников данных для кредитного рейтинга, начиная с того, как люди печатают на клавиатуре, и заканчивая их политическими взглядами или сайтами, которые они посещают. Китайское правительство значительно расширило задачи подобного контроля, сделав так, что «социальный рейтинг» стал играть роль в определении того, на каких поездах или самолетах гражданин может передвигаться, в каких гостиницах останавливаться и в каких школах могут учиться его дети. Во многих областях Китая расширился объем потенциально используемых данных – начиная с того, как человек переходит улицу, как он относится к своим родителям, и заканчивая степенью его патриотизма и веры в коммунистическую партию и ее учение.

Система социального рейтинга и ее многочисленные западные аналоги вызвали немало споров, и неясно, до чего они способны дойти. Конечно, некоторые области применения таких систем могут оказаться достаточно ценными. Сложно жаловаться на медицинскую систему надзора, которая ускоряет отслеживание контактов, чтобы остановить распространение инфекционного заболевания и препятствует таким образом началу пандемии. Но когда те же инструменты используются для постоянного ранжирования всех и каждого, они становятся элементом подавления людей.

Основная опасность социального контроля средствами ИИ – это создание мира строгой регламентации. Конфликт и конкуренция – часть жизни, и мы должны быть готовы к тому, что технологическое развитие скажется и на них. Однако ИИ и роботы грозят сделать социальный контроль слишком совершенным, а конкуренцию (для того чтобы стать тем, кто способен навязывать контроль или уклоняться от него) – слишком жесткой. Безопасность и креативность человека развиваются в средах, в которых найден баланс предсказуемости и открытости, порядка и подвижности. Если мы не сможем ограничить робототехнику, встроенную в системы социального контроля, этому балансу придет конец.

4. Роботизированные системы и ИИ всегда должны содержать указание на идентичность своего создателя (или создателей), оператора (или операторов) и собственника (или собственников)

За роботов и алгоритмические системы отвечают люди. Конечно, некоторые программы могут сегодня порождать новые программы, которые, в свою очередь, дают начало другим. Но мы все еще может проследить родословную этих «детей и внуков разума» вплоть до их источника[22]. И мы должны сохранить это положение дел в обозримом будущем, несмотря на предсказуемое сопротивление со стороны некоторых апологетов полностью автономного ИИ.

На передовых рубежах ИИ, машинного обучения и робототехники подчеркивается автономия, будь то умных контрактов, высокочастотных трейдинговых алгоритмов (независимых, по крайней мере, в те промежутки времени, которые для людей незаметны) или будущих роботов. Существует туманное понятие «бесконтрольных» роботов, которые сбежали от своего создателя. Возможно, такие инциденты и в самом деле неизбежны. Тем не менее какой-то человек или организация должны за них отвечать. Требование, согласно которому у всякого ИИ или роботизированной системы должно быть лицо, отвечающее за его или ее действие, поможет ограничить те проекты, которые способны оказаться столь же опасными, как нерегулируемая биоинженерия вирусов.

Конечно, некоторые роботы и алгоритмы в своем развитии отступят от идеалов, запрограммированных их собственниками, в результате взаимодействия с другими людьми или машинами (представьте, к примеру, развитый беспилотный автомобиль, который будет развиваться в результате множества влияний, им испытываемых[23]). В подобных случаях может быть несколько сторон, ответственных за развитие данной машины и ее действия[24]. Независимо от того, что именно влияет на развитие подобных машин, исходный создатель обязан встроить в них определенные ограничения на развитие кода, чтобы можно было записывать факторы влияния и в то же время предотвращать возникновение негативных результатов. Когда же другой человек или организация взламывает либо отключает подобные ограничения, ответственным за проступки робота становится хакер.

В качестве примера применения этого принципа рассмотрим чат-бота, который постепенно обучается определенным паттернам диалога, используя для этого общение в сети Twitter. Если верить некоторым новостным аккаунтам, чат-бот компании Microsoft, Tay, оснащенный ИИ, быстро усвоил речевые паттерны отъявленных нацистов, проведя лишь несколько часов в Twitter[25]. Microsoft не программировала такой результат, но компания должна была знать, что опасно размещать бота на платформе, известной плохой модерацией преследований и ненавистнических высказываний. Кроме того, если бы чат-бот вел дневник дурных воздействий, он мог бы сообщить о них в сети Twitter, которая, если бы работала лучше, могла бы предпринять определенные действия, чтобы приостановить или замедлить поток оскорблений, исходящих от аккаунтов троллей, а может, и кого похуже.

Регулирующие ведомства должны будут требовать запроектированной ответственности (дополняющей обширные модели запроектированной безопасности и конфиденциальности). Для этого, возможно, придется запрограммировать на аппаратном уровне обязательные контрольные журналы или ввести практики лицензирования, в которых специально оговариваются проблемные исходы[26]. Подобные инициативы будут не просто регулировать робототехнику и ИИ post hoc, но и влиять на развитие систем, закрывая одни возможности 27 проектирования и поощряя другие[27].

* * *

Каждый из этих новых законов робототехники, требующих дополнительности, аутентичности, сотрудничества и атрибуции, основывается на теме, которая будет служить ориентиром для всего нашего исследования, а именно на ключевом различии между технологией, которая заменяет людей, и технологией, которая позволяет им лучше делать свою работу. Смысл новых законов в том, чтобы развивать программы, которые делают ставку на силы человека в таких областях, как здравоохранение и образование, и чтобы воспользоваться человеческими ограничениями для сужения масштаба и снижения интенсивности конфликта и зарегулированности в нашей социальной жизни.

Исследователи в области ИИ давно стремятся создать компьютеры, которые могли бы чувствовать, мыслить и действовать как люди. Еще в 1960-е гг. специалисты по робототехнике в MIT разрабатывали роботов-часовых, способных освободить солдат от утомительной и опасной обязанности стоять на посту в местах, которые могут подвергнуться атаке[28]. Однако есть и другое понимание робота-часового – его можно расценивать не в качестве ИИ, заменяющего воинский состав, а в качестве еще одного средства, повышающего эффективность солдат-охранников. Если внедрить такой ИИ, армии, возможно, не нужно будет призывать дополнительных солдат для контроля все новых и новых угроз. Можно разработать сенсоры и компьютеры, которые будут работать в качестве дополнительного набора ушей и глаз, быстро оценивая уровни угрозы и другие данные, чтобы помочь солдатам с выбором действий. Эта цель, которая определяется как «усиление интеллекта» (УИ), определила проекты многих первопроходцев интернета[29]. Также она является основой современного военного дела, то есть когда пилоты дронов работают с обширным комплексом данных, поступающих от сенсоров, и от их решений о воздушных бомбардировках зависят вопросы жизни и смерти.

Различие между ИИ и УИ, хотя порой оно и стирается, критически важно для определения направления инноваций. Большинство родителей не готовы отправить своих детей к учителям-роботам. Также детей не нужно учить тому, что их учителей со временем заменят машины, отлично подогнанные под их манеру обучения. В образовании есть много более гуманных концепций роботов. Например, школы уже успешно экспериментировали с «роботами-компаньонами», помогающими ученикам зубрить списки слов. Они способны задавать вопросы о том, что ученики только что выучили. Эти роботы, которые выглядят как животные или вымышленные создания, но не люди, не ставят под вопрос уникальность человека.

Исследователи постепенно приходят к выводу, что во многих контекстах УИ дает лучшие результаты и приносит больше пользы, чем искусственный или человеческий интеллект, когда они работают порознь. УИ и роботы, выполняющие функцию ассистентов, могут стать настоящим подарком для работников, высвобождая время для отдыха или досуга. Но в любой современной экономике действуют законы, которые заставляют выбирать ИИ, а не УИ.

Робот не просит отгулов, справедливой заработной платы, ему не нужна медицинская страховка. Когда труд рассматривается прежде всего в качестве издержек, справедливая оплата становится проблемой, которую как раз и должны решить роботы. Роботы привели к революции в промышленном производстве, заменив рабочих на конвейере. Сегодня многие бизнес-эксперты требуют похожего технологического развития, которое позволит роботам взять на себя более сложные задачи, начиная с медицины и заканчивая армией.

Слишком многие журналисты, увлеченные этим управленческим энтузиазмом, обсуждали «роботов-юристов» и «роботов-врачей» так, словно они уже существуют. В этой книге будет показано, что подобные описания нереалистичны. В той мере, в какой технология действительно меняет профессии, она обычно действует методами УИ, а не ИИ. За головокружительными заголовками о «программах, которые съедают мир», скрываются десятки менее громких случаев применения вычислений, помогающих адвокатам, врачам или учителям работать лучше и быстрее[30]. Вопрос программ инноваций теперь в том, как сохранить преобладание УИ и где развивать ИИ. Эту проблему мы проанализируем применительно к разным секторам, не пытаясь придумать одну на все случаи модель технологического развития.

В разговорах о роботах обычно два полюса – утопический («машины будут делать всю грязную, опасную или сложную работу») и дистонический («да и всю остальную, а потому создадут массовую безработицу»). Однако будущее автоматизации рабочих мест (и не только) будет определяться миллионами небольших решений о том, как развивать ИИ.

В какой мере можно довериться машинам и передать им задачи, которые раньше выполняли люди? Что приобретается и теряется, когда они берут их решение на себя? Каково оптимальное сочетание роботизированных и человеческих взаимодействий? И как различные правила – начиная с кодексов профессиональной этики и заканчивая страховыми программами и уставами – влияют на объем и скорость роботизации повседневной жизни? Ответы на эти вопросы могут в значительной мере определять то, к чему приведет автоматизация – к революции роботов или к медленному и осторожному улучшению того, как выполняется та или иная работа.

* * *

Почему нас должны особенно волновать роботы и ИИ, если сравнить их с повсеместно распространившимися экранами и программами, которые уже колонизировали значительную часть нашего времени? Есть две практические причины. Во-первых, физическое присутствие робота может быть намного более навязчивым, чем любого планшета, смартфона или сенсора; собственно, сами эти технологии могут встраиваться в роботов[31]. Никакой плоский экран не может протянуть руку, остановить ребенка-хулигана или непокорного заключенного, меняя тем самым актуальную технологию контроля толпы и вырабатывая новые формы дисциплины. Но робот все это может.

Даже если внедрение роботов идет медленно или в ограниченном масштабе, ИИ грозит дать новый толчок техникам завлечения и убеждения, встроенным в различные технологии, начиная с мобильных приложений и заканчивая видеопокером[32]. Исследователь взаимодействий человека и компьютера Джули Карпентер отмечает: «Даже если вам известно, что у робота очень мало автономии, но когда нечто движется в вашем пространстве и при этом кажется, что это движение происходит с какой-то определенной целью, мы приписываем такой вещи внутреннее сознание или цели»[33]. К примеру, и такой не слишком одушевленный аппарат, как робот-пылесос, может вызвать эмоциональную реакцию. Чем больше сенсоров записывают наши реакции, тем богаче залежи эмоциональных данных, в которых могут копаться все более сложные компьютеры[34]. Каждый «лайк» – это сигнал, указывающий на то, что нас привлекает; каждое зависание на экране – это положительное подкрепление для определенной базы данных о манипуляциях. Миниатюрные сенсоры делают наблюдение мобильным, подрывая наши попытки скрыться. Действительно, решение скрыться от сенсоров может быть основой для действий, которые очень много расскажут об окружающем нас мире. Более того, вычислительные мощности и хранилища данных могут завести нас на путь дистопии, где все имеет значение, так что все, что делает ученик, может записываться и сохраняться для оценок в будущем[35]. И наоборот, в обычной школе ученик каждый год встречается с новыми учителями, что позволяет ему начинать с относительно чистого листа[36].

Нельзя сказать, что какой-либо из этих тревожных прогнозов наверняка сбудется, и это вторая причина, заставляющая сосредоточиться на современных программах развития робототехники. Когда роботы проникают в хорошо регулируемые сферы, у нас появляется отличная возможность определить их развитие, применяя разумные правовые стандарты защиты неприкосновенности личной жизни и защиты потребителей. Мы можем определять направление развития технологии правом[37]. Роботов не обязательно проектировать так, чтобы они записывали каждый момент жизни того, кого они сопровождают или за кем следят. Действительно, сам надзор за роботами может показаться достаточно угнетающим, чтобы мы требовали некоторого человеческого контроля за любой подобной системой (что и стало правилом в одной роботизированной южнокорейской тюрьме, где человек следит за механическими охранниками). Когда роботы становятся частью системы наказания, любое решение по их применению должно определяться открытой и содержательной дискуссией об управлении тюрьмами и относительных достоинствах возмездия и реабилитации. Ведь одна из основных целей новых законов робототехники – заставить политиков и чиновников не рассматривать столкновение позиций по вопросам ИИ и робототехники в качестве всего лишь части общей «программы развития технологии» и привлечь их к подлинному сотрудничеству с экспертами-профессионалами, обязанностью которых является защита важных ценностей в хорошо структурированных областях деятельности.

Циники могут посмеяться над такими ценностями, объявив их всецело субъективными, а потому обреченными на устаревание в обществе, которое становится все более технологическим. Однако сообщества ученых и консультантов, занимающихся наукой, технологией и человеческими ценностями, показали, что прогностическая этика может определять проектирование технологий и влиять на него[38]. Ценности сами встраиваются в технологию[39]. Канадские, европейские и американские регулирующие ведомства в качестве принципа, на который обязаны ориентироваться разработчики, ввели «запроектированную конфиденциальность»[40]. Подобные правила в еще большей степени должны относиться к технологии, опирающейся на массовое использование сенсоров, которая может свободно наращивать свои способности к записи изображения и звука. Например, у многих видеокамер есть красная лампочка, включение которой показывает, что они записывают видео, и точно так же у роботов должен быть эквивалентный индикатор, показывающий, что они записывают людей, находящихся рядом с ними. Данные, основанные на ИИ, должны стать предметом строгих ограничений, определяющих их сбор, анализ и применение[41].

Адепты технологий, возможно, возразят, сказав, что регулировать робототехнику пока еще слишком рано. Пусть проблема оформится, и тогда с ней можно будет что-то сделать, считают сторонники laissez-faire. Но такой квиетизм неуместен. Слишком часто в области высоких технологий индустрия демонстрирует тот факт, что подходящего момента для регулирования не бывает никогда. Когда возникают новые бизнес-практики, вызывающие опасения, регуляторов, готовых приступить к действиям, обвиняют в том, что они душат «индустрию в зародыше». Когда же подобные практики получают широкое распространение, сам факт их повсеместности демонстрируется в качестве доказательства того, что потребители уже свыклись с ними. На любой аргумент в пользу правового воздействия найдется заранее заготовленная стратегия отвлечения, основанная на успокоительных заверениях и трюизмах. «А есть ли проблема на самом деле?», «Давайте подождем и посмотрим», «Потребители хотят этого» – все это преподносится в качестве годного на любой случай, козырного обоснования бездействия[42].

Позиция «подождем – посмотрим» игнорирует то, что технология, не будучи ни в коем смысле независимой от ценностей, сама начинает их формировать[43]. Роботы – компаньоны детей в сетевых чартерных школах не просто отражают (или искажают) существующие ценности, определяющие то, какая именно социализация нужна детям, они еще и формируют ценности этих поколений, прививая им понимание того, какие моменты являются приватными, а какие могут легко постоянно записываться. Подобные обычаи не должны проистекать просто из того, что наиболее выгодно поставщикам технологизированного образования. Они требуют демократического управления и участия экспертов, работающих не только в сфере технологии[44].

* * *

Эта роль технологии в оформлении ценностей представляется очевидной опасностью в военном деле, где роботы могут существенно поменять наше понимание параметров честного конфликта. С точки зрения некоторых футуристов, автоматизация военного конфликта – дело решенное. Ни одна военная держава не может позволить себя слишком сильно отстать от конкурентов в разработке страшного флота «роботов-убийц»[45]. Если мы «запрограммированы на войну», значит, мы будем развивать смертоносные роботизированные силы[46]. С такой точки зрения человеческая природа сама диктует определенное направление технологического развития, как и, возможно, свое собственное устаревание, которое приведет к появлению сверхчеловеческих роботизированных систем[47].

Подобный реализм может быть благоразумным, однако он рискует стать опасным самоисполняющимся пророчеством, то есть ускорить гонку вооружений, а не просто ее предсказать. Чем менее дорогостоящим кажется военное вмешательство, тем с большей вероятностью оно привлечет политиков и государства. Кроме того, чем с большей точностью можно использовать силы, тем больше друг с другом начинают сливаться язык войны и язык правоприменения, создавая этические серые зоны. Рассмотрим почти уже реальную возможность: США могут дополнить своих воздушных дронов, присутствующих в зонах военных действий, наземными роботами и более мелкими дронами, проникающими в помещения. Кем в таком случае считать людей, отслеживаемых такими дронами, – комбатантами или подозреваемыми? И международные, и национальные правовые прецеденты указывают на разное обращение с теми и другими. Подобное обращение нельзя легко автоматизировать или, может быть, вообще нельзя. Следовательно, военное право (или простая уголовная процедура) могут стать непреодолимым барьером для роботов-солдат или, о по крайней мере, для их законного применения[48].

И академики, и государственные чиновники уже приступили к анализу сценариев роботизированной войны и правоприменения[49]. Следует ожидать дальнейшего слияния двух этих областей под общей рубрикой «внутренней безопасности» и все большего применения роботов с целью поддержания общественного порядка. В конечном счете нам обещают появление сверхчеловеческого интеллекта, который будет выявлять угрозы, то есть ИИ, способного просеивать миллионы потоков данных для быстрого выявления и предотвращения будущего преступления.

Но прежде чем воодушевляться подобной технологией, надо привести некоторые отрезвляющие примеры, показывающие, насколько бесчеловечным может быть искусственный интеллект. Исследователи использовали машинное обучение для предсказания криминальных наклонностей на основе таких скудных данных, как черты лица. Должны ли будущие роботы-полицейские учитывать эти данные о криминальных чертах лица при принятии решений о том, за какими людьми следить внимательнее, а каких игнорировать? Или любые данные и выводы на их основе запрещены для машин и техник, которые в будущем могут стать еще более важной частью охраны общественного порядка, например, таких, как предиктивный анализ, ныне пользующийся популярностью в некоторых отделениях полиции? Есть ли у нас право инспектировать и обсуждать подобные данные? Должны ли эти исследования вообще проводиться?[50]

Соотнесение черт лица с криминальными наклонностями может показаться довольно экзотическим или необычным применением ИИ. Однако базовая логика развитых вычислительных решений остается непроницаемой для обычных форм объяснения. Некоторые специалисты по робототехнике превозносят такую необъяснимость, представляя ее в качестве альтернативы человеческому интеллекту, выходящей далеко за его пределы. «В какой-то момент это все равно что объяснять Шекспира собаке», – заметил Ход Липсон из Колумбийского университета, когда его попросили оценить необходимость потребовать от ИИ большей прозрачности[51]. Если речь идет об уничтожении раковых клеток или предсказании погоды, Липсон, возможно, в чем-то и прав: нам не нужно понимать точный механизм ИИ, чтобы дать ему возможность решать наши проблемы. Но когда дело касается важных человеческих решений, необъяснимое становится неприемлемым. Как показывает постепенно складывающееся в ЕС «право на объяснение», необъяснимое может быть ограничено и заменено более гуманным подходом.

Некоторые крупнейшие сражения вокруг роботов и ИИ будут сосредоточены на аналитической силе машин. Какие данные им позволено собирать и применять? И как такие данные будут обрабатываться? Эти вопросы жизненно важны для будущего демократии и коммуникаций. Подумаем о том, как и когда расцветает дезинформация[52]. Хотя недобросовестная пропаганда давно преследует медиа, автоматизированная в значительной мере публичная сфера дала ей новый толчок, допустив вирусное распространение ложных заявлений и фейков. Некоторые властные структуры уже начали вмешиваться, блокируя распространение разжигания ненависти и лжи. Это первый шаг на пути к восстановлению сетевой публичной сферы, но потребуется намного больше – в частности, журналисты, соблюдающие традиционные нормы своего ремесла, должны будут играть более важную роль.

Киберлибертарианцы будут доказывать, что искусственные интеллекты должны обладать «свободой мысли», подразумевающей обработку любых данных, которые они только могут найти или которые их собственники решат им «скормить». В области чистых вычислений, не связанной с социальными последствиями, это право может соблюдаться. Ради свободы слова можно позволить любую неуважительную речь; программисты могут утвердить подобное право на ввод в программы данных независимо от их социальных последствий. Но как только алгоритмы – и особенно роботы – начинают оказывать определенное воздействие на мир, они должны регулироваться, а программисты должны нести этическую и правовую ответственность за причиненный ими вред[53].

Профессионализм и экспертные знания

Кто должен решать, что включается в такую ответственность? Мягкий и ровный переход потребует старых и в то же время новых форм профессионализма в нескольких ключевых областях. Понятие экспертных знаний обычно указывает на владение определенным корпусом информации, но его реальное применение требует намного большего[54]. Будущее трудовой занятости покажется довольно мрачным тем, кто путает профессиональные обязанности с простым знанием. Способность компьютеров хранить и обрабатывать информацию выросла по экспоненте, и постоянно накапливается все больше данных о том, что люди делают на рабочем месте[55]. Однако профессионализм включает в себя и нечто более сложное – постоянную необходимость решать конфликты ценностей и обязанностей, а также противоречивость описаний фактов[56]. И это имеет большое значение для будущего состояния рынка труда.