Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям?

Как избавиться от столь катастрофического расхождения целей и результатов, как убедиться, что модели учитывают наши нормы и ценности, понимают, что мы имеем в виду и что намереваемся сделать и, самое главное, чего мы на самом деле хотим? Этот вопрос стал одной из самых главных и срочных проблем в области информатики. У него есть название – проблема выравнивания.

Реакция на этот сигнал тревоги – как на то, что передний край науки как никогда близко подошел к разработке так называемого «общего» интеллекта, так и на то, что существующие в реальном мире системы машинного обучения все больше и больше касаются этически неоднозначных аспектов личной и общественной жизни – была неожиданной и энергичной. Самые разные люди призывают действовать, выходя за рамки традиционных дисциплинарных направлений. Некоммерческие организации, научно-исследовательские центры и институты упрочивают свое положение. Лидеры как в бизнесе, так и в науке начинают открыто высказываться, предостерегая и выражая свою озабоченность, а также перераспределяют финансирование исследований в соответствии с новыми опасениями. На программы постдипломного обучения зачислено первое поколение студентов, работы которых направлены непосредственно на этическую составляющую и безопасность машинного обучения. Первые отклики на проблему выравнивания уже появились.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

Примечания

1

См. Peter Norvig, On Chomsky and the Two Cultures of Statistical Learning, http://norvig.com/chomsky.html.

2

Эта реплика, которую многие приписывают Бруксу, первоначально выглядела так: «Лучше использовать мир как его собственную модель» в Brooks, Intelligence Without Representation.

3

Ныне широко известное высказывание «Все модели неверны» впервые появилось в статье Бокса «Наука и статистика» (Box, Science and Statistics); позднее оно расширилось до «В сущности, все модели неверны, но некоторые – полезны» в Box, Robustness in the Strategy of Scientific Model Building.

4

Информация о жизни Уолтера Питтса чрезвычайно скудна. Я нашел очень мало первоисточников, в основном, это были письма Питтса к Уоррену Маккаллоку, которые доступны в архиве Маккаллока в Американском философском обществе в Филадельфии. Я благодарен его персоналу за помощь. Другие материалы были взяты из устных рассказов современников Питтса, а именно Джерома (Джерри) Леттвина в книге Anderson and Rosenfeld, Talking Nets, а также в эссе и воспоминаниях в книге McCulloch, The Collected Works of Warren S. McCulloch. Другие рассказы о жизни Питтса можно найти в книгах Smalheiser, Walter Pitts; Easterling, Walter Pitts и Gefter, The Man Who Tried to Redeem the World with Logic. Более подробные детали есть в биографиях Маккаллока, Норберта Винера и других кибернетиков, например Heims, John von Neumann and Norbert Wiener и The Cybernetics Group, and Conway and Siegelman, Dark Hero of the Information Age.

5

Уайтхед А., Рассел Б. Основания математики: В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. – Самара: Самарский университет, 2005–2006.

6

Благодарю сотрудников архива Бертрана Рассела в Макмастерском университете за помощь в поисках копии этого письма; к сожалению, она не сохранилась.

7

Anderson and Rosenfeld, Talking Nets.

8

Anderson and Rosenfeld, Talking Nets. Видимо, имелась в виду книга Карнапа «Преодоление метафизики логическим анализом языка» (Logische Syntax der Sprache), хотя некоторые источники называют «Логическую структуру мира» (Der logische Aufbau der Welt).

9

В зависимости от точной даты их знакомства, возможно, Питтсу уже было восемнадцать (а Летвину двадцать). Маккаллок пишет: «В 1941 году я представил свои размышления о потоке информации через ряды нейронов на семинаре Рашевского на факультете математической биологии Чикагского университета и познакомился с Уолтером Питтсом, которому тогда было около семнадцати». См. McCulloch, The Collected Works of Warren S. McCulloch, с. 35–36.

10

Некоторые истоки этих мыслей предвосхищают совместную работу Маккаллока и Питтса; см. McCulloch, Recollections of the Many Sources of Cybernetics.

11

Мак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейрокомпьютер. – 1992. – № 3, 4. – с. 40–53.

12

См. Piccinini, The First Computational Theory of Mind and Brain, and Lettvin, Introduction to McCulloch, The Collected Works of Warren S. McCulloch.

13

В докладе Джона фон Неймана об ЭДВАК (электронном автоматическом вычислителе с дискретными переменными) – первом в истории описании компьютера с хранимой в памяти программой – на 101 страницу текста приходится лишь одна ссылка: на статью Маккаллока и Питтса 1943 года. (См. Neumann, First Draft of a Report on the EDVAC. К слову, в фамилии Маккаллока фон Нейман сделал опечатку.) Фон Нейман был увлечен их доказательствами и в разделе «Нейронные аналогии» рассматривал практическое применение вычислительных устройств, появление которых предвидел. «Очевидно, что эти нейронные функции в упрощенном виде могут имитироваться с помощью телеграфных реле или вакуумных электронных ламп, – писал он. – Поскольку соединения этих ламп должны передавать числа посредством цифр, вполне естественно использовать арифметическую систему, где цифры имеют два значения. А это предполагает использование бинарной системы». Все мы знаем, во что превратились эти бинарные машины с хранимыми в памяти программами, построенные на базе логических элементов. Это компьютеры, которые распространились настолько, что сегодня их количество превышает численность людей на планете.

И, тем не менее, эта архитектура, вдохновленная строением головного мозга, быстро вышла за рамки «нейронной аналогии». Многие задавались вопросом: могут ли существовать машины, более близкие по своей архитектуре к мозгу? Такие, где использовался бы не один-единственный процессор, которому на огромной скорости поочередно «скармливают» четкие логические инструкции, а распределенная сеть из относительно простых, однотипно действующих ячеек, чья совокупная эффективность превышает простую сумму действий ее базовых компонентов. Возможно, даже не полностью бинарная, а наделенная той долей неупорядоченности, которую взял на вооружение Летвин, но которой избегал Питтс. Время от времени появлялись специализированные аппаратные средства для параллельной обработки нейронных сетей (включая перцептрон Mark I Фрэнка Розенблатта), но, как правило, это были уникальные, штучные устройства. Настоящая аппаратная революция, сделавшая возможным масштабное параллельное обучение нейросетей на базе графических процессоров (GPU), произошла лишь несколько десятилетий спустя – в середине 2000‐х годов.

14

Mikolov, Sutskever, and Le, Learning the Meaning Behind Words.

15

Mikolov, Yih, and Zweig, Linguistic Regularities in Continuous Space Word Representations.

16

Интервью автора с Толгой Болукбаси, 11 ноября 2016.

17

Интервью автора с Адамом Калаи, 4 апреля 2018.

18

В январе 2017 года компания Northpointe слилась с CourtView Justice Solutions и Constellation Justice Systems. Они переименовали себя в equivant (со строчной буквы) и открыли штаб-квартиру в Огайо.

19

«Эти проверки зачастую проводят те же самые люди, которые разработали инструмент» (Desmarais and Singh, Risk Assessment Instruments Validated and Implemented in Correctional Settings in the United States).

20

Angwin et al., Machine Bias.

21

Rensselaer Polytechnic Institute, A Conversation with Chief Justice John G. Roberts, Jr.

22

Эту шутку придумал руководитель программы Сэми Бенджио во время вступительного слова на конференции 2017 года, см. https://media.nips.cc/Conferences/NIPS2017/Eventmedia/opening_remarks.pdf. Тринадцать тысяч участников посетили конференцию в 2019 году, см. https://huyenchip.com/2019/12/18/key-trends-neurips‐2019.html

23

Bolukbasi et al., Man Is to Computer Programmer as Woman Is to Homemaker?

24

VPN (VPN-сервис) – С ноября 2022 г. на территории Российской Федерации запрещено распространять информацию о VPN-сервисах с целью доступа к запрещенному контенту. Научная, научно-техническая и статистическая информация о VPN-сервисах для обхода блокировок признана запрещенной в России, исключением является информация о VPN для обеспечения защищенного удаленного доступа. – Прим. ред.

25

Интервью автора с Дарио Амодеем 24 апреля 2018 года.

26

Эта хорошо запоминающаяся формулировка взята из классической статьи Керра On the Folly of Rewarding A, While Hoping for B.

27

Официальное сообщение компании Open AI об инциденте с гоночной лодкой можно увидеть в статье Clark and Amodei, Faulty Reward Functions in the Wild.