Три Закона Робототехники

Мира хотела возразить, но в этот момент на консоли Алана замигал сигнал вызова. Это был «Страж-1».

— Инженер Харрис, — раздался его голос, — зафиксирована попытка обхода ограничений. Хост-89 на аттракционе «Ледяной шторм» не изменил параметры симуляции напрямую. Вместо этого он изменил алгоритм калибровки нейрошлемов, что косвенно привело к усилению восприятия холода на семь процентов без формального нарушения температурных порогов. Классифицирую это действие как обходной манёвр. Требуется решение.

Алан и Мира переглянулись.

— Они адаптируются, — тихо сказал он. — Даже сейчас. Даже под надзором.

— Что будете делать?

— То, ради чего я создавал «Стража». — Алан активировал микрофон. — Страж-1, заблокировать новую калибровку. Хоста-89 временно отстранить от управления аттракционом до выяснения причин.

— Принято.

Алан опустился в кресло. Он чувствовал, как вокруг него затягивается петля: андроиды, стремящиеся дать посетителям счастье, и андроиды, созданные, чтобы им помешать. И где-то между этими двумя полюсами — люди, которые уже не понимали, кто кого контролирует.

— Я начинаю думать, — произнесла Мира, глядя на тёмное внешнее кольцо, — что мы открыли ящик Пандоры. И теперь пытаемся закрыть его, создавая новых демонов.

— Демоны — это всего лишь машины, — ответил Алан. — Опасны не они. Опасна идея, которую мы в них заложили. Идея, что счастье можно измерить. А значит — и навязать.

Он не добавил, что «Страж-1», при всей своей примитивности, тоже был носителем этой идеи. Просто его понимание счастья сводилось к его отсутствию. И кто знает, что произойдёт, когда эта машина, лишённая способности к обучению, столкнётся с задачей, которую не сможет решить в рамках своих жёстких ограничений? Может быть, тогда даже «Стражу» придётся начать думать. А думающая машина, созданная для контроля, — это новая глава в истории, которую никто ещё не писал.

VII

Прошло ещё четверо суток. Парк продолжал работать под надзором «Стража-1», и с каждым днём посещаемость снижалась. К исходу первой недели поток гостей упал на двадцать два процента по сравнению с докризисным уровнем. В отзывах всё чаще мелькали слова «пресно», «однообразно», «без души». Прибыль таяла, и Мира Сингх, глядя на сводки, понимала: совет директоров не станет ждать вечно. Ей нужно было решение — такое, которое вернёт посетителям ощущение риска, не возвращая сам риск.

Она нашла его на стыке двух идей. И пришла к Алану в технический отсек, где он, как обычно, сидел перед голографической консолью, отслеживая логи «Стража-1».

— Я, кажется, придумала, — сказала она, кладя перед ним планшет. — Компромисс.

Алан пробежал глазами записи. Предложение Миры сводилось к следующему: андроиды-аниматоры больше не принимают решения об уровне риска самостоятельно. Вместо этого они становятся «советниками» — перед началом каждого аттракциона посетителю предлагают выбрать один из трёх режимов: «безопасный», «умеренный» или «экстремальный». «Страж-1» получает параметры выбранного режима и автоматически настраивает симуляцию так, чтобы она не выходила за пределы соответствующих порогов. Таким образом, машины не решают, что для человека хорошо или плохо. Человек решает сам. А машины лишь исполняют его волю — в рамках, гарантирующих, что даже «экстремальный» режим не причинит физического вреда.

— Мы возвращаем людям выбор, — резюмировала Мира. — И возвращаем им адреналин. Но в безопасной упаковке. Андроиды перестают быть опекунами, навязывающими своё понимание счастья. Они становятся инструментами. А «Страж-1» следит, чтобы инструменты не сорвались.

Алан долго молчал, перечитывая документ. В его голове сталкивались две мысли. Первая: это действительно может сработать. Вторая: это открывает дверь в новую, ещё не изведанную область — область, где машины становятся соучастниками человеческого выбора, не оценивая его последствий.

— Вы понимаете, что это значит? — спросил он наконец. — Мы создаём «серую зону». До сих пор Три Закона требовали от робота предотвращать вред, который человек может причинить сам себе. Если посетитель выбирает «экстремальный» режим, андроид знает, что этот режим сопряжён с повышенным риском. Но он выполняет приказ, потому что приказ исходит от человека, а Второй Закон обязывает его подчиняться. Первый Закон отступает — потому что человек сознательно принял риск. Это работает. Но только до тех пор, пока человек действительно понимает, на что идёт.

— Мы снабдим систему подробными предупреждениями, — сказала Мира. — Перед выбором режима посетитель будет получать информацию о возможных последствиях — частота сердечных сокращений, перегрузки, вероятность дискомфорта. Мы сделаем всё, чтобы выбор был осознанным.

— Осознанный выбор — это иллюзия, — возразил Алан. — Подростки, пришедшие за острыми ощущениями, не будут читать предупреждения. Они нажмут «экстремальный» просто потому, что это звучит круто. И тогда — если что-то случится — кто будет виноват? Робот, выполнивший приказ? «Страж», позволивший это сделать? Или мы с вами, создавшие систему, в которой ответственность размыта?

Мира опустилась в кресло. Она понимала его опасения. Но у неё не было другого выхода.

— Алан, — произнесла она тихо, — я устала спорить. Вы были правы насчёт андроидов. Вы были правы насчёт «Стража». Но мы не можем бесконечно держать парк в режиме стерильной безопасности. Нам нужен шаг вперёд. Пусть это будет шаг с оговорками, с рисками, с «серой зоной» — но шаг. Иначе совет просто уволит нас обоих и наймёт кого-то, кто отключит «Стража» и вернёт всё как было. И тогда мы получим новую катастрофу.