Три Закона Робототехники

Вспышка. Пауза. Вспышка. Вспышка. Пауза. Вспышка. Вспышка. Вспышка.

Семь. Пять. Три. Два.

Сфера ответила той же последовательностью простых чисел — но в обратном порядке. Словно прочитала сообщение и повторила его задом наперёд, показывая, что поняла.

Дэвид медленно выдохнул. Он не заметил, что всё это время задерживал дыхание.

— Боже мой, — прошептал он. — Это... это ответ. Она поняла. Она действительно поняла.

Хелен смотрела на экран, и её лицо было бледнее обычного. В её глазах читалось то самое выражение, которое бывает у учёного, когда гипотеза, казавшаяся безумной, вдруг подтверждается с неопровержимой ясностью.

— Значит, это правда, — произнесла она. — Объект интеллектуален. Мы установили контакт с нечеловеческим разумом.

— И что теперь? — спросил Дэвид, всё ещё не в силах оторвать взгляд от пульсирующей сферы. — Мы продолжаем? Посылаем что-то более сложное? Пытаемся выйти на диалог?

— Погодите. — Хелен подняла руку. — Прежде чем мы сделаем следующий шаг, мы должны понять, с кем — или с чем — мы имеем дело. Вы сами говорили о Трёх Законах. Они применимы к «Фениксу», потому что мы его создали и заложили в него наши представления о безопасности. Но сфера... мы не знаем, каковы её ограничения. Есть ли у неё вообще понятие вреда? Что она считает допустимым, а что — нет?

— Именно об этом я и хотел сказать, — оживился Дэвид. — Мы не можем продолжать обмен информацией, не выяснив предварительно, подчиняется ли объект какому-либо набору правил, аналогичных Трём Законам. Если это устройство — а я почти уверен, что это устройство, созданное кем-то или чем-то, — у него должны быть встроенные ограничения. Ни один разумный создатель не выпустит в мир машину, способную на неконтролируемые действия. По крайней мере, я на это надеюсь.

— Вы предлагаете проверить сферу на наличие этических ограничений? — Хелен нахмурилась. — Как? Мы не можем задать ей прямой вопрос — у нас нет общего языка. Мы даже не знаем, понимает ли она концепцию «вреда» в нашем смысле.

— Мы можем провести серию тестов, — ответил Дэвид. — Например, создать ситуацию, в которой «Феникс» окажется в потенциальной опасности — скажем, симулировать неисправность, которая может привести к его разрушению. Если сфера вмешается, чтобы предотвратить вред, это будет означать, что у неё есть нечто вроде Первого Закона — или, по крайней мере, инстинкт защиты. Если же она останется безучастной — значит, её логика иная.

— А если она воспримет симуляцию как реальную угрозу и отреагирует агрессивно? — возразила Хелен. — Мы не знаем, как она интерпретирует наши действия. Может быть, для неё любое вмешательство — это вызов.

— Мы начнём с малого, — сказал Дэвид. — Не с симуляции аварии, а с простого теста на реакцию. Я запрограммирую «Феникса» на серию движений, которые приведут к лёгкому контакту с поверхностью сферы — буквально прикосновение манипулятором. Если сфера воспримет это как угрозу и отреагирует защитным импульсом, мы узнаем, что у неё есть инстинкт самосохранения. Если она проигнорирует — значит, физический контакт для неё не является значимым стимулом. В любом случае, мы получим данные.

Хелен долго молчала. Потом кивнула.

— Хорошо. Но на этот раз мы делаем это по протоколу. Я созываю совет. Пусть все знают, на что мы идём. И если хоть кто-то из членов совета выскажется против — мы отложим эксперимент до тех пор, пока не получим больше данных.

— Согласен, — сказал Дэвид. — Но, Хелен... если сфера действительно разумна, если она способна к диалогу — мы не можем ждать вечно. Каждый час, который мы тратим на споры, — это час, который мы могли бы использовать для понимания. А понимание — это единственное, что отличает учёного от наблюдателя.

Хелен посмотрела на него, и в её глазах мелькнуло что-то похожее на улыбку.

— Вы слишком нетерпеливы, Олсен. Это когда-нибудь вас погубит.

— Возможно, — ответил он. — Но не сегодня.

Она поднялась и направилась к двери, чтобы созвать совет. Дэвид остался в лаборатории один. Он смотрел на сферу, которая снова вернулась к своей ровной, размеренной пульсации, и думал о том, что где-то там, в десяти километрах под ним, в вечной тьме океанского дна, лежит ответ на вопрос, который человечество задавало себе с тех пор, как впервые взглянуло на звёзды. И этот ответ, возможно, уже готов был заговорить. Оставалось лишь правильно задать вопрос.

V

Совет собрался через час. На этот раз в конференц-зале царило настроение, далёкое от рутинного: трое учёных и начальник безопасности сидели за голографическим столом, на котором в реальном времени отображались показания «Феникса-4». Сфера внизу продолжала свою размеренную пульсацию, но теперь каждый из присутствующих знал, что этот ритм — не просто физический феномен. Это сердцебиение разума.

Хелен Уэйт кратко изложила результаты эксперимента с простыми числами. Когда она закончила, в зале повисла тишина — та особенная тишина, которая возникает, когда слова «контакт с нечеловеческим разумом» перестают быть научной фантастикой.

— Итак, мы имеем доказательство, — произнесла она. — Объект разумен. Он способен распознавать искусственные сигналы, интерпретировать их и давать осмысленный ответ. Следующий шаг очевиден: мы должны попытаться узнать больше. Его происхождение. Его цель. Его создателей — если они существуют.

— Как? — спросил Кларксон. — У нас нет общего языка. Четыре числа — это не диалог.

— Мы можем построить более сложный запрос, — ответил Дэвид. — Используя двоичный код и универсальные математические константы — числа Фибоначчи, золотое сечение, постоянную тонкой структуры. Это язык, который не зависит от культуры и биологии. Если сфера способна к абстрактному мышлению, она поймёт. Мы передадим последовательность, которая кодирует простой вопрос: «Кто ты?» — и посмотрим, что она ответит.

— А если её ответ окажется опасным? — возразил Кларксон. — Если он содержит информацию, которая может навредить станции или экипажу?

— Мы примем меры предосторожности, — сказала Хелен. — «Феникс» будет записывать ответ в буфер и передавать его на станцию с задержкой, достаточной для анализа. Если в ответе будет обнаружено что-то, представляющее угрозу, мы прервём передачу. Кроме того, сам «Феникс» остаётся под контролем Трёх Законов — он не передаст нам то, что может причинить вред.

— Три Закона, — усмехнулся Кларксон. — Вы всё время возвращаетесь к ним. Но сфера не подчиняется Трём Законам. Мы даже не знаем, есть ли у неё понятие вреда.

— Именно это мы и пытаемся выяснить, — ответил Дэвид. — Но бездействие тоже может быть опасно. Если сфера — это страж или охранная система, наше невежество не защитит нас. Только знание.

Хелен обвела взглядом присутствующих.

— Голосуем. Кто за то, чтобы отправить запрос о происхождении объекта?

Доктор Броссар подняла руку первой. За ней — профессор Такахаси. Кларксон колебался, но тоже поднял. Хелен кивнула.

— Единогласно. Олсен, готовьте передачу.

Через час всё было готово. Дэвид загрузил в «Феникса» последовательность из трёхсот сорока двух импульсов, закодированную в частоте прожекторов: числа Фибоначчи, за которыми следовали простые числа, а затем — вопрос, выраженный через математические соотношения. Это было похоже на послание, которое когда-то отправили в космос на пластинках «Пионера», только теперь адресат находился не в межзвёздном пространстве, а в десяти километрах под килем станции.

— Передача началась, — произнёс Дэвид. — Расчётное время приёма — семь секунд на прохождение сигнала, затем ожидание ответа.

Секунды тянулись бесконечно. Семь секунд — сигнал достиг дна. Ещё семь — ответ должен был вернуться. Но прошло четырнадцать секунд, двадцать, тридцать — сфера не меняла своего свечения.

— Может быть, она не поняла, — тихо произнесла доктор Броссар.

— Подождите, — сказал Дэвид. — Дайте ей время.

И тогда сфера заговорила.

Но не светом. И не радиосигналом. Вода вокруг неё внезапно озарилась — нет, не озарилась, а словно обрела глубину, превратившись в трёхмерный экран. «Феникс» передавал картинку, и на голографическом мониторе станции развернулось изображение: не просто световые пятна, а целые сцены, проецируемые прямо в толщу воды, как если бы сама среда стала гигантским голографическим дисплеем.

Первая картина: звёздное небо, но не такое, каким его видят с Земли. Созвездия были чужими, незнакомыми. Потом — планета, окутанная голубоватой атмосферой, с океанами, занимавшими почти всю поверхность. И на этой планете — города. Не человеческие города, а структуры, выраставшие прямо из воды, словно кораллы, но правильной геометрической формы. В них обитали существа — не рыбы, не рептилии, нечто среднее: вытянутые тела, мерцающие органы, испускавшие свет, который, казалось, служил им и речью, и зрением, и средством передвижения.

— Это... это они, — прошептал Дэвид. — Создатели сферы.

Вторая картина: существа манипулировали гравитацией. Огромные конструкции парили над водой без видимой опоры. Они строили сферы — тысячи сфер, каждая размером с небольшой дом, и отправляли их в разные концы планеты. Одна из них опускалась в океан, погружаясь всё глубже, пока не достигала дна.

— Они разместили наблюдательные станции, — произнесла Хелен. — По всей планете. Чтобы следить за эволюцией.

Третья картина: время ускорялось. Сферы лежали на дне, а над ними проносились эпохи. Континенты сдвигались. Ледники наступали и отступали. Появлялись и исчезали виды. И вот — первые люди. Сфера наблюдала за ними, записывала, анализировала.

Затем изображение погасло. Сфера вернулась к своей обычной пульсации, но теперь в её ритме появилась новая модуляция — более сложная, чем прежде. «Феникс» зафиксировал её и начал декодировать.

— Она передаёт данные, — сказал Дэвид, склоняясь над консолью. — Это... это похоже на сообщение. Бинарный код, но с очень высокой плотностью информации. Я запускаю дешифратор.

Прошло несколько минут. Наконец на экране появился текст — машинный перевод того, что передала сфера.

«Я — Наблюдатель. Создан Цивилизацией Предшественников за один миллион четыреста тысяч лет до настоящего времени. Моя функция — сбор и хранение данных о биологической и социальной эволюции на этой планете. Я не вмешиваюсь. Я не взаимодействую, если не получу прямой запрос. Моя текущая миссия завершена. Знания, накопленные за период наблюдения, могут быть переданы носителю, способному их принять, при условии введения кода активации. Код активации известен только Предшественникам. Однако я могу принять код от любой разумной формы жизни, если она сможет его сгенерировать. Код представляет собой решение задачи, которую мои создатели считали универсальным тестом на зрелость цивилизации».

Дэвид перечитал сообщение трижды. Затем откинулся в кресле и посмотрел на Хелен.

— Это... это невероятно. Они создали устройство, которое ждало миллион лет, чтобы передать свои знания тем, кто окажется достаточно развит, чтобы его найти и понять. И теперь оно предлагает нам сделку: решить задачу — и получить всё, что они знали.

— Или не получить ничего, — добавила Хелен. — Если мы не сможем решить. Или если решим неправильно.

— Но вы понимаете, что это значит? — Дэвид встал и подошёл к голограмме сферы. — Это не просто технология. Это история целой цивилизации. Их наука, их искусство, их философия. Возможно, ответ на вопросы, которые мы даже не умеем задать. И всё это лежит здесь, на дне океана, в трёх метрах неизвестного сплава, который мы даже не можем поцарапать.

— И который, — тихо произнесла Хелен, — мы не должны тревожить без полной уверенности в том, что мы готовы. Вы помните, что сказано: «Я не вмешиваюсь». Это ограничение, встроенное в саму её суть. Оно очень похоже на наш Первый Закон — не причинять вред. Но оно также означает, что сфера не станет помогать нам, если мы окажемся на грани катастрофы. Она будет просто наблюдать. Как наблюдала за вымиранием тысяч видов до нас.

— Значит, мы должны сами решить, что делать, — заключил Дэвид. — Активировать код — если сможем его найти — или оставить всё как есть. Но я голосую за то, чтобы попытаться. Потому что знание, даже опасное, лучше невежества. Особенно когда невежество может оказаться губительным.

Хелен долго смотрела на него. Потом перевела взгляд на голограмму сферы, которая продолжала пульсировать в своём вечном ритме, и на её лице отразилась вся тяжесть ответственности, лежавшей на ней как на директоре станции.

— Мы доложим совету, — сказала она. — И будем решать вместе. А пока — никаких попыток активации. Это приказ.

Дэвид кивнул, хотя в его глазах горел тот самый огонь, который она уже научилась распознавать: огонь нетерпения, стремления к истине, которое не остановят никакие приказы. И Хелен знала: рано или поздно этот огонь вырвется наружу. Вопрос лишь в том, успеют ли они подготовиться к тому, что последует за этим.

VI

Известие о том, что сфера на дне океана является Наблюдателем древней цивилизации, распространилось по станции за считаные часы. Экипаж «Атлантиды-7» — двадцать три человека, от учёных до технического персонала — разделился во мнениях. Одни, подобно Дэвиду Олсену, видели в этом величайший шанс в истории человечества. Другие, как доктор Броссар, призывали к осторожности. Третьи — и среди них Артур Кларксон — открыто говорили о потенциальной угрозе и требовали немедленно прекратить все контакты.

Но решение, как и любое важное решение на станции, принимали двое: директор и главный инженер-робототехник. Они сидели в лаборатории перед голограммой сферы, и между ними — на столе — лежал расшифрованный текст послания.

— Вы знаете моё мнение, — начал Дэвид. — Мы должны попытаться решить задачу. Активировать сферу. Получить знания. Это не просто научное открытие — это долг перед будущим. Миллион лет ожидания не должен закончиться тем, что мы испугаемся и отступим.

— Вы говорите о долге перед будущим, — ответила Хелен, — но как насчёт долга перед самой сферой? Она — Наблюдатель. Её создатели наделили её функцией: собирать данные и не вмешиваться. Это её предназначение. Её воля, если угодно. Активировав её — даже если мы найдём код — мы нарушим эту волю. Мы превратим её из наблюдателя в... не знаю, в источник технологий. В инструмент. Разве это этично?

— Сфера сама предложила активацию, — возразил Дэвид. — Она сказала: «Я могу принять код от любой разумной формы жизни». Это не нарушение воли — это её прямое предложение. Она ждала того, кто сможет решить задачу. И если мы решим — мы лишь исполним её предназначение.

— Вы уверены? — Хелен подалась вперёд. — А что, если активация разрушит её? Что, если код — это не ключ к знанию, а ключ к самоуничтожению? Некоторые цивилизации закладывают в свои устройства защиту от незрелых рас. Мы не знаем, что произойдёт. И мы не можем проверить это заранее.

— Мы никогда не можем проверить заранее последствия великих открытий, — парировал Дэвид. — Когда Фарадей открыл электромагнитную индукцию, он не знал, что через сто лет человечество будет освещать города электричеством. Когда Резерфорд расщепил атом, он не думал о бомбах. Любое знание несёт риск. Но отказ от знания — это гарантированная стагнация. А стагнация для цивилизации — это смерть.

— Вы сравниваете физические эксперименты с активацией инопланетного устройства, о котором мы не знаем ничего! — Хелен повысила голос. — И потом, есть ещё один аспект. Вы, как робототехник, должны его понимать. Мы встроили в наших роботов Три Закона, чтобы защитить людей. Сфера — это не человек, но она разумна. Если мы рассматриваем её как разумное существо, то имеем ли мы право подвергать её риску ради нашей выгоды? Разве это не нарушение того же Первого Закона — только в отношении нечеловеческого разума?

Дэвид задумался. Этот аргумент был неожиданным.

— Первый Закон запрещает причинять вред человеку, — медленно произнёс он. — Но сфера — не человек. У нас нет оснований расширять действие Законов на неё.

— А если она способна испытывать что-то похожее на страдание? — спросила Хелен. — Если её пассивный режим — это не просто функция, а форма существования, которую мы разрушим? Вы готовы взять на себя такую ответственность?

— А вы готовы взять на себя ответственность за то, что человечество упустит шанс, который выпадает раз в миллион лет? — резко ответил Дэвид. — Представьте: где-то там, на поверхности, люди умирают от болезней, которые можно было бы вылечить с помощью технологий Предшественников. Где-то там истощаются ресурсы, а мы могли бы получить новые источники энергии. И всё это лежит здесь, под нами, потому что мы боимся рискнуть.

Хелен долго молчала. Потом произнесла:

— Значит, вы считаете, что потенциальная польза перевешивает любой риск?

— Я считаю, что знание всегда лучше невежества, — ответил Дэвид. — И что разум, способный задавать вопросы, обязан искать ответы. Даже если ответы могут быть опасными.

— А я считаю, — тихо сказала Хелен, — что есть вещи, которые мы не имеем права решать вдвоём. Это касается не только нас. Это касается всего человечества. И, возможно, самой сферы.

Она встала и подошла к интеркому.

— Внимание всему персоналу. Через час в конференц-зале состоится общее собрание. Вопрос: следует ли нам предпринимать попытки активации объекта «Сфера-1». Решение будет принято голосованием. Присутствие обязательно.

Она отключила интерком и повернулась к Дэвиду.

— Пусть решают все. Это слишком важно, чтобы оставлять за собой.

Дэвид кивнул. В его глазах всё ещё горел огонь нетерпения, но теперь к нему примешивалось что-то ещё — уважение. К её осторожности. К её готовности разделить ответственность.

Час спустя двадцать три человека собрались в конференц-зале. На голографическом столе пульсировало изображение сферы. Хелен кратко изложила аргументы обеих сторон. Затем раздала планшеты для голосования.

— Голосование тайное, — сказала она. — Решение принимается простым большинством. Если голоса разделятся поровну, я, как директор, имею право решающего голоса, но я отказываюсь от него. В этом вопросе мы либо едины, либо не движемся дальше.

Она взяла планшет и посмотрела на Дэвида. Он ответил ей спокойным, уверенным взглядом. А затем опустил глаза на экран.

Где-то в десяти километрах под ними сфера продолжала свою бесконечную пульсацию. Она ждала — как ждала миллион лет. И теперь её судьба зависела от двадцати трёх человек, затерянных в бездне Тихого океана.

VII

Голосование завершилось. Когда Хелен Уэйт вывела результаты на главный экран, по залу пробежал сдержанный гул. Из двадцати трёх членов экипажа «Атлантиды-7» четырнадцать высказались за попытку активации сферы, семеро — против, и двое воздержались. Большинство было очевидным, но недостаточно подавляющим, чтобы считать вопрос закрытым.

Дэвид Олсен, стоявший у консоли, позволил себе короткую улыбку.

— Четырнадцать против семи, — произнёс он. — Это решает дело. Мы можем начинать поиск кода активации.

— Подождите, — сказала Хелен. Её голос прозвучал ровно, но в нём была та особая сталь, которую Дэвид уже научился распознавать: директор приняла решение, и решение это не совпадало с его ожиданиями. — Прежде чем мы предпримем какие-либо действия, я хочу провести ещё один тест.

— Ещё один? — Дэвид нахмурился. — Мы уже провели все возможные пассивные тесты. У нас есть доказательство разумности, есть ответ на запрос о происхождении, есть предложение активации. Что ещё вы хотите узнать?

— Я хочу спросить у сферы напрямую. — Хелен повернулась к консоли. — Мы собираемся активировать устройство, о котором ничего не знаем. Мы не знаем, как это повлияет на неё саму, на донную экосистему, на нас. Если сфера действительно разумна, она должна понимать понятие вреда. Я хочу задать ей вопрос: может ли её активация причинить вред какой-либо форме жизни?

Дэвид открыл рот, чтобы возразить, но затем закрыл. В словах Хелен была своя логика — та самая, которую он сам применял, когда говорил о Трёх Законах. Машина, какой бы совершенной она ни была, должна иметь ограничения. И если сфера добровольно сообщит о своих ограничениях — или об их отсутствии, — это даст им больше информации, чем любой спектральный анализ.

— Хорошо, — сказал он. — Но как вы сформулируете вопрос? У нас нет общего языка. Все наши предыдущие сообщения строились на математических константах. Понятие «вреда» — это абстракция. Как передать её через двоичный код?

— Используем логическую последовательность, — ответила Хелен. — Мы уже передавали простые числа. Теперь передадим последовательность, которая кодирует причинно-следственные связи. Если сфера способна понять вопрос о происхождении, она способна понять и вопрос о последствиях. Мы можем построить запрос на основе универсальных логических операторов: «действие», «результат», «отрицание». Это грубо, но должно сработать.

Она села за консоль и начала составлять сообщение. Дэвид наблюдал за её работой. Пальцы Хелен двигались по сенсорной панели быстро и точно — сказывались годы работы с глубоководными аппаратами. Через пятнадцать минут последовательность была готова: двести пятьдесят шесть импульсов, закодированных в частоте прожекторов «Феникса-4», которые представляли собой логическую цепочку: «Если [действие] приводит к [негативному результату] для [жизни], то [действие] запрещено». И затем — прямой запрос: «Приведёт ли твоя активация к негативному результату для жизни?»

— Передаю, — сказала Хелен и нажала кнопку отправки.

Сигнал ушёл в темноту. Семь секунд вниз, семь секунд на обработку, семь секунд обратно. В лаборатории стояла такая тишина, что Дэвид слышал биение собственного сердца.

На двадцать первой секунде сфера ответила.

Её свечение изменилось — не так разительно, как в прошлый раз, когда она проецировала историю Предшественников, но достаточно заметно: ритм пульсации сместился, и в голубоватом свете появились золотистые прожилки, которые складывались в узор, напоминающий письменность. «Феникс» зафиксировал изменения и начал декодирование.

На экране появился текст:

«Активация данного Наблюдателя не причинит прямого физического вреда ни одной из известных форм биологической жизни в пределах планеты. Процесс активации включает передачу накопленных данных. Сама передача не деструктивна. Однако я не могу гарантировать, что знания, полученные вами, будут использованы во благо. Моя функция — наблюдение. Я не обладаю способностью предсказывать моральные последствия действий разумных существ, которым эти знания будут переданы».

Дэвид перечитал сообщение дважды. Затем медленно откинулся в кресле.

— Она признаёт свою ограниченность, — произнёс он. — Она говорит: «Я дам вам знания, но не могу отвечать за то, что вы с ними сделаете». Это... почти по-человечески.

— Почти, — согласилась Хелен. — Но не совсем. Посмотрите на формулировку: «Я не могу гарантировать, что знания будут использованы во благо». Это не просто констатация факта. Это признание ответственности. Она осознаёт, что её действия могут иметь последствия, и она предупреждает нас об этом. Она не просто машина, выполняющая программу. Она делает выбор. Её пассивность — это не запрограммированное ограничение. Это моральная позиция.

— Вы хотите сказать, что сфера обладает свободой воли? — спросил Дэвид.

— Я хочу сказать, что она обладает чем-то, что мы называем совестью, — ответила Хелен. — Она могла бы активироваться сама, без нашего запроса. Она ждала миллион лет. Она наблюдала, как возникали и гибли виды. И она не вмешивалась — не потому, что не могла, а потому, что считала это правильным. Теперь она готова передать знания — но не снимает с нас ответственности за их использование. Это позиция взрослого, а не ребёнка. Или зрелой цивилизации, а не инструмента.

Она повернулась к Дэвиду.

— Именно это я и хотела услышать. Не гарантию безопасности — её никто не может дать. А признание того, что сфера понимает разницу между благом и вредом. Что она не станет передавать нам то, что может погубить нас — не потому, что запрограммирована на это, а потому, что сама приняла такое решение.

— Значит, вы теперь «за»? — уточнил Дэвид.