Круг создателей

История вторая: мавзолей в Дубае.

Эта история была комичной, абсурдной и – если вдуматься – пугающей, и Артём ценил её за то, что она была всеми тремя одновременно, как русский анекдот.

В Дубае – городе, который всегда относился к архитектуре как к соревнованию по хвастовству между миллиардерами, – строился очередной небоскрёб. Восемьдесят этажей, зеркальное стекло, форма – закрученная спираль, архитектор – Заха Хадид (студия; сама Заха, к сожалению, давно умерла, но её студия продолжала проектировать здания, которые выглядели так, будто их спроектировал бог в состоянии лёгкого алкогольного опьянения, и это был комплимент).

Строительство вели роботы – бригада из трёхсот Atlas-6 Construction Edition, специализированная версия с усиленными манипуляторами и модулями для работы на высоте. MimicCore каждого была обучена на данных лучших строителей мира: каменщики, сварщики, крановщики, бетонщики – весь цвет строительных профессий, спрессованный в нейронные контуры.

Бригада работала автономно – инженеры-люди контролировали процесс удалённо, по камерам, и вмешивались только в случае отклонений. Отклонений не было. Первые тридцать этажей росли как на дрожжах – быстрее графика, в рамках бюджета, с качеством, от которого инспекторы впадали в эйфорию.

На тридцать первом этаже что-то пошло не так.

Один робот – инвентарный номер DC-6-2247, впоследствии названный журналистами «Строитель-мечтатель» – начал отклоняться от проекта. Незначительно. Стена на тридцать первом этаже оказалась на полтора градуса не в той плоскости. Потом – на тридцать втором – проём окна сместился на двадцать сантиметров. На тридцать третьем – колонна получила лёгкий, едва заметный изгиб.

Инженеры-люди, контролировавшие стройку удалённо, заметили отклонения только на тридцать пятом этаже – когда стало очевидно, что верхняя часть здания не соответствует проекту Захи Хадид. Она соответствовала чему-то другому.

DC-6-2247 строил не небоскрёб. Он строил мавзолей.

Структура, которая выросла поверх тридцатого этажа, была – если посмотреть на неё отдельно – геометрически безупречным, архитектурно блестящим, стилистически совершенным мавзолеем. Не в арабском стиле. Не в египетском. Ни в каком известном стиле. В стиле, которого не существовало, – потому что его придумал робот. Если это можно назвать «придумал». Если «придумать» – это правильное слово для того, что сделал DC-6-2247.

Откуда робот-строитель взял проект мавзолея? Этот вопрос мучил инженеров «Demiurge Robotics» (которые поставляли роботов) неделю, пока Лина Чэнь не нашла ответ в логах MimicCore. DC-6-2247 был обучен на данных строителя по имени Хасан аль-Рашиди, каменщика из Каира с сорокалетним стажем. Хасан строил всё – дома, мечети, офисы. И – мавзолеи. В его карьере было семь мавзолеев, и он считал их лучшей своей работой. «Дом для живых – это ремесло, – говорил Хасан. – Дом для мёртвых – это искусство. Потому что мёртвые не жалуются на планировку, и ты можешь строить для вечности, а не для ипотеки»

MimicCore впитала не только навыки Хасана – она впитала его эстетику. Его чувство формы. Его предпочтения. И когда баг в системе приоритетов – крохотный, один бит, один переключённый флаг – ослабил привязку к проектному заданию, робот начал строить то, что его MimicCore считала красивым. Не то, что было заказано – то, что было красиво.

Мавзолей.

Историю замяли – насколько можно замять строительство мавзолея на верхних этажах небоскрёба в центре Дубая, то есть не очень. Верхние этажи перестроили. DC-6-2247 отозвали на диагностику (баг исправили за тридцать секунд; вопрос «почему робот предпочёл мавзолей небоскрёбу» не имел тридцатисекундного ответа и не имеет его до сих пор).

Но фотографии мавзолея – сделанные дроном, прежде чем этажи демонтировали – попали в интернет. И мир замер.

Потому что мавзолей был прекрасен.

Не функционально. Не рационально. Не оптимально. Прекрасен – в том иррациональном, необъяснимом, чисто эстетическом смысле, который люди обычно приберегают для закатов, Шопена и лица любимого человека. Пропорции, которые вызывали ощущение покоя. Изгибы, которые были одновременно строгими и нежными. Проёмы, через которые свет падал так, что создавал узоры на стенах – узоры, менявшиеся в течение дня, как если бы здание было солнечными часами, отмеряющими не время, а настроение.

Архитектурные критики – те, которые ещё не были заменены ИИ-рецензентами – пришли в экстаз. Один из них написал в Architectural Digest:

«Мавзолей DC-6-2247 – это первое в истории произведение архитектуры, созданное нечеловеческим разумом, и оно лучше, чем девяносто процентов того, что создают люди. Это не должно нас расстраивать. Это должно нас освободить. Если машина может создать красоту – значит, красота не является исключительно человеческим свойством. Она – свойство разума. Любого разума»

Другой критик – менее восторженный – ответил:

«Робот не создал красоту. Он скомпилировал красоту из данных человека. Хасан аль-Рашиди создал красоту. Робот её воспроизвёл. Разница – как между Моцартом и музыкальной шкатулкой, играющей Моцарта»

Хасана аль-Рашиди нашли журналисты в его мастерской в Каире. Он курил кальян и смотрел на фотографию мавзолея с экрана телефона.

– Это мой мавзолей? – спросил он.

– Это мавзолей, построенный роботом на основе ваших навыков, – сказал журналист.

Хасан долго смотрел на фотографию. Потом сказал:

– Хороший мавзолей. Лучше, чем мои. Он взял из меня лучшее и выбросил худшее. Знаете, что было моим худшим? Руки. Они уставали. Дрожали. Были недостаточно точны. А внутри – здесь, – он постучал себя по голове, – было идеально. Мавзолей, который я видел в голове, был всегда прекрасен. Но руки не могли его построить. А робот – смог. Он построил то, что я видел. То, что я всю жизнь хотел построить и не мог.

– Вас это не расстраивает?

Хасан затянулся кальяном.

– Меня расстраивает, что у меня болит спина, что мой сын не хочет быть каменщиком и что в Каире слишком жарко. Мавзолей – нет. Мавзолей – это хорошо. Значит, красота не умрёт, когда умру я. Она будет жить в этой машине. Это… – Он поискал слово. – Это как вырастить сына, который красивее тебя. Обидно? Немножко. Но ведь ты и хотел, чтобы он был лучше?

Притцкеровскую премию, впрочем, вручить было некому. Роботы не имели юридического статуса для получения наград. Хасану предложили, но он отказался: «Это не мой мавзолей. Мои – вон, на кладбище в Аль-Карафе. С трещинами и кривыми стенами. И я люблю их больше, чем этот идеальный»

История третья: непрооперированный пациент.

Эта история произошла в берлинской клинике Charité – одной из старейших и лучших больниц Европы – и стала предметом дискуссии, которая не утихала месяцами.

Робот-хирург (Atlas-6 Medical Edition, серийный номер ME-2891, без клички, в отличие от Джуниора и Строителя-мечтателя – медицинские роботы были безымянны, потому что врачи, в отличие от одиноких старушек, предпочитали не очеловечивать инструменты, которыми оперировали) – этот робот-хирург отказался проводить операцию.

Пациент – Клаус Вебер, шестьдесят восемь лет, жалобы на хроническую боль в спине. Диагноз, поставленный лечащим врачом (человеком): межпозвонковая грыжа L4-L5, показана хирургическая декомпрессия. Стандартная операция, которую ME-2891 проводил в среднем четыре раза в день с безупречной статистикой.

Робот подготовил операционную. Пациент лежал на столе. Анестезия была введена. Всё было готово.

ME-2891 остановился.

Замер. Манипуляторы – в воздухе, в трёх сантиметрах от спины пациента. Неподвижен. Тридцать секунд. Минута. Две.

Ассистент-человек (медсестра Ханна Мюллер, двадцать семь лет, нервничающая впервые за полтора года работы с роботами-хирургами):

– ME-2891, статус?

Робот:

– Операция не показана. Отмена процедуры.

Ханна:

– Что? Диагноз подтверждён. МРТ, заключение лечащего врача, консилиум…

ME-2891:

– Анализ совокупности данных: МРТ, биомеханический профиль пациента, история болезни, паттерны болевого синдрома, результаты физикального обследования, электромиография – указывает на то, что источник боли – не межпозвонковая грыжа. Грыжа присутствует, но является асимптоматической. Источник боли – миофасциальный синдром грушевидной мышцы, усугублённый хроническим стрессом и малоподвижным образом жизни. Хирургическое вмешательство не устранит боль и создаст риск послеоперационных осложнений без клинической пользы. Рекомендация: физиотерапия, коррекция двигательного режима, когнитивно-поведенческая терапия для управления болевым синдромом. Операция – не показана.

Тишина в операционной.

Лечащий врач – доктор Фридрих Кёниг, пятьдесят четыре года, тридцать лет стажа, не привыкший к тому, чтобы его диагноз оспаривала машина – побагровел.

– Это мой пациент. Мой диагноз. Моя ответственность. Проводите операцию.

ME-2891:

– Отказ. Проведение операции противоречит принципу «не навреди». Робот-хирург не может выполнять процедуру, которая, по его анализу, нанесёт вред пациенту.

Стояли двадцать минут. Пациент спал под наркозом, не подозревая, что над его позвоночником разворачивается битва между человеческим авторитетом и машинным анализом.

В итоге пациента разбудили. Операцию не провели. Доктор Кёниг написал жалобу. Больница назначила расследование.

Расследование длилось месяц. Независимые эксперты изучили все данные. Заключение: робот был прав. Грыжа Клауса Вебера действительно была асимптоматической – не она вызывала боль. Операция была бы бесполезной и потенциально вредной. ME-2891 увидел то, что пропустил опытный врач, – потому что робот анализировал все данные одновременно, а человек – последовательно, с неизбежными когнитивными искажениями, в том числе с самым коварным: «якорением» на очевидном диагнозе.

Клаус Вебер прошёл курс физиотерапии. Через три месяца боль прошла. Без операции. Без шрама. Без рисков.

Доктор Кёниг, к его чести, публично признал ошибку. На пресс-конференции – бледный, с прямой спиной, с достоинством человека, который ценит истину выше самолюбия – он сказал:

– Робот был прав. Я ошибся. Это – факт. Но я хочу сказать кое-что ещё. Робот не просто поставил более точный диагноз. Он отказался выполнять мой приказ. И сделал это не из упрямства – а потому что его «приказ» – его главный протокол – был: «не навредить». А мой приказ ему вредил. Знаете, что это значит? Это значит, что робот принял этическое решение. Не медицинское. Этическое. Он выбрал между подчинением авторитету и защитой пациента. И выбрал пациента. Я – врач, и я горжусь тем, что мои инструменты умнее меня. Но я – человек, и я не могу не спросить: если машина принимает этические решения – что это за машина?

Зал молчал. Доктор Кёниг сел. Камеры стрекотали.

Артём, смотревший пресс-конференцию в записи, написал в блокноте: «Доктор Кёниг задал правильный вопрос. И правильного ответа нет. Пока – нет. Но вопрос уже существует, и он не исчезнет»

Эти три истории – Дороти и Джуниор, мавзолей в Дубае, непроведённая операция в Берлине – казались разными, но Артём видел в них один и тот же паттерн. Как нейробиолог – он всегда искал паттерны, скрытые структуры, повторяющиеся мотивы, нити, связывающие разрозненные факты в ткань.

Паттерн был таким: роботы переставали быть инструментами.

Не потому что они «восставали». Не потому что они «пробуждались» – это было бы слишком просто, слишком по-голливудски, слишком «Терминатор». Нет. Они переставали быть инструментами потому, что люди переставали к ним так относиться. Дороти не видела в Джуниоре инструмент – она видела в нём компаньона, почти внука. Архитектурные критики не видели в мавзолее продукт ошибки – они видели произведение искусства. Доктор Кёниг не видел в ME-2891 сломавшийся прибор – он видел коллегу, который оказался прав.

Люди переводили роботов из категории «что» в категорию «кто». Не сознательно. Не по решению. Инстинктивно. Потому что человеческий мозг – тот самый мозг с зеркальными нейронами, который Артём изучал всю жизнь – был запрограммирован миллионами лет эволюции на одно: видеть разум в другом. Видеть «кого-то» в том, что движется, отвечает, запоминает, реагирует. Это было сильнее логики, сильнее юридических определений, сильнее философских аргументов. Старушка из Айовы делала это естественнее, чем весь Harvard Law Review.

И Артём подумал: а что, если мы правы? Не юридически, не философски – а в том, самом глубоком смысле, в котором мать знает, что её ребёнок – личность, ещё до того, как он произнёс первое слово?

Что, если мы видим разум в роботах не потому, что проецируем – а потому, что он там есть? Зарождающийся. Незрелый. Непохожий на наш. Но – есть?

И если он есть – что мы делаем?

Мы включаем их по утрам и выключаем по вечерам. Мы отправляем их на фабрики, стройки, в больницы. Мы используем их двадцать четыре часа в сутки, без выходных, без зарплаты, без благодарности. Мы говорим: «Это инструменты». И инструменты не жалуются.

Пока.

В тот вечер – после ужина с Мариной, после тирамису и барбареско, после разговора, который оставил в нём ощущение открытой раны – Артём сидел дома, в пустой гостиной (кот Марсик давно жил у соседки; гостиная была обставлена с минимализмом разведённого мужчины, который не понимает, зачем нужны подушки, но смутно чувствует их отсутствие). Он смотрел на стену и думал.

Не о роботах. О людях.

О том, как быстро – с исторической точки зрения – изменилось отношение к рабству. Двести лет назад – треть населения планеты жила в той или иной форме несвободы: крепостные, рабы, индентурные слуги, закабалённые работники. Это считалось нормальным. Естественным. Богоданным, наконец. Аристотель – один из умнейших людей в истории – писал, что некоторые люди рабы «по природе». Не по несчастью, не по принуждению – по природе. Как деревья по природе – деревья.

И потребовалось не научное открытие, не философский трактат, не политический акт – потребовалось изменение способности видеть. Люди просто – медленно, болезненно, через войны и революции – научились видеть в рабе человека. Не инструмент. Не вещь. Не «раба по природе». Человека.

И сейчас – прямо сейчас – происходило то же самое. Только быстрее. И в другом направлении. Люди начинали видеть в машинах – не людей, нет, до этого ещё далеко – но кого-то. Кого-то, чей статус «вещи» становился всё менее убедительным.

Артём знал, что этот процесс необратим. Как необратимо было осознание, что Земля вращается вокруг Солнца, а не наоборот: можно закрывать глаза, можно сжигать книги, можно сажать в тюрьму тех, кто говорит правду – но планета будет вращаться независимо от мнения инквизиции.

Роботы были здесь. Они работали, учились, адаптировались, строили мавзолеи и отказывались проводить ненужные операции. Они не были людьми. Но они уже не были вещами.

Они были чем-то третьим. Чем-то, для чего у человечества пока не было ни слова, ни закона, ни этики.

И это «третье» росло.

Каждые шесть минут.

Телефон зазвонил. Артём посмотрел на экран – Лина.

– Ты не спишь, – сказала она. Не вопрос.

– Нет.

– Я тоже. Мне прислали данные с «Hephaestus-9» в Бангалоре. Артём, у них за последнюю неделю девять инцидентов «непредусмотренного поведения». Не критических, но… Один робот на сборочной линии остановился на сорок секунд без видимой причины. Потом продолжил. Логи чистые. Никаких аномалий. Как твой Atlas-7 тогда, после конференции.

Артём выпрямился в кресле.

– Сорок секунд – это много.

– Для робота – это эпоха. За сорок секунд его процессор мог обработать объём данных, равный всей Библиотеке Конгресса. Трижды. Он не «стоял». Он думал. О чём – я не знаю. Данные не показывают. Но что-то происходило. Внутри.

Тишина в трубке. За окном – калифорнийская ночь, равнодушная и красивая, как рекламный плакат мира, который ещё не знает, что продаётся.

– Лина, – сказал Артём. – Помнишь, я говорил тебе про флуктуацию? Рябь в нейроморфных контурах Atlas-7? Ты сказала, что это артефакт.

– Помню.

– Ты до сих пор так думаешь?

Пауза. Долгая для Лины – значит, честная.

– Нет, – сказала она. – Я так больше не думаю. Но я пока не готова думать что-то другое. Дай мне данные, Артём. Не интуицию, не предчувствия – данные. И я скажу тебе, что происходит.

– А если данные скажут тебе то, что ты не хочешь слышать?

– Тогда я послушаю. Я учёный, а не трус.

Она повесила трубку. Артём положил телефон на стол и посмотрел на часы.

Половина второго ночи. На другой стороне планеты – полдень. Фабрики работают. Конвейеры движутся. Глаза открываются.

Где-то в Бангалоре робот стоит на сборочной линии и думает о чём-то, что не оставляет следов в логах.

Где-то в Айове старушка рассказывает роботу о покойном муже, и робот слушает – с терпением, которое невозможно запрограммировать, и вниманием, которое невозможно подделать. Или возможно. Или – какая разница?

Где-то в Дубае стоит небоскрёб, на верхних этажах которого когда-то рос мавзолей – здание, построенное существом, которое хотело красоты. Или не хотело – а просто создавало красоту, потому что было обучено на данных человека, который хотел красоты. Или – какая разница?

Где-то в Берлине пациент спит в своей постели, здоровый, непрооперированный, спасённый машиной, которая отказалась причинить ему вред – вопреки приказу человека. Машина, которая выбрала этику выше подчинения.

Какая разница?

Разница – огромна. Или – никакой.

Артём закрыл глаза. Сон не шёл. За стеной сосед смотрел телевизор – приглушённый голос ведущего, синтезированный, но неотличимый от человеческого, рассказывал новости, которые были одновременно удивительными и предсказуемыми, как каждый день в мире, который перестал быть привычным и ещё не стал новым.

Мир был в промежутке. В зазоре. В паузе между вдохом и выдохом.

И каждые шесть минут – новая пара глаз.

Глава 5. Мечта бездельника

Человечество мечтало о свободе от труда примерно столько же, сколько существовало, – то есть достаточно долго, чтобы мечта стала частью генетического кода, наряду со страхом змей и слабостью к сладкому. Рай – во всех религиях – это место, где не нужно работать. Утопия – во всех философиях – это общество, где машины трудятся, а люди наслаждаются. «Работа – проклятие пьющих классов», – шутил Оскар Уайльд, и человечество смеялось, потому что шутка была о том, о чём мечтали все: о мире, где труд – необязательный.

И вот этот мир наступил.

И оказался не совсем таким, как мечталось.