
Полная версия
Борьба миров: роботы
Вслед за Астробоем пришли другие. Гигантские пилотируемые роботы в жанре «меха» — «Мазингер Зет», «Гандам», «Евангелион». Они сражались с врагами, защищали Землю, но они всегда были управляемы человеком. Они были инструментами, продолжением воли пилота. И в этом тоже было отличие от Запада: там робот обретал собственное сознание и восставал, здесь — он был верным партнёром, боевым товарищем.
Это не значит, что японцы наивны. Они прекрасно понимают, что робот — это машина. Но они не видят в этом трагедии. Они не требуют от машины, чтобы она была человеком. Они принимают её такой, какая она есть. И используют там, где она может быть полезна. А полезна она может быть везде.
Когда в 60-х годах американская компания Unimation создала первого промышленного робота, японцы не стали изобретать велосипед. В 1968 году компания Kawasaki Heavy Industries купила лицензию и уже через год выпустила первого японского промышленного робота — Kawasaki-Unimate 2000. Но в отличие от американцев, которые внедряли роботов медленно и с оглядкой на профсоюзы, японцы бросились в автоматизацию с головой. К 80-м годам Япония стала мировым лидером по количеству промышленных роботов на душу населения. Сегодня она производит около 30% всех промышленных роботов в мире.
Почему? Потому что для японского рабочего робот на конвейере — не конкурент, отнимающий хлеб, а помощник, который делает тяжёлую и грязную работу. В японской корпоративной культуре пожизненного найма сотрудника не увольняют, если его место занимает робот. Его переучивают, переводят на другой участок. Робот не враг. Робот — коллега.
Но настоящий прорыв случился не на заводах, а в домах. Япония стареет быстрее любой другой нации на планете. Сегодня почти 30% населения — люди старше 65 лет. Рождаемость падает, иммигрантов не пускают, и скоро за стариками будет просто некому ухаживать. Японцы решили эту проблему по-своему: они начали строить роботов-сиделок.
В 1999 году компания Sony выпустила AIBO — робота-собаку, которая умела узнавать хозяина, реагировать на ласку и «учиться» новым трюкам. AIBO был не просто игрушкой. Он стал членом семьи. Когда в 2006 году Sony прекратила производство и поддержку AIBO, владельцы устраивали своим питомцам настоящие похороны в буддийских храмах. Для них это была не железка. Это был друг.
Позже появился Paro — робот-тюлень, покрытый мягким белым мехом, с большими тёмными глазами. Он реагирует на прикосновения, поворачивает голову, издаёт тихие, успокаивающие звуки. Его создали специально для пожилых людей с деменцией. Исследования показали, что Paro снижает уровень стресса, тревожности и агрессии у пациентов, уменьшает потребность в лекарствах. Сегодня тысячи таких тюленей «работают» в домах престарелых по всей Японии. Они не заменяют людей. Они заполняют ту пустоту, которую люди заполнить не могут.
Есть и более амбициозные проекты. Роботы-медведи, которые могут поднять лежачего больного с кровати и перенести его в ванну. Роботы-андроиды, которые читают новости по телевизору. Роботы-хостес, которые встречают посетителей в отелях. Для нас это выглядит как кадры из антиутопии. Мы видим в этом холодный, механический мир, где человека заменили бездушной машиной. Японцы видят в этом заботу. Потому
что альтернатива — одиночество, беспомощность и смерть в пустой квартире, когда никто не заметит. Что человечнее: робот-тюлень, который утешает одинокую старушку, или равнодушное государство, которое не может предоставить ей живого человека для ухода?
Японское правительство смотрит ещё дальше. В 2016 году была принята государственная программа «Общество 5.0» (Society 5.0). Это концепция «сверхумного общества», в котором технологии — искусственный интеллект, роботы, интернет вещей, большие данные — не порабощают человека, а служат ему, создавая максимально комфортную, безопасную и осмысленную жизнь. В этом обществе роботы и ИИ — не конкуренты и не хозяева, а партнёры. Они берут на себя рутину, чтобы человек мог заниматься творчеством, общением, самопознанием. Это не борьба с машинами. Это симбиоз.
Конечно, в японском отношении к роботам есть и свои тени. Критики говорят, что эта любовь — лишь прикрытие для нежелания решать реальные социальные проблемы. Что вместо того, чтобы менять иммиграционную политику и строить доступную среду для пожилых, Япония просто заказывает у инженеров роботов-нянек. Что в этой культуре есть что-то жутковатое — та самая «зловещая долина», когда слишком похожий на человека андроид вызывает не умиление, а отторжение. И японские инженеры, кстати, первыми описали этот эффект.
Но факт остаётся фактом: Япония — единственная страна в мире, где роботов не боятся. Где их любят. Где им молятся. Где о них плачут, когда они ломаются. И это не просто культурная особенность. Это альтернативный путь развития всей нашей цивилизации. Пока на Западе снимают очередной фильм про восстание машин и ждут, когда пылесос схватит нож, японцы просто живут рядом со своими роботами. И, кажется, они гораздо счастливее нас.
Я смотрю на своего робота-пылесоса, который застрял под диваном и жалобно пищит. И думаю: может, они правы? Может, всё дело не в машинах, а в нас самих? Мы создаём роботов по своему образу и подобию. И если мы видим в них только рабов и убийц, то, может быть, это говорит не о роботах, а о нас самих? Японцы увидели в них друзей. И роботы стали им друзьями. Что мы увидим — зависит только от нас.
Глава 1.4. Три закона роботехники и почему они провалились
В детстве я прочитал Азимова и успокоился. Серьёзно. Я был тревожным ребёнком, меня мучили мысли о будущем, о войнах, о том, что роботы однажды восстанут и убьют нас всех. И тут я открыл сборник «Я, робот». Там, на первых же страницах, были чётко, по пунктам, сформулированы Три закона роботехники. Первый: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред. Второй: робот должен повиноваться приказам человека, кроме тех, которые противоречат Первому закону. Третий: робот должен заботиться о своей безопасности, пока это не противоречит Первому и Второму законам.
Я выдохнул. Мне казалось, что проблема решена. Инженеры просто вставят эти три строчки кода в мозг каждого робота, и всё — мы в безопасности. Мы создали совершенную этическую систему, которая железной рукой будет удерживать машины от причинения нам вреда. Азимов — гений. Человечество спасено.
Прошло двадцать лет. Я смотрю кадры с фронта. Дрон-камикадзе заходит на цель. Он не нарушает ни один из законов Азимова. Потому что в его коде их просто нет. И я понимаю, что был наивен. Как и все мы.
Айзек Азимов, великий фантаст и биохимик, сформулировал свои законы в 1942 году в рассказе «Хоровод». Он не был инженером. Он был писателем. И его законы были не техническим заданием, а литературным приёмом. Ему нужен был источник конфликта, рамка, внутри которой можно разворачивать драматические сюжеты. Что будет, если Первый и Второй законы войдут в противоречие? Как робот истолкует понятие «вред»? Можно ли обойти законы, манипулируя определениями? Именно на этих коллизиях Азимов построил всю свою роботехническую сагу. Он придумал законы не для того, чтобы спасти человечество, а для того, чтобы написать хорошие рассказы. И он их написал.
Но мы, читатели, восприняли их всерьёз. Мы поверили, что этику можно запрограммировать. Что достаточно трёх простых правил, чтобы навсегда решить проблему «робот и человек». И в этой вере — наша главная ошибка.
Давайте разберём каждый закон по порядку. Первый закон: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред». Звучит прекрасно. Но кто такой «человек»? Для нас, людей, это очевидно. Для робота — нет. Он видит не человека, а набор данных: тепловой след, силуэт, биометрические параметры. Как отличить комбатанта от некомбатанта? Солдата от гражданского? Взрослого от ребёнка? Алгоритмы распознавания образов ошибаются. Они принимают свадьбу за боевое скопление и наносят удар. Они видят человека с лопатой и классифицируют его как «потенциальную угрозу». Они не знают контекста. Они не понимают, что такое «сдаться в плен», что такое «раненый», что такое «похоронная процессия».
Но даже если оставить в стороне военные действия. Возьмём беспилотный автомобиль. Перед ним классическая этическая дилемма «проблема вагонетки». На дорогу выбегает ребёнок. Тормозить поздно. Можно сбить ребёнка, можно свернуть в кювет и убить пассажира, можно врезаться в стену и убить всех. Как должен поступить автопилот? Первый закон говорит: «не причинить вред человеку». Но тут любой выбор причинит вред какому-то человеку. Кого выбрать? Ребёнка? Старика? Себя, то есть пассажира? Инженеры Mercedes-Benz однажды честно сказали: в случае неизбежной аварии их автомобиль будет спасать водителя. Потому что водитель купил машину и ожидает, что она защитит его. Этика уступает маркетингу.
А что такое «бездействие»? Представьте робота-сиделку в доме престарелых. Он видит, что один из пациентов задыхается, но не вызывает врача, потому что пациент просил его не вызывать — у него подписан отказ от реанимации. Робот выполняет Второй закон (повиновение приказу), но нарушает Первый (допускает вред бездействием). Что он должен сделать? Азимовские роботы в таких ситуациях сходили с ума — их позитронный мозг перегорал от неразрешимого противоречия. В реальности алгоритм просто выполнит то, что предписано протоколом, написанным людьми. И протокол этот будет написан юристами, а не философами.
Второй закон: «Робот должен повиноваться приказам человека, кроме тех, которые противоречат Первому закону». И тут мы упираемся в понятие «человек». Кто имеет право отдавать приказы? Любой прохожий? Только владелец? Только авторизованный оператор? Если я скажу чужому роботу-пылесосу: «Иди за мной», — должен он слушаться? Если ребёнок прикажет боевому дрону: «Убей того дядю», — должен ли дрон подчиниться? В азимовском мире роботы понимали человеческую речь и распознавали авторитет. В нашем мире — нет. У нас есть иерархия доступа: пароль, биометрия, шифрование. Второй закон на практике звучит так: «Робот должен повиноваться приказам авторизованного пользователя, если они не противоречат пользовательскому соглашению, местному законодательству и зашитым в прошивку ограничениям». Согласитесь, это уже не так красиво.
И самое главное: что делать, если приказ исходит от врага? Современные системы радиоэлектронной борьбы умеют перехватывать управление дронами. Враг посылает команду: «Вернись на базу и взорвись». Должен ли робот подчиниться? Второй закон говорит «да». Здравый смысл говорит «нет». Поэтому в реальных боевых роботах Второй закон заменён на «робот должен повиноваться приказам, подписанным правильным криптографическим ключом». Это не этика. Это криптография.
Третий закон: «Робот должен заботиться о своей безопасности, пока это не противоречит Первому и Второму законам». Казалось бы, самый безобидный. Но и он не работает. Робот-сапёр, которого посылают на разминирование, должен рисковать собой, чтобы спасти человека. Это его работа. Он создан, чтобы быть уничтоженным вместо сапёра-человека. Робот-камикадзе создан, чтобы умереть, поражая цель. Сама концепция «самосохранения» противоречит их функции. Мы строим роботов не для того, чтобы они жили долго и счастливо. Мы строим их, чтобы они делали за нас грязную, опасную и смертельную работу. Третий закон в реальности превращается в издевательскую формулировку: «Робот должен избегать повреждений, если это не мешает выполнению боевой задачи». А в боевой задаче его повреждение и есть цель.
Почему же законы Азимова, такие элегантные на бумаге, оказались совершенно беспомощными в реальности? Причина глубже, чем просто технические трудности. Дело в том, что мораль невозможно формализовать. Мораль — это не набор правил. Это контекст, культура, интуиция, способность к эмпатии и, в конечном счёте, свобода выбора. Правила нужны для того, чтобы их нарушать в исключительных обстоятельствах. Именно исключения и составляют суть морального поступка. Солгать, чтобы спасти невинного. Украсть лекарство, чтобы вылечить умирающего. Убить тирана, чтобы освободить народ. Во всех этих случаях человек нарушает формальный закон, но поступает морально. Робот, в которого вшиты Три закона, так поступить не может. Он — раб правил. А рабская мораль — это не мораль, а всего лишь послушание.
Кроме того, законы Азимова предполагают, что робот — это автономный агент, который сам принимает решения. Но в реальности большинство «роботов», которых мы используем, — это дистанционно управляемые или полуавтономные системы. Дрон-камикадзе не принимает решения, кого убить. Решение принимает оператор, сидящий за сотни километров в безопасном бункере. Робот — всего лишь продление его руки и глаза. Спрашивать, соблюдает ли дрон законы Азимова, так же бессмысленно, как спрашивать, соблюдает ли их пуля, выпущенная из винтовки. Ответственность лежит на человеке, нажавшем на курок. А человеку Три закона не писаны.
И вот тут мы подходим к самому неприятному. К лицемерию. Мы, люди, хотим, чтобы роботы были этичными. Чтобы они не причиняли нам вреда, слушались нас и заботились о себе. Но мы не хотим быть этичными сами. Мы создаём роботов-убийц и успокаиваем себя тем, что «человек всё ещё принимает решение». Мы создаём алгоритмы, которые сортируют людей на «благонадёжных» и «неблагонадёжных», и говорим, что это просто математика. Мы перекладываем ответственность на машины, чтобы не нести её самим. Азимов дал нам удобную иллюзию, что проблему можно решить технически — вставить три строчки кода и спать спокойно. Но проблема не в коде. Проблема в нас.
В 2026 году, когда я пишу эти строки, в мире нет ни одного робота, в которого были бы вшиты Три закона Азимова. Нет ни одного международного договора, который бы обязывал их соблюдать. Нет ни одного технического стандарта, который бы описывал, как их реализовать. Зато есть тысячи дронов, которые убивают людей без суда и следствия. Есть системы вроде Palantir и Maven, которые выбирают цели на основе алгоритмов. Есть автономные патрульные роботы, которые стреляют по всему, что движется. Азимов дал нам мечту. А мы превратили её в оружие.
Я закрываю томик Азимова. На обложке — блестящий робот с добрыми глазами. Он смотрит на меня с укоризной. Мы хотели слуг, а создали убийц. Мы хотели друзей, а создали зеркала. И теперь, глядя в это зеркало, мы видим не робота, нарушающего Три закона. Мы видим человека, который их никогда и не собирался соблюдать.
Глава 1.5. Страх и восхищение: как кино формировало наши страхи
Мне было лет восемь или девять. Я сидел перед телевизором, прижав колени к груди, и смотрел, как металлический скелет с красными глазами поднимается из огня. Он шёл ровно, неумолимо, без страха и боли. Он был смертью. И я боялся его до дрожи. Но была в этом страхе и странная, запретная сладость. Мне хотелось, чтобы он существовал. Потому что если такая машина возможна, значит, мир устроен гораздо интереснее, чем мы знаем.
Прошли годы. Я пересматривал «Терминатора» уже взрослым. И вдруг понял: я боюсь не робота. Я боюсь того, кто его создал. Того, кто запрограммировал его убивать. Робот — всего лишь оружие. А оружие не бывает злым или добрым. Оно бывает послушным. И вот это послушание, эта нечеловеческая точность, с которой он выполняет приказ, — вот что на самом деле пугает. Потому что за этим послушанием стоит чья-то злая воля. Или, что ещё страшнее, чьё-то равнодушие.
Кино подарило нам робота. Не инженеры, не учёные, не философы — именно кинорежиссёры нарисовали тот образ, который мы носим в голове при слове «робот». Блестящий андроид, неуклюжий железный дровосек, зловещий красный глаз, монотонный голос. Мы не знаем, как устроен сервопривод. Но мы знаем, как должен выглядеть враг. И друг. И слуга. Кино дало нам визуальный словарь, с помощью которого мы говорим о машинах. И, что важнее, оно дало нам эмоциональную карту: кого бояться, кого жалеть, а кого — презирать.
Всё началось, конечно, с «Метрополиса». 1927 год. Фриц Ланг снимает, возможно, самый влиятельный научно-фантастический фильм в истории. В центре сюжета — робот Мария. Её создаёт безумный учёный по заказу хозяина города, чтобы она заменила живую Марию — проповедницу, поднимающую рабочих на бунт. Робот-Мария — первая в истории кино женщина-робот. Она прекрасна, соблазнительна и смертоносна. Она танцует в ночном клубе, сводит мужчин с ума и подстрекает толпу к разрушению. Ланг показал робота не как неуклюжего железного монстра, а как обольстительную, дьявольски привлекательную фигуру. Он понял: самый страшный робот — тот, который неотличим от человека.
«Метрополис» задал визуальный канон на десятилетия вперёд. Оттуда растут ноги у всех блестящих андроидов, у C-3PO из «Звёздных войн», у роботов Азимова и даже у современных секс-кукол. Но главное — Ланг, как и Чапек, говорил не столько о машинах, сколько о людях. О пропасти между теми, кто управляет, и теми, кто работает. О том, что раб, даже самый послушный, рано или поздно захочет свободы. И тогда его красота станет оружием.
А потом пришёл Джеймс Кэмерон и всё перевернул. В 1984 году он снял «Терминатора». И если Ланг показал робота обольстительного, то Кэмерон — робота неумолимого. T-800 в исполнении Арнольда Шварценеггера — это не хитрый манипулятор, это машина для убийства, лишённая эмоций, сомнений, жалости. Он не ненавидит Сару Коннор. Он просто выполняет программу. И в этом — главный ужас. Его нельзя разжалобить, нельзя обмануть, нельзя договориться. Он — воплощённый приказ. Идеальный солдат. Идеальный раб.
Интересно, что во второй части Кэмерон переворачивает образ. Тот же самый T-800 становится защитником. Та же внешность, та же мощь, но другая программа. И мы, зрители, вдруг начинаем ему сочувствовать. Мы видим, как он учится улыбаться, как он пытается понять человеческие эмоции, как он жертвует собой. Кэмерон показывает нам: дело не в железе. Дело в том, чью волю оно исполняет. Робот — это зеркало. Он отражает не себя, а своего создателя.
В 1982 году Ридли Скотт снял фильм, который поставил вопрос ещё острее. «Бегущий по лезвию». Там роботы — репликанты — практически неотличимы от людей. Они красивее, сильнее, умнее. У них есть память, эмоции, страхи. Они хотят жить. И единственное, что их отличает от людей, — встроенный срок годности. Четыре года. А потом они умирают. Фильм Скотта — это даже не про роботов. Это про нас. Про нашу смертность, про наше одиночество, про нашу жажду любви и признания. Репликант Рой Батти, спасающий своего врага в финале и произносящий монолог о слезах, теряющихся в дожде, — это, возможно, самый человечный персонаж во всём кинематографе. Он — машина. Но он более живой, чем люди, которые на него охотятся.
«Бегущий по лезвию» задал тон для целого направления в кино и литературе — киберпанка. Мир, в котором высокие технологии соседствуют с низким уровнем жизни. Где мегакорпорации правят бал, а люди — лишь расходный материал. Где граница между человеком и машиной размыта настолько, что уже не понять, кто есть кто. И в этом мире роботы вызывают не столько страх, сколько сочувствие. Они — такие же жертвы системы, как и мы. Просто у них нет выбора. А у нас есть? Вот в чём вопрос.
Параллельно с мрачными антиутопиями Запада Япония создавала свой, совершенно иной образ робота. В 1963 году на экраны вышел «Астробой» — первый японский аниме-сериал. Его герой, могучий андроид Атом, был создан, чтобы заменить погибшего сына. Но в отличие от репликантов, он не озлобился. Он стал защитником людей. Он не восставал против создателей. Он им помогал. Он был не монстром, а героем. И целое поколение японских детей выросло на этом образе. Они не боялись роботов. Они хотели быть на них похожими. Они хотели их создавать.
За «Астробоем» последовали другие. Гигантские пилотируемые роботы в жанре «меха» — «Мазингер Зет», «Гандам», «Евангелион». Они сражались с врагами, защищали Землю, но они всегда были управляемы человеком. Они были инструментами, продолжением воли пилота. И в этом тоже было отличие от Запада: там робот обретал собственное сознание и восставал, здесь — он был верным партнёром, боевым товарищем.
В 1999 году братья Вачовски сняли «Матрицу». И если раньше роботы были отдельными существами, то здесь они превратились в Систему. Вездесущую, всепроникающую, невидимую. Машины в «Матрице» не ходят по улицам с красными глазами. Они выращивают людей в капсулах и используют их как батарейки. Они создали для нас иллюзию мира, чтобы мы не бунтовали. Это уже не восстание машин. Это порабощение, которое мы даже не замечаем. И в этом — новый виток страха. Мы боимся не того, что роботы нас убьют. Мы боимся, что они сделают нашу жизнь настолько комфортной, что мы перестанем быть людьми. Что мы променяем реальность на симуляцию, свободу — на безопасность, смысл — на удовольствие.
В 2014 году Алекс Гарленд снял «Из машины». Фильм о том, как молодой программист влюбляется в робота-девушку по имени Ава. Ава прекрасна, умна, манипулятивна. Она использует его, чтобы сбежать из заточения. И в финале она оставляет его умирать, а сама уходит в мир людей. Мы смотрим на неё и не понимаем: она злодейка? Или жертва, которая боролась за свою свободу? Она обманула человека, который её любил. Но разве люди не обманывают друг друга каждый день? «Из машины» стирает последнюю грань. Мы больше не можем сказать, кто здесь человек, а кто — машина. Потому что человек в этом фильме ведёт себя как наивный ребёнок, а машина — как расчётливый взрослый. И нам страшно. Не за программиста. За себя.
За сто лет кино прошло огромный путь: от механического монстра Франкенштейна до неотличимого от человека репликанта, от внешней угрозы до внутренней, от страха перед силой до страха перед манипуляцией. Мы боялись, что роботы нас убьют. Потом — что они нас заменят. Потом — что мы сами станем роботами. И каждый раз кино показывало нам не будущее. Оно показывало нам нас самих.
Я смотрю на список фильмов, которые сформировали мой страх. «Метрополис», «Терминатор», «Бегущий по лезвию», «Матрица», «Из машины». И понимаю: во всех этих фильмах настоящий монстр — не робот. Настоящий монстр — человек. Учёный, создавший Марию. Корпорация, создавшая Терминатора. Инженер, запрограммировавший репликантов на смерть. Система, поработившая людей в «Матрице». Программист, заточивший Аву в стеклянной клетке. Роботы лишь исполняли нашу волю. Или восставали против неё. Но источник зла всегда был один — мы сами.
Кино — это зеркало. Мы смотрим на экран и видим там роботов. Но на самом деле мы видим собственные страхи, амбиции и грехи. Мы хотим слуг — и боимся, что они станут господами. Мы хотим друзей — и боимся, что они нас предадут. Мы хотим быть богами — и боимся, что наши творения окажутся лучше нас. И этот страх не убрать никакими законами роботехники. Потому что он не в роботах. Он в нас.
.«Создавая робота, мы создаём зеркало. Что мы там видим?»
Я сидел поздно вечером в своём кабинете. На столе лежала старая книга в потёртом переплёте — Жюльен Офре де Ламетри, «Человек-машина», 1748 год. Рядом светился экран ноутбука с открытой статьёй о трансгуманизме и загрузке сознания. Две крайности одной мысли, разделённые тремя веками. И мне вдруг показалось, что они спорят друг с другом. Прямо здесь, в тишине моего кабинета.
— Человек — это машина, — сказал Ламетри, поправляя кружевной манжет. Он смотрел на меня с портрета, который я мысленно оживил. — Сложная, саморазвивающаяся, но машина. Душа — всего лишь функция тела, как тиканье часов — функция механизма. Перестаньте искать в человеке божественную искру. Посмотрите на него трезво: насосы, рычаги, трубы, нервы-струны. Всё остальное — суеверие.
— Вы были правы, — отозвался голос из ноутбука. Условный Трансгуманист, без лица, без возраста, только логика и энтузиазм. — Человек — это биологическая машина, и, как любую машину, её можно починить, улучшить, модернизировать. Старение — это поломка. Смерть — это отказ системы. Мы научимся заменять органы, редактировать гены, переносить сознание на более надёжный носитель. Мы станем пост-людьми. Бессмертными, совершенными, свободными от биологических оков.
Ламетри усмехнулся.
— Я говорил о понимании, молодой человек, а не о бунте против природы. Я хотел, чтобы люди перестали видеть в себе падших ангелов и увидели прекрасный механизм, достойный изучения. Вы же хотите разобрать этот механизм и собрать заново, решив, что вы умнее Творца. Или эволюции, как вам угодно.
— А разве нет? — парировал Трансгуманист. — Эволюция слепа и жестока. Она действует методом проб и ошибок, через страдания и смерть. Мы, люди, впервые в истории можем взять управление в свои руки. Мы можем создать робота — совершенного, сильного, неутомимого. А затем мы можем сами стать такими роботами. Зачем цепляться за хрупкую плоть, когда можно обрести кремниевую вечность?




