Искусственный интеллект – это сегодняшний день, это, так сказать, история в основе прочих историй. Это одновременно Второе пришествие и Апокалипсис, добрый ИИ против злого ИИ. Книга, которую вы держите в руках, продолжает разговор об искусственном интеллекте; в нее вошли соображения целого ряда влиятельных персон из мира ИИ и сопредельных миров о том, что такое искусственный интеллект и что за ним скрывается. Проект, получивший название «Глубокое осмысление», начался по-настоящему в сентябре 2016 года, когда некоторые авторы книги собрались, чтобы обсудить упомянутые вопросы в отеле «Мэйфлауэр Грейс» в Вашингтоне, штат Коннектикут.

Очень быстро после этой первой встречи стало ясно, что присущие широкой культуре упования и опасения, связанные с ИИ, во многом аналогичны тем надеждам и тревогам, которые окружали идеи Норберта Винера относительно кибернетики, особенно в 1960-е годы, когда творцы принялись обсуждать новые технологии в своих произведениях. Я был непосредственным свидетелем распространения этих идей; на самом деле не будет преувеличением сказать, что именно они определили мой жизненный путь. С наступлением цифровой эры в начале 1970-х годов о Винере как будто позабыли, но сегодня его кибернетические идеи успели проникнуть настолько глубоко, оказались усвоенными настолько полно, что им больше не требуется отдельное обозначение. Они повсюду, и потому будет логично начать с них.

Новые технологии = новые восприятия

До ИИ была кибернетика – представление об автоматическом и саморегулируемом управлении, изложенная в основополагающем тексте Норберта Винера 1948 года. Я могу датировать собственное осознанное обращение к ней 1966 годом, когда композитор Джон Кейдж пригласил меня и еще четверых или пятерых молодых людей из области искусства присоединиться к участию в цикле семинаров, посвященных средствам массовой информации, коммуникациям, искусству, музыке и философии; эти семинары отражали интерес Кейджа к идеям Винера, Клода Шеннона и Маршалла Маклюэна, каждый из которых считался авторитетом в нью-йоркских артистических кругах, где я тогда вращался. В частности, Кейдж высоко оценил утверждение Маклюэна о том, будто, изобретая электронные технологии, мы экстернализируем свою центральную нервную систему, то есть наш разум, и отныне приходится допускать, что «существует один-единственный разум, общий для всех людей».

Подобного рода идеи все чаще привлекали творцов, с которыми мне доводилось тогда сотрудничать (я был программным менеджером нью-йоркской «Режиссерской синематеки» и отвечал за серию мультимедийных постановок под названием «Нью Синема 1», также известную как «Большой кинофестиваль», под руководством авангардного режиссера и импресарио Йонаса Мекаса). Среди этих творцов были визуальные художники Клас Олденбург, Роберт Раушенберг, Энди Уорхол, Роберт Уитман; художники-кинетики Шарлотта Мурман и Нам Джун Пайк; мастера хэппенинга Аллан Капроу и Кэроли Шнеманн; танцовщица Триша Браун; режиссеры Джек Смит, Стэн Вандербик, Эд Эмшуиллер и братья Кучар; авангардный драматург Кен Дьюи; поэт Герд Стерн и группа USCO[1]; музыканты-минималисты Ламонт Янг и Терри Райли; а еще Уорхол заманил к нам музыкальную группу «Velvet Underground». Многие из перечисленных людей читали Винера и вели разговоры на темы кибернетики. На одном из семинаров Кейдж сунул руку в портфель, достал экземпляр «Кибернетики» и вручил мне со словами: «Это вам».

В разгар фестиваля мне неожиданно позвонил коллега Винера Артур К. Соломон, руководитель аспирантской программы по биофизике в Гарварде. Винер умер годом ранее, другие близкие коллеги Соломона и Винера в Массачусетском технологическом институте и Гарварде узнали о «Большом кинофестивале» из статей в «Нью-Йорк таймс» – и заинтересовались этими попытками интерпретировать идеи Винера. Соломон предложил мне привезти несколько творцов в Кембридж[2] и встретиться с ним и группой ученых, в которую входили исследователь сенсорных коммуникаций из МТИ Уолтер Розенблит, математик из Гарварда Энтони Эттингер и инженер МТИ Гарольд (Док) Эджертон, изобретатель стробоскопа.

Как и во многих других ситуациях «соприкосновения искусства с наукой», в которых я оказывался с тех пор, двухдневная встреча превратилась, как говорится, в ожидаемый провал: мы говорили на разных языках. Но я нисколько не отчаивался, да и само событие имело ряд любопытных последствий, например именно тогда нам довелось впервые увидеть воочию «компьютер». Тогда компьютеры были редкостью; во всяком случае, никто из нас прежде их не видел. Благодаря любезному приглашению мы очутились в каком-то обширном пространстве посреди кампуса МТИ и узрели «холодную комнату», приподнятую над полом и заключенную в стекло; за этой стеклянной оградой техники в белых лабораторных халатах, шапках и перчатках деловито собирали перфокарты, извергавшиеся из огромного агрегата. Когда я подошел ближе, от моего дыхания стекло запотело. Я протер стекло, увидел тот «компьютер» – и влюбился с первого взгляда.

Позже, осенью 1967 года, я отправился в Менло-парк, чтобы встретиться со Стюартом Брэндом, с которым познакомился в Нью-Йорке в 1965 году, когда он числился в составе художественной группы USCO. Ныне, вместе со своей женой, математиком Лоис, он готовил к публикации первое издание «Каталога всей Земли». Пока Лоис и остальная команда упорно вносили последние правки в «Каталог», мы со Стюартом два дня подряд отсиживались в уголке, штудируя, обсуждая и комментируя тот самый экземпляр «Кибернетики» Винера в мягкой обложке, который Кейдж вручил мне год назад.

Вдохновленный совокупностью идей, я начал разрабатывать тему, своего рода мантру, которая стимулировала все мои дальнейшие усилия: «Новые технологии суть новое восприятие». Опираясь на мысли теоретика коммуникаций Маршалла Маклюэна, архитектора и дизайнера Бакминстера Фуллера, футуролога Джона Макхейла и антропологов Эдварда (Неда) Т. Холла и Эдмунда Карпентера, я начал активно начитывать работы по теории информации, кибернетике и теории систем. Маклюэн предложил мне прочесть исследование Дж. З. Янга «Сомнение и уверенность в биологической науке», где утверждалось, что мы создаем инструменты и формируем себя посредством их использования. Другим рекомендованным текстом стала статья Уоррена Уивера и Клода Шеннона «Недавние дополнения к математической теории коммуникации» (1949), которая начинается так: «Слово «коммуникация» далее будет употребляться в чрезвычайно широком смысле, дабы охватить все процедуры и способы, с помощью которых один разум может влиять на другой. Разумеется, мы говорим не только об устной и письменной речи, но также о музыке, изобразительном искусстве, театре, балете – фактически обо всем человеческом поведении».

Кто мог знать, что всего два десятилетия спустя мы начнем трактовать человеческий мозг как компьютер? А в следующие два десятилетия, объединяя наши компьютеры в сеть интернет, начнем понимать, что человеческий мозг – не сверхмощный компьютер, но совокупность, сеть компьютеров? Об этом наверняка даже не догадывался Винер, специалист по аналоговым цепям обратной связи, предназначенным для управления машинами, как не догадывались и создатели машин.

«Мы должны перестать лобызать плетку, которой нас хлещут»

Через два года после выхода «Кибернетики», в 1950 году, Норберт Винер опубликовал работу «Человеческое применение человеческих существ», безусловно более философскую, в которой выразил свою обеспокоенность относительно безудержной коммерческой эксплуатации и других непредвиденных последствий новых технологий управления. Я не читал «Человеческое применение человеческих существ» до весны 2016 года, когда взял в руки экземпляр ее первого издания, стоявший в моей библиотеке рядом с «Кибернетикой». Меня откровенно шокировало осознание того, насколько прозорлив оказался Винер в 1950 году по поводу наших дней. Первое издание этой работы стало бестселлером – более того, положило начало широкому общественному обсуждению этих проблем, – но под давлением коллег Винер выпустил в 1954 году пересмотренное и «смягченное» издание, из которого исчезла заключительная глава «Голоса ригидности».

Историк науки Джордж Дайсон отмечает, что в давно забытом первом издании работы Винер предсказывал возможность «возникновения нового грозного фашизма, который будет опираться на machine a gouverner[3]»:

Ни одна элита не избежала его критики, от марксистов и иезуитов («весь католицизм по сути представляет собой тоталитарную религию») до ФБР («наши магнаты изучили пропагандистские техники русских и обнаружили, что это хорошо и полезно») и финансистов, которые стремятся «сделать американский капитализм и пятую свободу бизнесмена высшими ценностями во всем мире». Ученые… удостоились столь же пристального внимания и сравнения с церковью: «Действительно, руководители больших лабораторий очень схожи с епископами, обладают обширными связями с могущественными людьми во всех сферах жизни и, к сожалению, одержимы смертным грехом гордыни и жаждой власти.

Эта иеремиада[4] дорого обошлась Винеру. Как пишет Дайсон:

«Этот набат предпочли проигнорировать, и не потому, что Винер ошибался относительно цифровых вычислений, а потому, что период завершения рукописи осенью 1949 года совпал с появлением более серьезных угроз. Винер не имел ничего против цифровых вычислений, зато категорически выступал против ядерного оружия и отказался присоединиться к тем, кто создавал цифровые компьютеры ради конструирования в тысячу раз более мощной водородной бомбы».

Поскольку «Человеческое применение человеческих существ» уже давно не переиздавалось, мы остаемся в неведении по поводу винеровского cri de coeur[5], еще более актуального сегодня, чем шестьдесят восемь лет назад: «Мы должны перестать лобызать плетку, которой нас хлещут».

Разум, мышление, интеллект

Среди причин, по которым мы сегодня мало что слышим о «Кибернетике», выделяются две основные: во‐первых, хотя «Человеческое применение человеческих существ» в свое время считалось важной работой, оно противоречило чаяниям многих коллег Винера, в том числе Джона фон Неймана и Клода Шеннона, которые были заинтересованы в коммерциализации новых технологий. Во-вторых, пионер компьютерных исследований Джон Маккарти не одобрял взгляды Винера и отказывался использовать винеровский термин «кибернетика». Он придумал термин «искусственный интеллект» – и стал, скажем так, отцом-основателем этой области науки.

Как объяснил мне Джуда Перл, который в 1980-е годы разработал новый подход к искусственному интеллекту под названием «байесовская сеть»:

Винер на самом деле породил воодушевляющие надежды на то, что однажды мы сможем сконструировать разумную машину. Он не был специалистом по компьютерам. Он рассуждал об обратной связи, о коммуникации, об аналоговых механизмах. Рабочей метафорой была для него схема обратной связи, область, в которой он являлся экспертом. На заре цифровой эпохи, в начале 1960-х годов, люди желали обсуждать программирование, говорить о кодах, вычислительных функциях, кратковременной памяти и долговременной памяти – таковы были тогдашние значимые компьютерные метафоры. Винер не принадлежал к этому кругу идей, он оказался невостребованным новым поколением, несмотря то, что оно выросло на его идеях. Его метафоры были чересчур старомодными, слишком passe[6]. Между тем уже появились новые инструменты, способные захватить человеческое воображение. К 1970 году о Винере благополучно забыли.

Критически важным фактором, отсутствующим в картине мира по Винеру, был когнитивный элемент: разум, мышление, интеллект. Уже в 1942 году, на первом семинаре в ряду основополагающих междисциплинарных собраний, посвященных управлению сложными системами (впоследствии ставших известными как конференции Мэйси[7]), ведущие исследователи выступили за включение когнитивного элемента в дискуссию. Фон Неймана, Шеннона и Винера интересовали прежде всего системы управления и коммуникация наблюдаемых систем, а вот Уоррен Маккаллок[8] желал изучать разум. Он обратился к антропологам Грегори Бейтсону[9] и Маргарет Мид, стремясь наладить контакт с социальными науками и обеспечить обоснование с их стороны. В частности, Бейтсон активно изучал формы и процессы взаимодействия, «модели взаимосвязи». Он призывал к созданию системной экологии нового типа, где организмы и окружающая среда, в которой они живут, одинаковы и потому должны рассматриваться в совокупности, как единая модель. К началу 1970-х годов кибернетика наблюдаемых систем – кибернетика 1-го порядка – развилась в кибернетику систем наблюдения – кибернетику 2-го порядка, или «кибернетику кибернетики», как остроумно выразился Хайнц фон Ферстер[10], который присоединился к конференциям Мэйси в середине 1950-х годов и возглавил новое движение.

Кибернетика не исчезла, но трансформировалась, если угодно, во всё на свете, поэтому мы больше не считаем ее отдельной, самостоятельной дисциплиной. Таковой она остается по сей день, прячась, как говорится, на виду.

«О всяких штейнах»[11]

Лично меня, как автора статей о науке, привлекали в ту пору кибернетики 2-го порядка, включая Хайнца фон Ферстера, а также Джона Лилли и Алана Уоттса[12], которые выступили организаторами мероприятия под названием «Конференция АУМ» («Американский университет мастерства»), состоявшегося в Биг-Суре в 1973 году; философы, психологи и представители естественных наук собрались вместе, чтобы поделиться результатами собственных исследований с точки зрения их отношений к идеям британского математика Дж. Спенсера Брауна[13], изложенным в книге «Законы формы».

Я был слегка озадачен, когда получил приглашение участвовать в мероприятии – едва ли не в последний момент; как объяснили организаторы, они направили мне приглашение, ознакомившись с моей книгой под названием «Послесловия», где формулировались идеи, чрезвычайно близкие к их собственным. Я ухватился за эту возможность в первую очередь потому, что основным докладчиком конференции значился не кто иной, как Ричард Фейнман. Мне нравится общаться с физиками, поскольку они мыслят о Вселенной, то есть обо всем. Никакой другой физик не мог соперничать в ту пору в известности с Фейнманом. Я не мог дождаться встречи с ним и, разумеется, принял приглашение. Но следует помнить, что я не ученый и никогда не помышлял взойти на кафедру и выступить с какой-либо «лекцией», менее всего – с комментариями по запутанной математической теории, да еще перед группой, состоящей из передовых мировых мыслителей. Только по прибытии в Биг-Сур я узнал истинную причину моего запоздалого приглашения. «Когда выступает Фейнман?» – спросил я на регистрации. «О, – ответили мне, – разве Алан Уоттс вам не сказал? Ричард заболел, его госпитализировали. Вы его заменяете. Кстати, о чем вы будете рассказывать?»

Несколько дней я усиленно старался спрятаться ото всех. Алан Уоттс, сообразив, что я отчаянно норовлю не выходить на сцену, как-то ночью разбудил меня громким стуком в дверь моей комнаты. Я открыл дверь и увидел, что он облачился в монашеский балахон с капюшоном, скрывавшим бо́льшую часть его лица. Руки протянуты ко мне, в одной руке он держал фонарь, в другой – бутылку виски.

«Джон, – произнес он низким голосом с выраженным аристократическим британским акцентом, – вы мошенник. Но знаете, Джон, я тоже мошенник. Разница в том, что из нас двоих я – настоящий обманщик!»

На следующий день я прочитал лекцию под названием «Эйнштейн, Гертруда Стайн, Витгенштейн и Франкенштейн». Эйнштейн: революция в физике XX столетия; Гертруда Стайн: первый автор, отталкивавшийся в своем творчестве от идеи неопределенной и дискретной Вселенной (слова не отражают ни суть, ни деятельность: «Роза – это роза – это роза, а Вселенная – это Вселенная – это Вселенная»); Витгенштейн: мир как языковой предел («Границы моего языка означают границы моего мира», устранение различия между наблюдателем и наблюдаемым); Франкенштейн: кибернетический ИИ, робототехника и пр. (темы очерков данной книги).

Лекция имела непредвиденные последствия. Среди участников конференции АУМ оказалось несколько авторов из списка бестселлеров «Нью-Йорк таймс», но ни у кого не было литературного агента. Вдобавок я осознал, что все они пишут книги в жанре, который не имеет названия и которым пренебрегают нью-йоркские издатели. Поскольку у меня в наличии степень магистра делового администрирования бизнес-школы Колумбийского университета и поскольку я мог похвастаться кое-какими успехами в бизнесе, волей обстоятельств я сделался литературным агентом, сначала для Грегори Бейтсона и Джона Лилли, чьи книги мне удалось быстро пристроить – причем за гонорар, заставивший меня задуматься. Это обстоятельство побудило меня всерьез заняться карьерой литературного агента.

А с Ричардом Фейнманом я так и не встретился.

Долгие зимы ИИ

Эта новая карьера близко свела меня с большинством пионеров в области искусственного интеллекта, и на протяжении десятилетий я вместе с ними взмывал на волнах энтузиазма и падал в овраги разочарований.

В начале 1980-х годов правительство Японии предприняло общенациональные усилия по развитию ИИ. Японцы рассуждали о 5-м поколении машин; их цель состояла в том, чтобы изменить архитектуру вычислений, преодолеть «бутылочное горлышко» фон Неймана и создать полноценный параллельный компьютер. Тем самым они рассчитывали оживить свою экономику и стать доминирующей мировой державой в этой области. В 1983 году лидер японского консорциума «5-е поколение» приехал в Нью-Йорк на встречу, организованную Хайнцем Пагельсом, президентом Нью-Йоркской академии наук. Я сидел за одним столом с лидерами 1-го поколения Марвином Минским и Джоном Маккарти, лидерами 2-го поколения Эдвардом Фейгенбаумом и Роджером Шенком[14], а также с Джозефом Траубом, главой Национального суперкомпьютерного консорциума США.

В 1981 году при поддержке Хайнца я основал «Клуб реальности» (предшественник некоммерческого фонда Edge.org), первые междисциплинарные собрания которого проходили в зале заседаний Нью-Йоркской академии наук. Хайнц работал над своей книгой «Мечты о разуме: становление науки о сложности» (последнюю он считал исследовательской повесткой для науки 1990-х годов).

Благодаря встречам в «Клубе реальности» я познакомился с двумя молодыми исследователями, которым предстояло сыграть ключевую роль в революционной трансформации информатики. В конце 1970-х годов в Массачусетском технологическом институте Дэнни Хиллис разработал алгоритмы, которые сделали возможным создание полноценного параллельного компьютера. В 1983 году его компания «Thinking Machines» сконструировала быстрейший на ту пору суперкомпьютер, используя параллельную архитектуру. Его «связующая машина» во многом опиралась на принципы деятельности человеческого разума. Сет Ллойд из Университета Рокфеллера занимался прежде всего квантовыми вычислениями и квантовыми коммуникациями, в том числе описал первый технологически осуществимый проект квантового компьютера.

А что же японцы? Их «наскок» на искусственный интеллект потерпел неудачу, что обернулось скромным двадцатилетним экономическим ростом. Но ведущие американские ученые восприняли эту программу чрезвычайно серьезно. Фейгенбаум, передовой компьютерный теоретик тех лет, в соавторстве с Памелой Маккордак[15] даже написал книгу об этих событиях. Работа под названием «Пятое поколение: искусственный интеллект и японский компьютерный вызов миру» увидела свет в 1983 году. У нас, признаюсь, было кодовое название для этого проекта: «Оно грядет, грядет!» Увы, результат оказался плачевным: «оно» пришло и ушло.

С того времени я сотрудничал с исследователями, занятыми едва ли не во всех сферах разработки и применения ИИ, включая Родни Брукса, Ханса Моравека, Джона Арчибальда Уилера, Бенуа Мандельброта, Джона Генри Холланда, Дэнни Хиллиса, Фримена Дайсона, Криса Лэнгтона, Дойна Фармера, Джеффри Уэста, Стюарта Рассела и Джуду Перла.

Действующая динамическая эмерджентная система

С первой встречи в Вашингтоне, штат Коннектикут, и по сей день я организовал ряд заседаний и дискуссий в Лондоне и Кембридже, штат Массачусетс, а также публичное мероприятие в лондонской мэрии. Среди присутствовавших были выдающиеся ученые, историки науки и теоретики коммуникаций, причем все они размышляли о проблемах ИИ на протяжении всей своей научной карьеры.

Я обратился за комментариями к широкому кругу авторов, не ограничивая их необходимостью ссылаться на Винера (это осталось на усмотрение каждого участника проекта). В итоге 25 человек прислали мне свои очерки, и все эти люди обеспокоены тем, что происходит сегодня в области ИИ. Настоящая книга – не моя; скорее, это наша книга, авторов которой я с удовольствием перечисляю: Сет Ллойд, Джуда Перл, Стюарт Рассел, Джордж Дайсон, Дэниел К. Деннет, Родни Брукс, Фрэнк Вильчек, Макс Тегмарк, Яан Таллинн, Стивен Пинкер, Дэвид Дойч, Том Гриффитс, Анка Драган, Крис Андерсон, Дэвид Кайзер, Нил Гершенфельд, У. Дэниел (Дэнни) Хиллис, Венки Рамакришнан, Алекс (Сэнди) Пентленд, Ханс-Ульрих Обрист, Элисон Гопник, Питер Гэлисон, Джордж М. Черч, Кэролайн А. Джонс, Стивен Вольфрам.

Я рассматриваю проект «Глубокое осмысление» как непрерывно развивающуюся динамическую эмерджентную систему, как репрезентацию идей сообщества искушенных мыслителей, которые на основании своего опыта и эрудиции бросают вызов сложившемуся цифровому нарративу ИИ и делятся мыслями друг с другом. Цель сборника состоит в том, чтобы предложить читателю мозаику взглядов, которая поможет разобраться в этой быстро развивающейся области.

Я попросил авторов учесть два фактора:

(а) Дзенское по духу стихотворение Уоллеса Стивенса «Тринадцать способов увидеть черного дрозда»[16], которое, как он сам настаивал, «призвано служить набором не эпиграмм или идей, но ощущений». Это упражнение в «перспективизации», состоящее из коротких разделов, в каждом из которых так или иначе упоминается черный дрозд. Стихотворение посвящено воображению поэта, оно имеет непосредственное отношение к творчеству.

(б) Притча о слепцах и слоне. Подобно слону, область ИИ слишком велика для общей оценки, не говоря уже о том, что не найдется двух людей, которые будут смотреть на мир одинаково.

Чего мы хотим от этой книги? Стюарт Брэнд отмечал, что «изучение мышления первопроходцев безусловно полезно. Оно задает долгосрочную перспективу, которая побуждает мыслить десятилетиями и столетиями. Все современные дискуссии, к сожалению, быстро устаревают и утрачивают смысл без длительной перспективы».

Дэнни Хиллис хочет, чтобы работники сферы ИИ поняли, каким образом их «запрограммировала» книга Винера. «Вы следуете его дорожной карте, – говорит он, – и сами того не замечаете».

Дэн Деннет хотел бы «позволить Винеру появиться этаким призраком на пиру. Считайте его источником гибридной энергии, источником беспокойных мыслей, способных опрокинуть устоявшийся образ мышления».

Нил Гершенфельд утверждает, что «негласное корректирующее образование для людей, оперирующих Большой пятеркой[17], стало бы отличным результатом».

Джон Дайсон Фримен[18], один из немногих живущих ныне людей, кто знал Винера лично, считает «Человеческое применение человеческих существ» одной из лучших книг, написанных за всю историю человечества. «Винер почти все изложил правильно. Будет любопытно посмотреть, что ваша компания чародеев сможет с этим сделать».

Развивающийся нарратив ИИ

Все изменилось – и осталось таким, каким было. Теперь ИИ везде. У нас есть интернет. У нас есть смартфоны. Состояние основателей ныне доминирующих компаний – тех самых, что держат «плетку, которой нас хлещут», – оценивается в 65 миллиардов долларов США (или 90 миллиардов долларов, или 130 миллиардов долларов). Выдающиеся люди, например Илон Маск, Ник Бостром, Мартин Рис, Элиезер Юдковски и покойный Стивен Хокинг[19], изрекают страшные прогнозы насчет ИИ, что заставляет создавать исправно финансируемые институты, призванные всюду пропагандировать «хороший ИИ». Но сможем ли мы, как вид, контролировать полноценный, не подлежащий и не поддающийся надзору, самосовершенствующийся ИИ? Предупреждения и предостережения Винера в «Человеческом применении человеческих существ» внезапно сделались чрезвычайно актуальными. Исследователям на передовой изучения перспектив ИИ стоит заново их оценить. Снова процитирую Дайсона:

«Винер все больше разочаровывался в «поклонниках гаджетов», чей корпоративный эгоизм породил «мотивы к автоматизации, которые выходили за рамки законного любопытства и были греховными сами по себе». Он знал, что опасность не в машинах, которые становятся все больше похожими на людей, а в людях, с которыми обращаются как с машинами. «Мир будущего окажется непрекращающейся и все более упорной борьбой с ограничениями нашего интеллекта», – предупреждал он в работе «Корпорация «Бог и голем», опубликованной в 1964-м, в год его смерти; это будет вовсе «не удобный гамак, в который мы возляжем в ожидании роботов-рабов».

1 2 3 >

На страницу:

Перейти

1 из 3