На краю пропасти. Экзистенциальный риск и будущее человечества

Тоби Орд

На краю пропасти

Экзистенциальный риск и будущее человечества

© 2020, Toby Ord. All rights reserved.

© Hilary Paynter, иллюстрация на с. 10, 2020

© Е. Фоменко, перевод на русский язык, 2023

© А. Бондаренко, художественное оформление, макет, 2023

© ООО “Издательство Аст”, 2023

Издательство CORPUS ®

Издание осуществлено при поддержке “Книжных проектов Дмитрия Зимина”

* * *

Посвящается той сотне миллиардов человек, которые жили до нас и сформировали нашу цивилизацию; тем семи миллиардам, которые живут сейчас и своими действиями определяют ее судьбу; и тем триллионам, которые появятся в будущем и существование которых зависит от поддержания равновесия.

Введение

Если все будет хорошо, история человечества только начинается. Человечеству примерно двести тысяч лет. Но Земля будет пригодна для жизни еще сотни миллионов лет – этого достаточно, чтобы появились миллионы будущих поколений; достаточно, чтобы навсегда положить конец болезням, бедности и несправедливости; достаточно, чтобы достичь высот, которые сегодня невозможно даже вообразить. Если мы найдем способ продвинуться дальше в космос, у нас, возможно, появится еще больше времени: триллионы лет на исследование миллиардов миров. Такая продолжительность жизни говорит о том, что сегодня человечество пребывает в раннем младенчестве.

Мы нередко теряем из виду этот потенциал. Очередной скандал вызывает у нас негодование; очередная трагедия – сочувствие. Время и пространство сжимаются. Мы забываем о масштабе истории, в которой принимаем участие. Но бывают моменты, когда мы вспоминаем о нем – когда наш ракурс смещается, а приоритеты перестраиваются. Мы понимаем, что человеческий вид оказался в опасной близости от самоуничтожения и будущее, сулящее огромные перспективы, висит на волоске. И тогда главной заботой общества становится сделать так, чтобы этот волосок не порвался.

В этой книге утверждается, что защита будущего человечества – определяющая задача нашего времени. Дело в том, что мы живем в переломный момент истории своего вида. Подпитываемая техническим прогрессом, наша мощь настолько возросла, что впервые за долгую историю человечества у нас появилась возможность уничтожить самих себя, поставив крест на собственном будущем и всех своих перспективах.

Но если человечество при этом и стало мудрее, то ненамного, и это опасно. Человечеству недостает зрелости, координации и дальновидности, без которых не обойтись, если мы хотим избежать непоправимых ошибок. По мере увеличения разрыва между мощью и мудростью человечества наше будущее оказывается сопряжено со все большим риском. Но долго так продолжаться не может. Последующие несколько веков готовят человечеству испытания: оно либо научится действовать решительно, чтобы защитить себя и свой потенциал в долгосрочной перспективе, либо, что вполне вероятно, лишится этого потенциала навсегда.

Чтобы выжить, несмотря на сложности, и обеспечить себе будущее, действовать необходимо прямо сейчас: нам нужно управлять сегодняшними рисками, предупреждать завтрашние и становиться обществом, которое никогда больше не подвергнет себя подобным рискам.

Лишь в последнее столетие стало очевидно, что человечество может представлять угрозу собственному будущему. Об одном из самых страшных эпизодов стало известно совсем недавно. В субботу 27 октября 1962 года один офицер с советской подводной лодки едва не положил начало ядерной войне. Его звали Валентин Савицкий. Он был капитаном лодки Б-59, одной из четырех субмарин, которые СССР отправил для поддержки своих военных операций на Кубе. На каждой из них было секретное оружие – ядерная торпеда, по мощности не уступающая бомбе, сброшенной на Хиросиму.

В разгаре был Карибский кризис. За две недели до этого американская воздушная разведка получила фотографические свидетельства того, что СССР разместил ядерные боеголовки на Кубе, откуда можно было нанести прямой удар по материковой части США. В ответ США заблокировали моря, омывающие Кубу, разработали планы вторжения и привели свои ядерные силы в беспрецедентный уровень готовности DEFCON 2 (“Следующий шаг – ядерная война”).

В ту субботу одно из американских военных судов, блокирующих Кубу, обнаружило подводную лодку Савицкого и попыталось вынудить ее всплыть, сбросив маломощные глубинные бомбы в качестве предупредительных выстрелов. Подводная лодка несколько дней скрывалась на глубине. Радиосвязи с ней не было, поэтому экипаж не знал, не началась ли уже война. Условия на борту были чрезвычайно плохими. Лодка была приспособлена для операций в Арктике, и установленный на ней вентилятор сломался в тропических водах. Внутри было невыносимо жарко: температура колебалась от 45 °C у торпедных аппаратов до 60 °C в машинном отделении. Концентрация углекислого газа достигла опасной отметки, и члены экипажа начали терять сознание. Глубинные бомбы разрывались прямо возле корпуса. Позже один из членов экипажа вспоминал: “Казалось, мы сидели в железной бочке, по которой постоянно колотили кувалдой”.

На грани отчаяния капитан Савицкий приказал экипажу готовить секретное оружие:

Может, наверху уже война началась, а мы тут кувыркаемся. Мы сейчас по ним шарахнем! Сами погибнем, их потопим всех, но флот не опозорим![1]

Чтобы выпустить атомную торпеду, нужно было получить согласие замполита подводной лодки, у которого была вторая половина стартового ключа. Хотя решение капитана не было согласовано с Москвой, замполит его одобрил.

На любой из других трех подводных лодок этого было бы достаточно для пуска атомной торпеды. Но на борту Б-59 по чистейшей случайности присутствовал командующий всей флотилией капитан Василий Архипов, поэтому требовалось и его согласие. Архипов отказался его дать. Он успокоил капитана Савицкого, уговорил его отказаться от своего плана и вместо этого поднять судно на поверхность и ожидать дальнейших распоряжений из Москвы[2].

Мы не знаем точно, что случилось бы, если бы Архипов дал согласие – или если бы он просто находился на любой из трех других лодок. Возможно, Савицкий не исполнил бы собственный приказ. И все же ясно, что мы оказались в опасной близости от ядерного удара по блокирующему остров флоту – удара, который, скорее всего, привел бы к ядерному ответу, а затем эскалации конфликта в полномасштабную ядерную войну (единственную, к которой США готовились). Много лет спустя Роберт Макнамара, который занимал пост министра обороны во время кризиса, пришел к такому же выводу:

Не следует полагать, что, если бы американские войска были атакованы ядерными боеголовками, США не ответили бы ядерными боеголовками. К чему бы это привело? К полной катастрофе[3].

С тех пор как у человечества появилось ядерное оружие, мы постоянно оказываемся перед подобным выбором. Решения в нашем мире принимаются в неидеальных условиях: оперируя поразительно неполной информацией, люди управляют технологиями, которые угрожают будущему всего нашего вида. Нам повезло в тот субботний день в 1962 году, и мы смогли избежать катастрофы. Но наши разрушительные способности продолжают расти, и мы не можем вечно полагаться на удачу.

Нам нужно принять решительные меры, чтобы покончить с этим периодом эскалации риска и обеспечить себе будущее. К счастью, это в нашей власти. Главные риски связаны с деятельностью человека, поэтому он может их предотвратить. Таким образом, нам предстоит решить, выживет ли человечество в эту эпоху. Но это непростой выбор. Все зависит от того, как быстро мы поймем и примем на себя новую ответственность, которая приходит с нашей беспрецедентной мощью.

Это книга об экзистенциальных рисках – рисках, которые грозят уничтожением долгосрочного потенциала человечества. Вымирание – самый очевидный путь к уничтожению этого потенциала, но есть и другие. Если цивилизацию на планете ждет полный крах, наш долгосрочный потенциал тоже погибнет. Мы увидим, что есть и антиутопические сценарии: мы можем оказаться взаперти в обреченном мире, где у нас не будет пути назад.

Хотя эта категория рисков разнообразна, она еще и специфична. Мне придется воздержаться от рассмотрения множества важных рисков, которые в нее не входят: мы говорим не о новых темных веках, которые ждут человечество и природный мир (какими бы ужасными они ни оказались), а о полном уничтожении потенциала человечества.

Экзистенциальные риски ставят перед нами проблемы нового типа. Они требуют от нас координации на международном и межпоколенческом уровнях, причем такого тесного, какого не было прежде. И нам следует быть дальновидными, а не действовать методом проб и ошибок. Поскольку риски не дают нам права на ошибку, необходимо создать институты, гарантирующие, что никогда в будущем мы не станем жертвами такой катастрофы.

Чтобы должным образом раскрыть тему, нужно охватить очень многое. Анализ рисков предполагает погружение в физику, биологию, геонауки и информатику; определение их места в общей картине мира требует обращения к истории и антропологии; при оценке ставок задействуются философия морали и экономика; а поиск решений невозможен без международных отношений и политологии. Если делать все как полагается, нужно глубоко погружаться в каждую из этих дисциплин, а не выбирать цитаты экспертов и исследования, подходящие для обоснования заранее выстроенной концепции. Это было бы непосильной задачей для одного человека, поэтому я невероятно благодарен десяткам ведущих мировых экспертов в этих сферах, которые консультировали меня и давали свои критические оценки[4].

В этой книге я ставлю перед собой амбициозные задачи. Внимательный анализ потенциала человечества и рисков, с которыми мы сталкиваемся, показывает, что мы живем в самую важную эпоху человеческой истории. Серьезные риски, грозящие нашему будущему, – это новая проблема, и мы еще не научились размышлять о них. Книга “На краю пропасти” предлагает новую этическую перспективу, существенно перестраивая наши представления о мире и нашем месте в нем. Это нужно, чтобы попытаться сократить разрыв между мудростью и мощью человечества и дать людям четко понять, что стоит на кону, чтобы мы приняли верные решения для защиты собственного будущего.

Я не всегда занимался вопросами защиты долгосрочного будущего человечества и пришел к этой теме поневоле. Я философ в Оксфордском университете, и моя специальность – этика. Ранее я анализировал более осязаемые проблемы всемирного здравоохранения и глобальной бедности и искал наиболее действенные способы помочь тем, кому приходится сложнее всего. Подобравшись вплотную к этим вопросам, я понял, что нужно вывести мою работу по этике за стены моей башни из слоновой кости. Я стал советником Всемирной организации здравоохранения, Всемирного банка и правительства Великобритании по вопросам этики всемирного здравоохранения. Когда я понял, что мои собственные деньги могут дать страдающим от бедности в сотни раз больше, чем мне самому, я взял на себя обязательство всю жизнь жертвовать в их пользу не меньше десятой части своих доходов[5]. Я основал организацию Giving What We Can (“Подарим что можем”), чтобы ко мне могли присоединиться и другие люди, и очень обрадовался, когда тысячи участников собрались вместе, решив за свою жизнь отдать более миллиарда фунтов стерлингов самым эффективным из известных нам благотворительным фондам, которые занимаются самыми важными проблемами. Общими усилиями мы уже изменили жизни десятков тысяч людей[6]. Поскольку помимо пожертвований существует множество других способов улучшить мир, я помог основать более широкое движение, получившее название “эффективный альтруизм”, в рамках которого люди стараются, опираясь на факты и здравый смысл, творить как можно больше добра.

Чтобы избавить наш мир от ненужных страданий в настоящем, нужно сделать очень многое, и поэтому я не сразу обратил внимание на будущее. Оно было гораздо менее реальным, гораздо более абстрактным. Неужели оно и правда может представлять столь же серьезную проблему, как страдания людей в настоящем? Размышляя о фактах и идеях, которые в итоге стали темой этой книги, я пришел к выводу, что риски для будущего человечества столь же реальны и столь же неотложны, но при этом ими пренебрегают даже в большей степени. И людям будущего, возможно, окажется еще сложнее защититься от рисков, которым мы их подвергаем, чем обездоленным наших дней.

Теперь анализ этих рисков стал главным направлением моей работы: я изучаю проблемы, с которыми мы сталкиваемся, и консультирую такие группы, как администрация премьер-министра Великобритании, Всемирный экономический форум и компания DeepMind, о том, как лучше всего отвечать на эти вызовы. Я наблюдаю, как со временем осведомленность об этих рисках растет и признается необходимость скоординированных действий.

Стремясь обратиться к широкой и разнородной аудитории, я беспощадно удалял из этой книги жаргон, ненужные технические подробности и оборонительные замечания, характерные для научных статей (включая и мои собственные). Читатели, желающие узнать больше и ознакомиться с этими замечаниями, могут обратиться ко множеству примечаний и приложений, написанных специально для них[7].

Я всячески старался внимательно и взвешенно анализировать факты и аргументы, перечисляя ключевые положения, даже если они шли вразрез с моим повествованием. В таких вопросах крайне важно докапываться до истины, ведь внимание человечества – дефицитный товар, а потому его не стоит разменивать на ошибочные теории и идеи[8].

В каждой главе этой книги центральные вопросы рассматриваются в новом ракурсе. Первая часть (“Ставки”) начинается с обзора уникального исторического момента, в который нам выпало жить, а далее в ней объясняется, почему ситуация требует скорейшего рассмотрения. Во второй части (“Риски”) анализируется наука рисков, с которыми сталкивается человечество, как природных, так и антропогенных, и показывается, что, хотя угроза некоторых из них преувеличена, риск действительно существует и растет. В третьей части (“Путь вперед”) описываются инструменты, с помощью которых можно понять, как риски соотносятся и сочетаются друг с другом, а также предлагаются новые стратегии для работы с ними. В завершение я излагаю свое видение будущего, показывая, чего мы можем достичь, если добьемся успеха.

Моя книга не сводится к хорошо известным историям об опасностях изменения климата и ядерной войны. Именно эти риски впервые показали нам, что мы можем уничтожить самих себя, но ими дело не ограничивается. Появляются новые риски, например связанные с биотехнологиями и продвинутым искусственным интеллектом, и вполне возможно, что в грядущем столетии они будут представлять гораздо большую опасность для человечества.

Наконец, эта книга далека от пессимизма. В ней не говорится, что кульминацией текущего витка истории непременно станет наша гибель. Ее никак не назвать нравоучительной историей о нашей технологической гордыне и последующем крахе. Вовсе нет. Главная ее мысль заключается в том, что риски для нашего будущего действительно существуют, но у нас есть возможность изменить ситуацию с помощью верных решений. Я полагаю, что мы в силах справиться с задачей – что, делая правильный выбор, мы можем отойти от края пропасти и со временем обеспечить себе поразительно светлое будущее, где нас ждет немыслимое прежде изобилие, к которому мы придем, внедрив еще не предложенные инновации. Именно моим глубоким оптимизмом относительно будущего человечества и объясняется мое стремление написать эту книгу. У нас огромный потенциал. Нам очень многое нужно защитить.

Часть первая

Ставки

Глава 1

На краю пропасти

Возможно, это типичная последовательность, через которую проходят многие миры. Молодая планета безмятежно обращается вокруг своей звезды; медленно развивается жизнь; на планете появляются, калейдоскопически сменяя друг друга, разнообразные существа; возникает разум, который, как минимум до определенного момента, крайне способствует выживанию; затем совершенствуются технологии. Разумных существ осеняет, что существуют законы природы, что эти законы можно открыть путем эксперимента и что знание этих законов позволяет как спасать, так и отнимать жизнь, причем в беспрецедентных масштабах. Наука – осознают эти существа – дает невероятное могущество. Они мигом создают инструменты для изменения миров. Некоторые планетарные цивилизации способны спланировать будущее, определиться с тем, что можно сделать и чего делать нельзя, поэтому спокойно проходят период невзгод. Другие, менее благоразумные или менее везучие, исчезают.

Карл Саган[9]

Мы живем в период, исключительно важный для будущего человечества. Чтобы понять почему, нам нужно сделать шаг назад и окинуть взглядом всю человеческую историю: понять, как мы добрались до этой точки и куда можем пойти дальше.

Основное внимание мы уделим растущей мощи человечества, которое может как улучшить свое положение, так и нанести себе вред. Мы увидим, как ключевые переходные моменты в человеческой истории сделали нас могущественнее и позволили нам добиться необычайных успехов. Если нам удастся избежать катастрофы, можно осторожно надеяться, что прогресс продолжится: сознательное человечество ждет поразительно светлое будущее. Но растущая мощь ведет также к новому переходному моменту, ничуть не менее значительному, чем предыдущие, и это переход к нашему времени опасностей.

Что было раньше

Лишь небольшая часть истории человечества уже рассказана, поскольку лишь небольшая ее часть вообще может быть рассказана. Наш вид Homo sapiens появился в саваннах Африки 200 тысяч лет назад[10]. На протяжении почти непредставимого времени мы переживали огромную любовь и дружбу, страдали от тягот и печалей, исследовали, творили и размышляли о своем месте во Вселенной. И все же, задумываясь о великих достижениях человечества, мы, как правило, вспоминаем исключительно о делах, записанных на глине, папирусе и бумаге, но этим записям не более 5000 лет. Мы редко думаем о человеке, который около 70 тысяч лет назад первым ступил на землю странного нового мира в Австралии; о человеке, который раньше всех стал называть и изучать растения и животных всех мест, куда мы добирались; о рассказах, песнях и стихах, сложенных на заре человечества[11]. Между тем эти достижения были реальными и выдающимися.

Мы знаем, что даже до появления сельского хозяйства и зарождения цивилизации человечество оказывало значительное влияние на мир. Применяя простые, но в то же время революционные технологии мореходства, шитья одежды и разведения огня, мы преодолевали большие расстояния, чем любое млекопитающее до нас. Мы лучше приспосабливались к новой среде и в итоге расселились по всему земному шару[12].

Рисунок 1.1. Как мы заселяли мир. Стрелками обозначены сухопутные и морские пути, которыми, как мы полагаем сегодня, следовали наши предки, а цифры говорят, сколько лет назад люди добрались до каждого из регионов[13].

Что делало человечество исключительным даже на столь ранних этапах? Люди не были ни крупнее, ни сильнее, ни крепче других видов. Нас отличали не физические, а умственные характеристики – интеллект, творческие способности и речь[14].

И все же, даже обладая этими уникальными умственными способностями, один в пустыне человек не добился бы ничего особенного. Возможно, он сумел бы выжить, компенсируя недостаток физической силы интеллектом, но вряд ли занял бы господствующее положение. С точки зрения экологии примечателен не человек, а человечество.

Способность отдельного человека к кооперации с десятками других людей из его окружения оказалась уникальной в среде крупных животных. Она позволила нам сформировать нечто большее, чем мы сами. По мере того как наш язык становился все более выразительным и абстрактным, мы научились группироваться с максимальной пользой, объединяя наши знания, идеи и планы.

Особенно важно, что мы могли сотрудничать друг с другом, преодолевая время, а не только пространство. Если бы каждому поколению приходилось учиться всему заново, то нам никогда не удалось бы создать даже такое техническое новшество, как железная лопата. Однако мы учились у предков, внедряли собственные небольшие инновации и передавали опыт детям. Мы сотрудничали не с десятками, а с десятками тысяч человек, связывая поколения, сохраняя и развивая идеи на протяжении времен. Мало-помалу объем наших знаний рос, а культура развивалась[15].

В долгой истории человечества было несколько переходных периодов: занятия человека менялись, в результате чего его влияние росло гораздо быстрее, что сказывалось на всех последующих событиях. Я опишу три важных перехода[16].

Первым стала неолитическая революция[17]. Около 10 тысяч лет назад люди, жившие в Плодородном полумесяце на Ближнем Востоке, начали культивировать дикую пшеницу, ячмень, чечевицу и горох, чтобы дополнить свой рацион, обеспечиваемый собирательством. Специально выбирая для следующих посевов семена лучших растений, они сумели подчинить себе силу эволюции и создали новые одомашненные сорта с более крупными семенами и высокой урожайностью. Эта тактика сработала и с животными, что предоставило людям прямой доступ мясу и шкурам, а также к молоку, шерсти и навозу. Используя физическую силу тяглового скота, чтобы пахать поля и перевозить урожай, человечество расширило свои возможности не меньше, чем при освоении огня[18].

Хотя Плодородный полумесяц часто называют “колыбелью цивилизации”, на самом деле у цивилизации было много колыбелей. Совершенно независимо друг от друга неолитические революции происходили по всему миру в местах с благоприятным климатом, где водились подходящие для одомашнивания виды: в Восточной Азии, Черной Африке, на Новой Гвинее, в Южной, Центральной и Северной Америке, а возможно, и где-то еще[19]. Новая практика распространялась из каждого из этих очагов и меняла образ жизни множества людей, которые переходили от собирательства к земледелию.

Это оказало огромное влияние на размах человеческой кооперации. Переход к сельскому хозяйству в сотню раз уменьшил количество земли, необходимое для пропитания одного человека, и благодаря этому появились крупные поселения, которые начали объединяться в государства[20]. Если крупнейшие общества собирателей состояли от силы из нескольких сотен человек, то число жителей некоторых ранних городов измерялось десятками тысяч. В период расцвета в Шумере обитало около миллиона человек[21]. Две тысячи лет назад число подданных империи Хань в Китае достигло 60 миллионов, что почти в сто тысяч раз больше, чем численность любого сообщества в эпоху собирательства, и почти в десять раз больше, чем общемировая численность собирателей при пиковом значении[22].

Все больше людей получали возможность делиться своими знаниями и открытиями, благодаря чему стремительно развивались технологии, институты и культура. Число людей, торгующих друг с другом, росло, и это позволяло им специализироваться в своих сферах – посвящать свою жизнь управлению, торговле или ремеслам – и гораздо серьезнее их развивать.

В первые 6000 лет ведения сельского хозяйства мы изменили мир, предложив ему такие новшества, как письменность, математика, законы и колесо[23]. Особенной важностью обладала письменность, которая укрепила нашу способность сотрудничать друг с другом сквозь время и пространство: она расширила возможности взаимодействия поколений, повысила надежность информации и увеличила расстояние передачи идей.

Рисунок 1.2. Колыбели цивилизации. Отмечены регионы мира, где независимо друг от друга зародилось сельское хозяйство, и указано, сколько лет назад это произошло.

Следующим великим переходом стала научная революция[24]. Ранние формы науки развивались с древних времен, и семена эмпиризма можно найти в работах средневековых ученых исламского мира и Европы[25]. Но лишь около 400 лет назад человечество разработало научный метод и положило начало настоящему научному прогрессу[26]. В результате опора на авторитетные источники уступила место внимательному наблюдению за миром природы и поиску простых и поддающихся проверке объяснений увиденного. Способность проверять и отвергать не оправдавшие себя гипотезы помогла нам высвободиться из оков догматов и впервые приступить к систематическому накоплению знаний об устройстве мира.

Некоторые из новообретенных знаний можно было использовать для совершенствования окружающего мира. Ускоренное накопление знаний привело к ускорению внедрения технических инноваций и наделило человечество растущей способностью подчинять себе природу. Изменения происходили очень быстро, и потому люди успевали на своем веку увидеть, как они преображают окружающую действительность. В результате сформировалось современное представление о прогрессе. Если ранее в мире преобладали идеи об упадке и крахе или о цикличности происходящего, то теперь люди с растущим интересом изучали новую концепцию: великий проект совместной работы на благо будущего.