На краю пропасти. Экзистенциальный риск и будущее человечества

58

Дэниел Эллсберг, занимавший пост военного советника во время Карибского кризиса, говорит так: “Вторжение почти наверняка спровоцировало бы двусторонний обмен ядерными ударами, который с огромной вероятностью вылился бы в массированный ядерный удар США по СССР” (Ellsberg, 2017, p. 210).

59

Главная трудность в том, что не совсем понятно, о чем вообще идет речь. Мы можем рассуждать о степени уверенности, которую ключевые участники событий ощущали в то время (от 10 до 50 %). Мы также знаем, случилось ли возможное в итоге (в нашем случае нет, или 0 %). Но чувствуется, что можно оценить вероятность объективнее, чем в первом случае, но при этом не ограничиваться вариантами 0 % и 100 %, как во втором. В частности, мы хотели бы учесть информацию, которая стала известна позже, например о присутствии на Кубе тактического ядерного оружия, а также о событиях на подводной лодке Б-59. Мы хотели бы получить ответ примерно на такой вопрос: если бы случилось 100 подобных кризисов, сколько из них привело бы к ядерной войне? Но трактовать слово “подобных” очень сложно. Подозреваю, существует реальная и полезная оценка вероятности для нашего случая, но вряд ли она была должным образом объяснена, поэтому, рассуждая об этом, мы рискуем запутаться.

60

Слова Джона Ф. Кеннеди цит. по: Sorenson (1965), p. 705.

61

Ellsberg (2017), p. 199. Не давая оценку вероятности, Макнамара позже сказал: “Помню, как я вышел из Белого дома тем субботним вечером. Стоял чудесный осенний день. Я тогда подумал, что этот закат вполне может стать для меня последним” (Ellsberg, 2017, pp. 200–201).

62

В свете всех последних открытий оценка Дэниела Эллсберга такова: “Гораздо больше, чем один к ста, в тот день даже больше, чем один к десяти, как считал Нитце” (Ellsberg, 2017, pp. 220).

63

Я особенно удивился в январе 2018 года, когда “Бюллетень ученых-атомщиков” выставил на своих знаменитых “часах Судного дня” время 23:58, поскольку мир “столь же опасен, как после Второй мировой войны” (Mecklin, 2018). Основной причиной для перевода стрелок стало усиливающееся ядерное напряжение между США и КНДР. Часы должны показывать, насколько мы близки к коллапсу цивилизации, но при этом не было предпринято никаких попыток объяснить, почему ситуация опасна для человеческой цивилизации и почему угроза сегодня серьезнее, чем во время Карибского кризиса и других кризисов холодной войны.

64

США по прежнему располагают 450 ракетами шахтного базирования и сотнями ракет подводного пуска, приведенными в состояние повышенной боевой готовности (UCS, n. d.).

65

Это связано с “проблемой темпов” (pacing problem), знакомой всем, кто изучает регулирование технологической сферы. Проблема темпов заключается в том, что технологические инновации все сильнее обгоняют способность законов и норм эффективно регулировать эти технологии. Ларри Даунс (2009) отметил: “Технологии меняются экспоненциально, а социальные, экономические и правовые системы – поступательно”.

Ключевое различие между двумя контекстами состоит в том, что проблема темпов связана со скоростью технологических изменений, а не с их растущей способностью менять мир.

66

Sagan (1994), pp. 316–317; перевод О. Сивченко.

67

Barack Obama, Remarks at the Hiroshima Peace Memorial (2016). Обратите также внимание на слова Джона Ф. Кеннеди, сказанные по случаю двадцатой годовщины с момента первой ядерной цепной реакции (всего через месяц после окончания Карибского кризиса): “Мы добились огромных успехов в применении науки, но наши успехи в налаживании отношений невелики” (Kennedy, 1962).

68

В своем стремлении к установлению мира после Карибского кризиса Кеннеди (1963) выразился так: “Проблемы, с которыми мы столкнулись, возникли по вине человека, поэтому и решить их может сам человек. Человек может быть великим настолько, насколько он этого пожелает. Нет такой проблемы в судьбе человечества, которую человечество не могло бы разрешить”.

Разумеется, теоретически можно столкнуться с проблемами, возникшими по вине человека и уже прошедшими точку невозврата, но с теми проблемами, которые рассматриваются в этой книге, такого пока не произошло. Мы могли бы предотвратить их даже простым бездействием: перестав делать то, что грозит бедой.

69

Проблема здесь особенно очевидна, поскольку, описывая степень серьезности риска словами, мы часто учитываем и вероятность его наступления, и размер ставок. Проиграть в карты с вероятностью 1 % не так уж страшно, а потерять ребенка с такой же вероятностью – весьма. Аналогичная проблема возникает, когда МГЭИК применяет качественные термины, описывая вероятность различных сценариев изменения климата (Mastrandrea et al., 2010), что, на мой взгляд, ошибочно.

70

Точное определение “экзистенциального риска” см. на с. 47. Это понятие включает в себя риск вымирания, а также риск иными способами навсегда лишить человечество его потенциала, например в результате непоправимого коллапса цивилизации.

71

См. главу 6, где проводится сравнение с уровнем естественного риска.

72

Об этом говорит Bostrom (2013).

73

Существуют несколько сценариев, которые могут к этому привести, но я считаю их маловероятными. Так, уровень риска может дойти примерно до одного к шести, но при этом нам посчастливится прожить еще десяток, а то и больше таких столетий. Или, например, нам лишь с переменным успехом удастся контролировать упомянутые риски, в результате чего уровень риска вернется к значениям XX века, но больше не снизится, и тогда мы сможем прожить еще сотню и даже больше веков в таких условиях.

74

В мае 2019 года Рабочая группа по антропоцену при Международной комиссии по стратиграфии проголосовала за выделение новой эпохи антропоцена с началом в середине XX века. Официально предложение будет внесено к 2021 году, и тогда будет названа возможная точка отсчета эпохи (Subramanian, 2019). [В конце 2022 года это предложение еще не было принято. – Прим. науч. ред.] В 2017 году рабочая группа отметила, что наиболее вероятным маркером станут отметки, оставленные при испытаниях ядерного оружия (Zalasiewicz et al., 2017).

75

Baier (1981).

76

См. Bostrom (2002b; 2013).

77

Бустрём (2013) определил экзистенциальный риск как риск, “который грозит преждевременным вымиранием возникшей на Земле разумной жизни или необратимым и радикальным уничтожением ее потенциала для желаемого развития в будущем”. Мое определение (и пояснения ниже) соответствует второй половине определения Бустрёма. Я не повторил первую часть, поскольку логически необходимость в ней отсутствует (наше “преждевременное вымирание” само по себе стало бы “необратимым и радикальным сокращением”), а потому она только отвлекает внимание от сути вопроса – от уничтожения нашего долгосрочного потенциала.

Обратите внимание, что в соответствии с моими определениями экзистенциальный риск – это просто риск экзистенциальной катастрофы. Я мог бы так и написать, но хотел, чтобы определение было самостоятельным.

78

Я намеренно не указываю, как именно совокупность возможных вариантов будущего определяет наш потенциал. Проще всего сказать, что ценность нашего потенциала соответствует ценности лучшего из открытых для нас вариантов будущего, то есть экзистенциальная катастрофа происходит, когда лучший из оставшихся вариантов будущего оказывается во много раз менее ценным, чем лучший из вариантов, который был у нас ранее. Можно также учесть сложность реализации каждого из возможных вариантов будущего, например определив ценность нашего потенциала как ожидаемую ценность нашего будущего в том случае, если мы пойдем лучшим из имеющихся путей. Но над этим еще предстоит поработать.

Определяя, считать ли катастрофу экзистенциальной, я ориентируюсь на уничтожение потенциала человечества, вместо того чтобы сделать акцент на необратимости итога, по двум основным причинам. Во-первых, такое определение удобнее для выявления набора рисков, которые имеют сходные механизмы работы и предполагают сходные стратегии для их предотвращения. Во-вторых, я смотрю на человечество с оптимизмом. Учитывая, что достаточно долгое время наш потенциал оставался невредим, я полагаю, что у нас есть очень большая вероятность его реализовать, а откаты назад будут лишь временными, если только не уничтожат нашу способность к восстановлению. В таком случае вероятность того, что человечество не сможет достичь великого будущего, главным образом связана именно с уничтожением его потенциала, то есть с экзистенциальным риском.

79

Потенциал можно определять и иначе – например, в более узком смысле, учитывая только то, на что мы способны сегодня или, вероятно, будем способны завтра. Потенциал такого типа можно увеличить, если работать над расширением своих способностей. Однако в этой книге я рассматриваю только наш долгосрочный потенциал (вкладывая в это понятие тот смысл, который описан в основном тексте). Когда я говорю просто “потенциал” (ради краткости), речь идет о “долгосрочном потенциале”.

80

Если остается слабая надежда на восстановление, то некоторые из моих прямолинейных утверждений нельзя воспринимать буквально. Например, утверждение о том, что после экзистенциальной катастрофы “нет пути назад”. Это досадно, но я считаю, что игра стоит свеч.

Я оставляю слабую надежду на восстановление, чтобы мне не могли возразить, что шанс на возрождение всегда есть, пусть даже бесконечно малый. Следовательно, строго говоря, потенциал не может быть уничтожен полностью. Однако от такого строгого прочтения мало пользы. Чтобы сделать выбор, нам не нужно знать, каким именно будет шанс на восстановление при реализации определенного сценария – ровно 0 % или 0,1 %. Обе ситуации почти одинаково плохи в сравнении с текущей, и плохи они по одной причине: их чрезвычайно сложно обратить вспять, и они (почти полностью) уничтожают наш долгосрочный потенциал. Более того, в обоих случаях нам следует действовать схожим образом: принимать предупредительные меры, а не учиться на ошибках. Ситуации, в которой у человечества в буквальном смысле “нет пути назад”, стоит избегать по тем же причинам, что и ситуации, когда “практически нет пути назад”. Таким образом, лучше всего включить почти необратимые ситуации в определение наравне с совершенно необратимыми.

81

Если наш потенциал значительно превосходит текущее состояние цивилизации, то событие, которое просто законсервирует текущее положение вещей, будет считаться экзистенциальной катастрофой. Примером может служить перманентная остановка технического прогресса.

Может показаться странным, что мы называем катастрофой сценарий, который просто крайне далек от оптимального. Мы привыкли считать, что потенциал уничтожают такие события, которые вызывают страдания незамедлительно, а не такие, которые разрушают чей либо потенциал, не меняя качества жизни в настоящий момент. Но рассмотрим, например, решение родителей не давать образование своему ребенку. Оно не вызовет страданий немедленно, но может привести к катастрофическому исходу для ребенка в отдаленном будущем.

82

В некоторых случаях идеи и методики из этой книги могут также применяться к таким местным “экзистенциальным угрозам”, поскольку они имеют определенные сходства (в миниатюре).

83

Здесь тоже есть свои проблемы. Так, порой нам придется говорить, что нечто было риском в прошлом (насколько нам известно), но больше риском не является. Например, раньше были опасения, что ядерное оружие подожжет атмосферу (см. с. 108). Но обратите внимание, что такое случается с рисками любого типа: так, на прошлой неделе мы могли полагать, что существует риск падения лифта из за потертости троса, но теперь этот риск снизился до нуля, поскольку у нас появились новые данные (мы проверили трос и обнаружили, что с ним все в порядке). Подробнее об объективной и логической вероятности при определении экзистенциального риска пишут Bostrom & Сirkovic (2008) и Bostrom (2013).

84

Часто появляются списки потерпевших крах цивилизаций прошлого, таких как Римская империя и цивилизация майя. Но в этой книге, говоря о (глобальном) коллапсе цивилизации, я имею в виду другое. Статистика небольших коллапсов практически бесполезна при определении того, ждет ли нашу цивилизацию глобальный коллапс.

Погибшие цивилизации были в высокой степени локализованы, поэтому их коллапс был скорее сравним с коллапсом отдельной страны, а не глобальной цивилизации. Так, даже Римская империя в период своего расцвета была гораздо меньше современной Бразилии и по площади, и по численности населения. Эти небольшие цивилизации были гораздо более уязвимы для региональных климатических эффектов, для действий единственного плохого правительства и для нападений внешних врагов. Кроме того, их коллапсы были вовсе не столь разрушительны, как тот, о котором я веду речь: часто целые города и деревни переживали “коллапс”, но народы не возвращались в состояние, в котором пребывали до перехода к сельскому хозяйству, а многие аспекты культуры продолжали развиваться.

85

Или если произойдет событие, которое более непосредственным образом воспрепятствует развитию цивилизации и ведению сельского хозяйства: например, будет нанесен исключительный ущерб окружающей среде или начнется длительная эпидемия болезни с тяжелыми последствиями.

Возможно, хрупкость мира возросла и сегодня он менее устойчив к коллапсу, чем средневековая Европа, а следовательно, коллапс может произойти и при потере менее 50 % населения. Впрочем, я сомневаюсь на этот счет и полагаю, что такой сценарий не более вероятен, чем сценарий, при котором даже потеря 90 % населения не приведет к полной утрате цивилизации.

86

С точки зрения новейшей истории эти неолитические революции происходили в разные времена, и тысячелетия форы сыграли большую роль в развитии некоторых цивилизаций и определении их веса на мировой арене. Но если смотреть шире, разные регионы независимо друг от друга перешли к сельскому хозяйству практически одновременно: в диапазоне нескольких тысяч лет в масштабах истории, которая тянется сотни тысяч лет. Это позволяет предположить, что сельское хозяйство было не маловероятным техническим прорывом, а достаточно типичным решением общей проблемы. Наиболее вероятным толчком к нему стало завершение великого “ледникового периода”, случившееся в промежутке от 17 до 10 тысяч лет назад, прямо в период зарождения сельского хозяйства. Оно оказало огромное влияние на окружающую среду, сделав мир менее подходящим для охоты и более подходящим для земледелия.

87

Общая тенденция такова, что доступ к ресурсам затрудняется, поскольку первым делом мы добываем то, что добыть легко. Так происходит с нетронутыми ресурсами в земных недрах. Но в результате люди забывают об огромном объеме ресурсов, которые уже извлекаются, отправляются на хранение и остаются среди руин цивилизации. Например, одна угольная шахта открытого типа в Вайоминге дает 100 млн тонн угля ежегодно, и остаток запасов в ней составляет 1,7 млрд тонн (Peabody Energy, 2018). На момент написания этой книги в резервах у угольных электростанций в США находится 100 млн тонн готового к использованию угля (EIA, 2019). В стратегических резервах хранится около 2 млрд баррелей нефти (IEA, 2018, p. 19), а количество используемого в нашей глобальной цивилизации железа составляет около 2000 кг на душу населения (Sverdrup & Olafsdottir, 2019).

88

Хотя в главе 4 мы увидим, что даже экстремальная ядерная зима или изменение климата вряд ли причинят окружающей среде по всему миру достаточный ущерб, чтобы это произошло.

89

Вопрос о минимальной жизнеспособной популяции также встает, когда речь заходит о космических путешествиях, во время которых сменяются поколения. Marin & Beluffi (2018) полагают, что достаточно начальной популяции размером 98 человек, в то время как Smith (2014) считает минимальной гораздо более крупную популяцию размером от 14 до 44 тысяч человек. Возможно, выжить сумеют и меньшие популяции – все зависит от того, какие генетические технологии они смогут применять для минимизации рисков инбридинга и дрейфа генов.

90

Полагаю, это стало одной из причин, почему люди считают возможность вымирания человечества казенным штампом, а не серьезной угрозой. Когда этот риск используют в качестве двигателя сюжета в подобных фильмах, он действительно превращается в штамп. Однако не стоит совершать ошибку и позволять этому штампу заслонять реальную угрозу для нашего будущего.

91

Мы редко встречаем и серьезные эмоциональные рассуждения на эту тему, такие как песни Let Me Die in My Footsteps (1963) Боба Дилана и Eve of Destruction (1965) Барри Макгуайра.

92

См. Slovic (2007).

93

Parfit (1984), pp. 453–454.

94

Как мы увидим далее, эта количественная разница также играет решающую роль при анализе представлений о нашем прошлом, наших добродетелях и нашей космической значимости.

95

Schell (1982), p. 182.

96

На этом стоит остановиться подробнее. По примеру Parfit (1984) разделим все, что может быть потеряно, на две группы.

В первую войдет то, чем мы могли бы стать. Окажутся потеряны все люди, которые могли бы появиться на свет. У нас никогда не будет ни детей, ни внуков: не будет миллионов поколений человечества, в каждое из которых входят миллиарды людей, живущих гораздо лучше, чем мы сами. Не будет никого. Катастрофа не убьет этих людей, но перечеркнет саму возможность их существования. Она не сотрет их со страниц истории, а вообще не позволит им оказаться туда вписанными. Мы потеряем ценность всего, что делает хорошей жизнь каждого из этих людей, будь то их счастье, свобода, успех или добродетель. Мы потеряем и самих людей. И еще мы потеряем всю ценность, которая заключена в их взаимоотношениях и самой структуре их общества, – любовь, дружбу, гармонию, равенство и справедливость.

Во вторую группу войдет все, что мы могли бы сделать. Взгляните на наши величайшие достижения в искусстве и науке и обратите внимание, какое большое их число приходится на последние два столетия. Если мы проживем еще два века, не растеряв свой потенциал, вероятно, мы достигнем еще больших высот. Мы можем добраться до одной из главных вершин науки: полностью описать фундаментальные законы, управляющие реальностью. И мы продолжим расширять диапазон своего прогресса, исследуя все новые и новые территории.

Важнее всего, пожалуй, потенциальные достижения в области морали. Хотя за века и тысячелетия мы проделали в этой сфере немалый путь, прогресс в ней шел значительно медленнее, чем в других областях, и был менее стабильным. Человечество обладает потенциалом построить поистине справедливый мир, и исполнение этой мечты стало бы огромным достижением.

Мы можем очень многим стать и очень многое сделать, впереди у нас множество вариантов благополучного будущего и множество достижений, и потому, какого бы представления о ценности мы ни придерживались, нам почти всегда найдется о чем горевать, если мы потерпим неудачу и растеряем свой потенциал. Поскольку масштабы благополучия и достижений чрезвычайно велики, защита нашего потенциала имеет первостепенное значение.

97

Таким образом, масштаб нашего будущего не просто важен с точки зрения консеквенциализма. Он также подкрепляет аргументы в пользу снижения экзистенциального риска, проистекающие из соображений о справедливости или законности.

98

Говоря, что жизни людей “важны в равной степени”, я имею в виду, что все хорошее и плохое в их жизнях одинаково важно вне зависимости от того, когда они живут.

В среднем люди сегодня живут лучше, чем тысячу лет назад, поскольку хорошего в их жизни больше, а кроме того, наша жизнь, вероятно, важнее как инструмент, так как мы живем в более судьбоносное время. В этом смысле наша жизнь, вероятно, имеет большее значение, но здесь нет противоречия с тем типом временно́й нейтральности, которого я придерживаюсь.

99

Об этом говорили J. J. C. Smart (1984, pp. 64–65) и G. E. Moore (1903, § 93).

100

Новые поколения столкнутся с новыми рисками и смогут помочь их снизить, но только мы можем снизить риски, которые возникают сегодня и возникнут в грядущие десятилетия.

101

Это название предложили мы с Уильямом Макаскиллом. В основе этих идей – рассуждения наших коллег Nick Beckstead (2013) и Nick Bostrom (2002b, 2003). В настоящее время Макаскилл работает над полноценной книгой, в которой их рассматривает.

102

В Приложении E мы увидим, что помимо защиты человечества существуют и другие способы оказывать устойчивое влияние на отдаленное будущее.

103

При ставке дисконтирования 0,1 % в год (низкой по стандартам экономистов) разница в миллион лет делает страдания через миллион лет более чем в 10434 раз важными, чем аналогичные страдания через два миллиона лет.

104

Можно трактовать это по разному в зависимости от ваших представлений о ценности. Одни сосредоточатся на том, насколько плох сам факт смерти целой группы или вида, человечества. С точки зрения других, хуже станет отсутствие человеческих жизней в будущем, а вместе с этим и всего хорошего, что в них могло бы быть.

105

С этим могут возникнуть серьезные сложности, если культура другого времени (или места) сильно отличается, но в нашем примере это не имеет значения.

106

Представьте, что бы мы подумали, если бы узнали, что наше правительство не стало принимать в расчет риск ядерной войны на том основании, что, если мы все умрем, плохого в этом не будет.

107

Если же, даже проявив должный скепсис, мы все равно склоняемся к одной из таких теорий, нужно с огромной осторожностью следовать ее рекомендациям в конкретной сфере, где она сильнее всего расходится с нашей интуицией и другими теориями, которые представляются нам правдоподобными, а именно в вопросе о ценности нашего долгосрочного будущего. См. Beckstead (2013, p. 63).

108

Мы действительно окажемся почти в таком же состоянии, как наши древнейшие человеческие предки (и нас будет гораздо меньше).

109

Burke (1790), para. 165; перевод Е. Гельфанд. В своей знаковой книге о правах будущих людей Annette Baier (1981) выражает похожую мысль: “Ключевая роль, отведенная нам как существам моральным, – это роль членов межпоколенческого сообщества, сообщества существ, которые смотрят назад и вперед, трактуют прошлое в свете настоящего, считают будущее продолжением прошлого, чувствуют свою принадлежность к непреходящим семьям, народам, культурам, традициям”. Об этом говорит и Джон Ролз в “Теории справедливости” (1971, § 79): “Реализация возможностей человеческих индивидов, живущих в любое данное время, требует кооперации многих поколений (или даже обществ) на протяжении долгого периода времени” (перевод В. В. Целищева).

110

Seneca (1972), pp. 279–291; перевод Т. Бородай. Шестнадцать веков спустя, в 1704 году, Исаак Ньютон сделал подобное замечание (Newton & McGuire, 1970): “Объяснить всю природу – слишком сложная задача для любого человека или даже для одного века. Гораздо лучше сделать немного, но достоверно, а остальное оставить тем, кто придет за вами” (перевод С. И. Вавилова).

В 1755 году Дени Дидро выразил связанные идеи в своей “Энциклопедии” (Diderot, 1755, pp. 635–648A): “…задача энциклопедии состоит в том, чтобы собирать знания, рассеянные по миру; излагать их общую систему для людей, с которыми мы живем, и передавать их тем, кто придет после нас, чтобы работа прошедших веков не лишилась смысла в грядущие столетия; и чтобы наши потомки, став более учеными, стали бы также более добродетельными и счастливыми, а мы не прожили бы жизнь, не оказав услугу всему роду человеческому”.

111

Пожалуй, еще поразительнее, что некоторые тайны комет, глубина которых вдохновила Сенеку написать этот фрагмент, были открыты лишь недавно и непосредственным образом повлияли на наши представления об экзистенциальном риске: “Когда нибудь явится человек, который точно опишет, где пролегают пути комет, почему они блуждают в стороне от прочих звезд” (Seneca, 1972, p. 281; перевод Т. Бородай).