На краю пропасти. Экзистенциальный риск и будущее человечества

Экспоненциальное повышение благосостояния, которое подтолкнула промышленная революция, сопровождалось стремительным ростом объема выбросов углекислого газа. Незначительный побочный эффект индустриализации в конце концов вылился в глобальную угрозу здоровью, окружающей среде, международной стабильности и, возможно, даже всему человечеству.

Ядерное оружие и изменение климата имеют поразительные сходства и различия. В обоих случаях человечеству грозят существенные сдвиги в температуре Земли, но эти сдвиги направлены в разные стороны. Один из них – результат непредсказуемого научного прорыва, другой – продолжение векового развития старых технологий. Один связан с малым риском внезапной и резкой катастрофы, другой предполагает длительный, постепенный процесс с отложенным началом, где катастрофа в некоторых масштабах неизбежна и неясно только, насколько серьезной она будет. Один сопряжен с секретной военной технологией, контролируемой горсткой могущественных людей, другой – с совокупностью малых воздействий на мир со стороны каждого из его обитателей.

Технологии продолжают развиваться, и на горизонте возникают новые угрозы. Эти угрозы, вероятно, будут похожи скорее на ядерное оружие, чем на изменение климата: они будут возникать из-за неожиданных прорывов, приводить к резким катастрофам и связываться с действиями небольшого числа лиц. Меня особенно заботят две зарождающиеся технологии, которым будет посвящена пятая глава.

С самой неолитической революции мы меняли геном растений и животных, чтобы удовлетворять свои нужды. Но открытие генетического кода и создание инструментов, позволяющих читать и переписывать его, привело к резкому расширению нашей способности перестраивать жизнь с новыми целями. Внедрение биотехнологий приведет к значительному прогрессу в медицине, промышленности и сельском хозяйстве. Но возникнут и риски для цивилизации и самого человечества, и их источниками будут как случайности, которые могут произойти при санкционированных исследованиях, так и возможность создания биологического оружия.

Мы также наблюдаем стремительное расширение способностей систем искусственного интеллекта (ИИ), причем самый серьезный прогресс наблюдается в тех областях, где ИИ традиционно был слабее всего, таких как восприятие, обучение и общий интеллект. Специалисты полагают, что в этом столетии человеческие способности превзойдет не только узкий ИИ, но и общий, то есть умеющий преодолевать разнообразные препятствия для достижения поставленных целей. Человечество смогло обрести контроль над миром именно благодаря своим непревзойденным умственным способностям. Если мы уступим пальму первенства машинам, именно они в итоге займут наше уникальное положение. Это должно заставить нас задуматься, почему именно человечество и дальше будет править миром. Нам нужно научиться соотносить цели все более умных и автономных машин с интересами человечества, и сделать это необходимо прежде, чем такие машины станут сильнее нас.

Эти угрозы человечеству и наши ответы на них определяют наше время. Появление ядерного оружия создало реальный риск уничтожения человечества в XX веке. Технологии развиваются все быстрее, а серьезных усилий для защиты человечества не прикладывается, поэтому есть все основания полагать, что в текущем столетии риск станет еще выше и будет расти с каждым веком, пока продолжается технический прогресс. Поскольку такие антропогенные риски превосходят все природные риски, вместе взятые, именно они определяют, сколько у человечества времени, чтобы отойти от края пропасти.

Я не утверждаю, что вымирание – это неизбежный итог научного прогресса или даже самый вероятный его результат. Я утверждаю, что человечество становится все могущественнее и уже достигло той точки, когда само создает серьезную угрозу собственному существованию. Нам решать, как мы будем работать с этим риском.

Я не призываю и к отказу от технологий. Технологиям принадлежит огромная заслуга в улучшении благосостояния человечества. Кроме того, без технологий человечество не сумеет раскрыть свой потенциал в долгосрочной перспективе. В отсутствие технологий мы были бы обречены из-за совокупного риска таких природных катастроф, как падение астероидов. В отсутствие технологий мы никогда не придем к истинному процветанию, хотя мы могли бы его достичь.

Проблема не столько в переизбытке технологий, сколько в недостатке мудрости[65]. Особенно хорошо об этом сказал Карл Саган:

Большинство угроз, с которыми мы сталкиваемся, действительно обусловлены наукой и технологиями, но на более фундаментальном уровне они вызваны тем, что мы стали могущественнее, при этом не став соизмеримо мудрей. Средства изменения миров, полученные нами благодаря технологии, требуют такой осмотрительности и дальновидности, которые не требовались нам никогда ранее[66].

Адвокатом этой идеи выступает даже бывший президент США:

Сама искра, которая служит отличительной особенностью нашего вида, – наши мысли, наше воображение, наш язык, наше умение изготавливать инструменты, наша возможность отстраняться от природы и подчинять ее своей воле – всё это также дает нам беспрецедентные способности к разрушению… Технологический прогресс, не сопровождаемый эквивалентным прогрессом в сфере человеческих институтов, обречет нас на гибель. Научная революция, которая привела к делению атома, требует и революции в моральной сфере[67].

Нам нужно обрести эту мудрость, пережить моральную революцию. Поскольку вымирание необратимо, нельзя откладывать дела на потом и ждать, когда угроза воплотится в жизнь. Необходимо действовать заблаговременно. Мудрость не обрести, а моральную революцию не начать в одночасье, поэтому нам пора браться за дело.

Думаю, мы, скорее всего, переживем этот период. Не потому, что трудности незначительны, а потому, что мы сумеем с ними справиться. Упомянутые риски проистекают из действий человека, и одно это показывает, что человек в состоянии на них ответить[68]. Пораженчество неуместно и контрпродуктивно, как самосбывающееся пророчество. Нам следует работать с этими рисками, рассуждая трезво и беспристрастно и руководствуясь позитивным видением будущего, которое мы стараемся защитить.

Как серьезны эти риски? Сложно точно ответить на этот вопрос, ведь речь идет о комплексных (то есть не поддающихся простому математическому анализу) и беспрецедентных (то есть не подлежащих аппроксимации по частоте возникновения в долгосрочной перспективе) рисках. И все же очень важно хотя бы попытаться дать количественную оценку. Такие качественные утверждения, как “серьезный риск вымирания человечества”, можно трактовать как риск в диапазоне от 1 до 99 %[69]. Они не проясняют ситуацию, а усиливают путаницу. В связи с этим я предлагаю количественные оценки, но с оговоркой, что их нельзя считать точными и можно пересматривать.

Насколько я могу судить, в XX веке риск вымирания человечества или непоправимого коллапса цивилизации составлял примерно один к ста. С учетом всего, что мне известно, я оцениваю экзистенциальный риск в текущем столетии как примерно один к шести: это русская рулетка[70]. (См. Таблицу 6.1 на с. 199, где приводятся оценки для разных рисков.) Если мы не возьмемся за ум, если мы допустим, чтобы наша сила и дальше нарастала быстрее, чем накапливается мудрость, то стоит ожидать, что этот риск станет еще выше в следующем столетии и далее будет усиливаться от века к веку.

Это самые серьезные риски, с которыми мы когда-либо сталкивались[71]. Если я хотя бы в общих чертах прав, то с такими рисками многие столетия нам не прожить. Этот уровень риска неприемлем[72]. Следовательно, так или иначе этот период вряд ли продлится больше чем несколько веков[73]. Либо человечество обретет контроль над собственной судьбой и снизит риск до приемлемого уровня, либо люди уничтожат самих себя.

Представим историю человечества как долгое путешествие по диким землям. В пути случается свернуть не туда и столкнуться с трудностями, но порой быстро преодолеваешь большое расстояние и перед тобой открывается головокружительный вид. В середине XX века мы прошли по высокогорному перевалу и обнаружили, что дальше есть лишь одна дорога – узкая тропинка вдоль ущелья, осыпающийся карниз на краю пропасти. Стоит посмотреть вниз – и кружится голова. Если мы упадем, все будет потеряно. Мы не знаем, насколько вероятно падение, но это самый серьезный риск, с которым мы когда-либо сталкивались.

Этот сравнительно короткий период – уникальное испытание в истории нашего вида. Наш ответ на вызов определит нашу историю. В будущем историки дадут название этому времени, о нем будут рассказывать на школьных уроках. Но я думаю, что название ему не помешает и сейчас. Я называю этот период Пропастью.

Пропасть наделяет наше время огромным смыслом. В огромных масштабах истории – если мы сумеем выжить – наше время запомнится именно этим: высочайшими уровнями риска, а также пробуждением человечества, которое придет к зрелости и гарантирует себе долгое и светлое будущее. В этом и заключается смысл нашего времени.

Я не прославляю наше поколение, но и не пытаюсь выставить нас злодеями. Дело в том, что ставки сегодня чрезвычайно высоки. В зависимости от того, как мы распорядимся своими возможностями, мы станем либо победителями, либо проигравшими. Надеюсь, мы выживем и расскажем своим детям и внукам, что не сидели сложа руки, а воспользовались шансом, чтобы сыграть отведенную нам историческую роль.

Защита человечества от этих опасностей должна быть главной задачей нашего времени. Я не говорю, что в мире нет других проблем и людям следует забыть обо всем, что им важно, ради этого. Но если вы понимаете, как внести свой вклад, – если у вас есть необходимые навыки или если вы молоды и можете самостоятельно прокладывать свой путь, – то, думаю, защита человечества сегодня входит в число самых благородных целей, которым вы могли бы служить.

Пропасть и антропоцен

Становится все более очевидно, что человек оказывает самое значительное влияние на окружающую среду. Ученые приходят к выводу, что человечество занимает центральное место не только в своем представлении, но и при рассмотрении ситуации с объективных позиций биологии, геологии и климатологии. Если в далеком будущем найдутся геологи, они обнаружат, что слой породы, соответствующий нашему времени, фундаментально отличается от прошлых слоев.

В связи с этим современные геологи подумывают о том, чтобы официально изменить классификацию геологического времени и выделить в нем новую эпоху антропоцена. Среди предлагаемых точек ее отсчета – исчезновение мегафауны, неолитическая революция, пересечение Атлантики, промышленная революция и первые испытания ядерного оружия[74].

Соответствует ли она Пропасти? В чем их различия?

Антропоцен – это время, когда человечество оказывает существенное влияние на окружающую среду, а Пропасть – время, когда человечество всерьез рискует уничтожить само себя.

Антропоцен – это геологическая эпоха, а геологические эпохи, как правило, длятся миллионы лет, в то время как Пропасть – это период человеческой истории (сродни эпохе Просвещения и промышленной революции), который, вероятно, завершится за несколько веков.

Точкой отсчета для обоих может служить первое испытание атомной бомбы, но объясняется такой выбор совершенно по-разному. В случае с антропоценом это событие главным образом обеспечивает удобную датировку эпохи, но в случае с Пропастью отсчет ведется именно от него потому, что ядерное оружие представляет угрозу для выживания человечества.

Глава 2

Экзистенциальный риск

Ключевая роль, отведенная нам как существам моральным, – это роль членов межпоколенческого сообщества, сообщества существ, которые смотрят назад и вперед, трактуют прошлое в свете настоящего, считают будущее продолжением прошлого, чувствуют свою принадлежность к устойчивым семьям, народам, культурам, традициям.

Аннетт Байер[75]

Мы увидели, как длинная кривая человеческой истории привела нас к исключительно важной точке нашего повествования – ко времени, когда наше будущее повисло на волоске. Мы также заглянули в будущее и поняли, что может ждать нас впереди, если только мы сумеем преодолеть риски.

Пора глубже изучить, что стоит на кону и почему защита человечества в этот период имеет такую важность. Для этого нам прежде всего нужно дать определение экзистенциальному риску. Что такое экзистенциальный риск? Как это понятие соотносится с более знакомыми нам идеями о вымирании и крахе цивилизации?

После этого мы проанализируем, почему эти риски требуют повышенного внимания. На мой взгляд, главная причина в том, что мы можем полностью лишиться будущего: того, кем мы могли бы стать и чего могли бы достичь. Но этим дело не ограничивается. Необходимость сберечь свое будущее проистекает также из множества нравственных устоев и традиций. Экзистенциальные риски грозят и разрушить наше настоящее, и предать наше прошлое. Они проверяют цивилизацию на прочность и грозят тому, что, возможно, представляет собой самый сложный и значимый компонент Вселенной.

Если любая из этих причин кажется нам достаточно весомой, то нам предстоит немало сделать, чтобы защитить свое будущее. Дело в том, что экзистенциальным риском обычно пренебрегают и государства, и ученые, и общество. Мы увидим, почему дело обстоит именно так и почему есть основания полагать, что ситуация изменится.

Что такое экзистенциальный риск?

Будущее человечества изобилует возможностями. Мы достигли глубокого понимания обитаемого мира и вышли на такой уровень здоровья и благосостояния, о котором наши предки могли только мечтать. Мы начали исследовать другие миры в небесах у себя над головой и создавать виртуальные миры, непостижимые для наших предков. Границ тому, чего мы можем добиться, почти не существует.

Вымирание человечества закроет наше будущее. Оно уничтожит наш потенциал. Ликвидирует все возможности, кроме одной: мира, лишенного процветающего человечества. Вымирание приведет к возникновению этого обреченного мира и навсегда отрежет любые пути назад.

Философ Ник Бустрём показал, что вымирание – не единственный сценарий, по которому такое может произойти: возможны и другие катастрофические исходы, связанные с потерей не только настоящего, но и потенциала в будущем[76].

Представьте мир в руинах: масштабная катастрофа привела к глобальному коллапсу цивилизации и вернула человечество в состояние, в котором оно пребывало до перехода к сельскому хозяйству. В ходе этой катастрофы окружающей среде был нанесен такой серьезный урон, что у выживших не осталось шанса восстановить цивилизацию. Даже если бы такая катастрофа не привела к вымиранию человечества, она оказала бы сходное влияние на наше будущее. Огромный диапазон возможных вариантов будущего, открытых для нас сегодня, существенно сузился бы. Мы оказались бы в обреченном мире, не имея никакой надежды вернуться назад.

Рисунок 2.1. Классификация экзистенциальных катастроф по типу исхода, который не поддается изменению.

Теперь представьте мир в оковах: в будущем, напоминающем “1984” Джорджа Оруэлла, где вся планета оказалась во власти жестокого тоталитарного режима, решительно настроенного не сдавать своих позиций. Благодаря мощной пропаганде, поддерживаемой технологиями, а также надзору и принуждению, немногочисленные диссиденты не в силах даже отыскать друг друга, не говоря уже о том, чтобы произвести переворот. Так живет все население Земли, и режим не знает угроз – ни внутренних, ни внешних. Если бы такой режим мог поддерживаться бессрочно, погружение в тоталитарный мир имело бы немало общего с вымиранием: у людей осталось бы лишь ограниченное число вариантов будущего и не осталось бы выхода.

Вслед за Бустрёмом я буду называть такие события “экзистенциальными катастрофами”, определяя их следующим образом[77]:

Экзистенциальная катастрофа – это разрушение долгосрочного потенциала человечества.

Экзистенциальный риск – это риск, грозящий уничтожением долгосрочного потенциала человечества.

Эти определения показывают, что исход экзистенциальной катастрофы и плачевен, и необратим. У нас не просто исчезнет возможность реализовать свой потенциал – сам потенциал тоже будет навсегда потерян. Хотя я хочу оставить официальные определения краткими, несколько аспектов этих понятий требуют пояснения.

Во-первых, долгосрочным потенциалом человечества я считаю совокупность всех возможных вариантов будущего, которые открыты для нас[78]. Это огромный диапазон, куда входит все, чего человечество может добиться в будущем, даже если нам только предстоит изобрести средства достижения своих целей[79]. Но отсюда следует, что, если выбор, который мы совершаем сегодня, отсекает часть наших возможностей, он уже не может открыть новые. Таким образом, любое уменьшение потенциала человечества должно считаться необратимым. Сегодня перед нами стоит задача сохранить наш огромный потенциал и защитить его от риска последующего уничтожения. Суть в том, чтобы дать нашим потомкам возможность реализовать этот потенциал и воплотить в жизнь один из лучших открытых для нас вариантов будущего.

Хотя в таком масштабе моя идея может показаться абстрактной, на самом деле мы сталкиваемся с ней изо дня в день. Представьте ребенка, обладающего высоким долгосрочным потенциалом: ему доступно множество вариантов прекрасного будущего. Важно сохранить этот потенциал, чтобы лучшие варианты будущего не оказались отсеченными из-за несчастного случая, травмы или недостатка образования. Важно и защитить этот потенциал, то есть принять превентивные меры, чтобы его потеря стала крайне маловероятной. Также важно, чтобы ребенок в итоге реализовал свой потенциал – иными словами, прошел по одной из лучших дорог, которые ему открыты. С человечеством дело обстоит точно так же.

Экзистенциальные риски грозят уничтожить потенциал человечества. Уничтожение может быть как полным (например, при вымирании), так и почти полным, скажем при необратимом коллапсе цивилизации, когда остаются возможности для очень скромного процветания или слабая надежда на восстановление[80]. Я не провожу четких границ, но следует понимать, что в случае любой экзистенциальной катастрофы бо́льшая часть нашего потенциала утрачивается и остается лишь минимум[81].

Во-вторых, упор на человечество в моих определениях не подразумевает, что я не учитываю ценность окружающей среды, других животных, преемников Homo sapiens и существ, живущих в других областях космоса. Я вовсе не хочу сказать, что в расчет идут только люди. Я лишь утверждаю, что люди – единственные из известных нам существ, которые воспринимают моральные суждения и доводы, а следовательно, могут изучать мир и решать, как лучше поступать. Если мы не справимся, то эта направленная вверх сила, эта способность стремиться к лучшему и справедливому попросту исчезнет из мира.

Наш потенциал – это то, чего человечество может достичь в результате совокупных усилий всех людей до единого. Ценность наших действий будет отчасти определяться тем, что мы делаем в отношении людей и для людей, но будет также зависеть от того, как наши действия влияют на другие виды. Если в будущем мы каким-то образом поспособствуем возникновению новых моральных агентов, в соответствии с моим определением их нужно будет включить в категорию “человечества”.

Поскольку я рассматриваю все человечество, угрозы отдельным странам и культурам не могут считаться экзистенциальными рисками. Подобный термин существует и для них – порой люди называют нечто “экзистенциальной угрозой для определенной страны”. Если не учитывать, что такие утверждения обычно бывают преувеличенными, в их основе лежит схожая идея – идея о том, что нечто грозит навсегда уничтожить долгосрочный потенциал отдельной культуры или страны[82]. Но очень важно, чтобы понятие “экзистенциального риска” (без явной привязки к конкретной группе) употреблялось только в отношении угроз для всего человечества.

В-третьих, любое определение риска сопряжено с понятием вероятности. Каков принцип оценки вероятности экзистенциального риска? Нет смысла рассматривать вероятность как объективную долгосрочную частоту, поскольку экзистенциальные катастрофы, которые нас интересуют, могут случиться лишь один раз и всегда будут оставаться беспрецедентными, пока не станет слишком поздно. Нельзя сказать, что вероятность экзистенциальной катастрофы равняется нулю просто потому, что такой катастрофы никогда не происходило прежде.

Подобные ситуации требуют логического подхода к оценке вероятности, при котором на основе имеющейся информации называется адекватная степень уверенности в том, что событие произойдет. Такой подход используется в судах, банках и букмекерских конторах. Говоря о вероятности экзистенциальной катастрофы, я буду иметь в виду то, насколько человечеству следует быть уверенным, что такая катастрофа произойдет, с учетом самых убедительных доказательств, имеющихся в нашем распоряжении[83].

Множество возможных кошмарных исходов не попадают в категорию экзистенциальных катастроф.

Например, может случиться не одно событие, которое приведет человечество к шагу в пропасть, а целый ряд менее серьезных сбоев. Дело в том, что я пользуюсь традиционным определением катастрофы как единственного решающего события, а не совокупности событий, приводящих к неблагоприятному исходу. Если бы мы растеряли свой потенциал, просто неизменно плохо относясь друг к другу или вообще не совершая великих дел, результат был бы столь же неудачен, но наступил бы не в результате катастрофы.

Или же может случиться единственная катастрофа, но такая, которая оставит человечеству шанс на восстановление. С нашей точки зрения, если заглянуть на несколько поколений в будущее, подобная перспектива может показаться не менее мрачной. Но через тысячу лет ее, возможно, будут считать лишь одним из нескольких печальных эпизодов в человеческой истории. Настоящая экзистенциальная катастрофа должна быть по природе своей решающим моментом – той точкой, в которой мы потерпели полное поражение.

Даже катастрофы, способные привести к глобальному коллапсу цивилизации, могут не дотягивать до экзистенциального уровня. Хотя глобальный коллапс цивилизации нередко называют “концом света”, он может и не поставить точку в человеческой истории. Несмотря на серьезнейшие последствия, он может не оказаться ни полным, ни необратимым.

В этой книге я использую понятие “коллапс цивилизации” в буквальном смысле, имея в виду ситуацию, когда человечество по всему земному шару утрачивает цивилизацию (по крайней мере временно) и возвращается к тому образу жизни, который вело до перехода к сельскому хозяйству. Часто это понятие используют в более узком смысле, когда говорят о сильной разрухе, утрате современных технологий или уничтожении нашей культуры. Я же говорю о мире, в котором нет ни письменности, ни городов, ни законов, ни каких-либо иных признаков цивилизации.

Коллапс цивилизации – очень серьезная катастрофа, вызвать которую чрезвычайно сложно. Несмотря на все трудности, с которыми цивилизации сталкивались в своей истории, такого не случалось никогда – даже в масштабах континента[84]. Европа выжила, потеряв 25–50 % своего населения во время эпидемии чумы, но сохранив цивилизацию невредимой, и это свидетельствует, что коллапс цивилизации может случиться, только если в каждом регионе мира будет потеряно более 50 % населения[85].

Даже если бы коллапс случился, вполне вероятно, что цивилизацию удалось бы восстановить. Как мы видели, цивилизации независимо друг от друга возникли по крайней мере у семи обособленных народов[86]. Хотя может показаться, что из-за истощения ресурсов восстановить цивилизацию будет сложнее, на самом деле задача сегодня значительно проще. Если произойдет катастрофа, в результате которой человечество не вымрет, после нее на земле останутся одомашненные животные, а также огромное количество материальных ресурсов в руинах городов: заново выковать железо из старых перил наверняка проще, чем выплавить его из руды. Гораздо проще, чем в XVIII веке, будет получить доступ даже к невозобновляемым ресурсам, таким как уголь, ведь у нас найдутся заброшенные разработки и шахты[87]. Кроме того, по всему миру будут обнаруживаться свидетельства о том, что цивилизация вообще возможна, и сведения об инструментах и знаниях, необходимых, чтобы ее восстановить.

Существуют, однако, две тесные связи между коллапсом цивилизации и экзистенциальным риском. Во-первых, если коллапс необратим, он может считаться экзистенциальной катастрофой. Так, вполне можно представить, что определенное изменение климата или специально подготовленная эпидемия сделают планету непригодной для жизни, в результате чего человечество навсегда вернется к собирательству и разрозненному образу жизни[88]. Во-вторых, глобальный коллапс цивилизации может повысить вероятность вымирания человечества, сделав людей более уязвимыми для последующей катастрофы.