Сила этики. Искусство делать правильный выбор в нашем сложном мире

Нам часто приходится заменять вопросы из разряда «Следует ли мне…?» более открытыми и реалистичными вопросами вроде того, который я задала себе о Boeing: «Когда и при каких обстоятельствах мне следовало бы…?» Формулировка наших этических дилемм в небинарных терминах помогает закрепить наш выбор в реальности. Как я говорю своим студентам, вы можете сколько угодно «заниматься этикой» в отрыве от реальности, но жить вам придется со вполне реальными последствиями.

Большинство решений, которые нам необходимо принять, будут небинарными. Но я начала с ситуации с Boeing, чтобы проиллюстрировать, что все же выбор «правильно или неправильно», «да или нет» существует. История с корпорацией Boeing – пример по-настоящему бинарного решения… и неправильного ответа. Вопросы были прямолинейными, а ставки – максимально высокими.

Прежде чем мы начнем анализировать решения, принятые Boeing, нам необходимо лучше разобраться в том, как конструкция самолета Max привела к падению корпорации. Все началось в 2010 году, когда главный соперник компании, французский авиастроитель Airbus, объявил о запуске нового самолета, который будет сжигать на 20 % меньше горючего[45]. Когда в Boeing узнали о том, что их давний клиент авиакомпания American Airlines рассматривает возможность приобретения двухсот новых французских самолетов, они немедленно вступили в конкурентную борьбу[46].

Проектирование нового судна могло занять десять лет, потребовалось бы дорогостоящее обучение пилотов, поэтому вместо этого корпорация Boeing решила обновить уже существующую модель 737, снабдив ее новыми топливосберегающими двигателями[47]. В августе 2011 года совет директоров Boeing одобрил запуск в 2017 году переоборудованной модели 737, которая стала известна как Max. Еще до начала строительства компания успела получить 496 заказов на новые топливосберегающие самолеты[48].

Инженеры Boeing вскоре выяснили, что при установке массивных современных двигателей на самолет, изначально построенный в 1967 году, возникают серьезные проблемы[49]. Например, у модели 737 остается совсем небольшое расстояние между корпусом самолета и землей, поэтому под крыльями судна просто не хватало места для размещения двигателей большего размера. В результате новые двигатели переместили немного выше крыла и продвинули вперед[50]. Но это нарушило всю аэродинамику[51]: когда самолет был на полной тяге во время взлета, нос часто задирался слишком высоко, вызывая сваливание. Поначалу инженеры оценивали идею изменения формы крыльев или добавления к крыльям небольших металлических лопастей, чтобы изменить аэродинамику[52]. Когда эти варианты не сработали, компания Boeing разработала в качестве программного решения систему MCAS[53]. MCAS изначально была создана так, чтобы учитывать входные сигналы от двух источников: от одного из датчиков угла атаки и о перегрузке. Если и угол атаки, и перегрузка были слишком велики, MCAS тонко отрегулировала бы положение хвоста самолета, чтобы опустить нос. Но затем инженеры поняли, что самолет может испытывать аэродинамическую нестабильность не только на высоких, но и на низких скоростях, поэтому они убрали фактор перегрузки как механизм запуска системы MCAS. Это означало, что теперь активировать MCAS мог и один датчик угла атаки[54].

ФАА сертифицировало систему MCAS и ее активацию с помощью одного датчика, основываясь на предварительном «анализе безопасности системы», который компания Boeing предоставила надзорным органам. Но впоследствии инженеры Boeing сделали MCAS более мощной и интенсивной – без обновления сертификационных документов ФАА. К тому времени, когда самолеты были доставлены заказчикам, MCAS могла перемещать хвост в четыре раза дальше, чем предполагалось изначально, и могла автоматически перезагружаться, снова и снова опуская нос самолета, даже когда пилот поднимал его. Согласно показаниям руководства Boeing, летный экипаж уже был обучен обращению с тем, что называется «неуправляемым стабилизатором», – по сценарию, при котором нос самолета также опускается. Из-за этого руководство Boeing «предположило», что пилоты будут реагировать на ошибочную активацию MCAS и решат эту проблему таким же образом: щелкнут переключателями на панели управления и отключат эту систему[55].

Ошибочные предположения Boeing привели к нескольким неверным шагам. Во-первых, эти предположения были основаны на том факте, что в ходе испытаний опытные пилоты Boeing смогли распознать опасность заваливания носа, щелкнуть переключателями и взять под контроль самолет за четыре секунды. Но при испытаниях не учитывались хаотические ситуации в кабине или другие возможные переменные. Национальный совет по безопасности на транспорте США (NTSB) указал в своем официальном отчете за 2019 год, что ФАА должно разработать новые стандарты проектирования и потребовать внедрения бортовых диагностических инструментов для повышения эффективности пилотирования. Национальный совет также отметил, что «отраслевые эксперты обычно признают, что система самолета должна быть спроектирована таким образом, чтобы последствия любой ошибки человека были ограничены»[56].

Кроме того, компания Boeing с одобрения ФАА поставила самолеты Max (с активацией MCAS одним датчиком) без дополнительной подготовки пилотов и без упоминания MCAS в руководстве по эксплуатации. Первый пилот в отставке Чесли «Салли» Салленбергер, прославившийся тем, что в 2009 году благополучно посадил самолет на воды реки Гудзон в Нью-Йорке, в июне 2019 года объяснил подкомитету конгресса: «Я сомневаюсь, что до этих происшествий кто-либо из пилотов американских авиакомпаний сталкивался с подобным сценарием при обучении на тренажерах»[57]. Он также настаивал на том, что нельзя заставлять пилотов компенсировать «внутренние дефекты» в конструкции самолета.

В этом случае причина принятия неверных решений отчасти кроется в том факте, что ФАА наделяло Boeing все большими и большими полномочиями в отношении сертификации безопасности. Смысл в том, чтобы привлекать к этому инженеров компании, в какой-то мере есть[58]. У Boeing достаточно опыта, чтобы помогать ФАА с отдельными аспектами, на которые у последнего нет ресурсов или времени. Первоначально инженеры по сертификации назначались ФАА, подчинялись непосредственно своим коллегам в ФАА и получали оплату от Boeing. Но в 2004 году система изменилась[59]: теперь их назначали – и руководили ими – менеджеры Boeing, принимавшие окончательные решения о том, что будет представлено ФАА. Эти изменения дали менеджерам Boeing больше полномочий, а инженерам по сертификации – меньше независимости, и корпорация Boeing воспользовалась этими изменениями, обратив их в свою пользу.

Расследования, проведенные американскими газетами New York Times и Seattle Times, показали, что руководство Boeing было настолько одержимо стремлением опередить Airbus, настолько сосредоточено на скорости производства и стоимости, что инженеры были вынуждены представлять технические планы «вдвое быстрее обычного», а менеджеры работали в «сжатые сроки и с ограниченным бюджетом». Один из информаторов утверждал, что в трех разных случаях компания отклоняла те меры безопасности, которые могли бы предотвратить роковые катастрофы[60].

Процесс принятия решений в Boeing был свернут, когда в компании увлеклись гонкой к финишной черте, а также и позже. В 2017 году, через несколько месяцев после поставки самолетов, в компании Boeing обнаружили сбой с предупреждением о расхождении показаний датчиков угла атаки[61]. Предупреждение о несогласии – это стандартная функция, которая сообщает пилоту, что два датчика угла атаки имеют разные показания: это говорит о том, что один из датчиков, возможно, вышел из строя. Сбой, как обнаружили в Boeing, заключался в том, что предупреждение о несогласии в самолетах Max ошибочно связывалось со второй необязательной функцией, «индикатором датчиков угла атаки», которая была премиальной функцией. Это означало, что если перевозчик не покупал опцию «премиум», предупреждение о несогласии у него не срабатывало. Компания Boeing не уведомила об этом ни покупателей, ни пилотов[62]. Вместо этого она решила подождать до следующего запланированного обновления программного обеспечения в 2020 году, чтобы исправить ошибку[63].

Предупреждение о несогласии могло бы проинформировать пилотов компаний Lion Air и Ethiopian Airlines о неисправности одного из датчиков, что могло бы помочь им быстрее распознать проблему. Но ни один из этих перевозчиков не оплатил опцию «премиум», поэтому предупреждение у них не сработало. Такой индикатор для датчиков угла атаки приобрели примерно 20 % всех клиентов Max; следовательно, только эти 20 % также располагали этим средством обеспечения безопасности. Даже среди трех американских перевозчиков, которые купили самолеты Max, за премиальный вариант заплатили лишь American Airlines и Southwest Airlines, а United Airlines – нет[64].

Модель Max 8 была запущена в эксплуатацию в 2017 году и быстро стала самым продаваемым самолетом Boeing в истории[65] – ошеломительный успех… пока вскоре пилоты не оказались вынуждены вести бой против своих самолетов, а сами самолеты не упали с небес на землю. Модель Max была призвана укрепить позицию Boeing как самого уважаемого и успешного производителя самолетов в мире. Вместо этого она пролила свет на этическую проблему, решение которой нельзя откладывать.

* * *

Давайте рассмотрим три важных бинарных решения, с которыми столкнулась компания Boeing.

Во-первых, в 2017 году ее руководители осознали, что они сделали средство обеспечения безопасности (предупреждение о несогласии датчиков угла атаки) премиальным вариантом, а не стандартом. На этом этапе вопрос звучал так: будем ли мы делать это достоянием общественности и все исправлять или нет?

Компания Boeing решила придерживаться позиции, согласно которой предупреждение о несогласии предоставляет только «дополнительную информацию» и не является средством обеспечения безопасности[66]. Возможно, так оно было и с более старыми моделями 737, но в Boeing должны были знать, что мощный характер системы MCAS превратил это предупреждение в необходимую функцию безопасности, предоставляющую пилотам важную информацию. Компания Boeing не сообщила об этом и не исправила эту ошибку, решив вместо этого исправить ее через три года при обновлении программного обеспечения[67].

Во-вторых, после того как в Индонезии разбился первый самолет, выбор был таким: отзываем ли мы самолеты до тех пор, пока не выясним наверняка, что стало причиной катастрофы, и не сможем исправить это и соответствующим образом обучить пилотов, или мы будем продолжать полеты на этих самолетах? Компания не только продолжала полеты; она также заняла бессовестную позицию, обвинив во всем пилотов. «Мы использовали стандартное для нашей отрасли предположение о пилотах и о том, какие у них бывают реакции», – свидетельствовал главный инженер Boeing Джон Гамильтон на слушаниях в сенате США в октябре 2019 года[68]. Поскольку неправильные условия работы MCAS были похожи на проблему с неконтролируемым стабилизатором, руководство Boeing предположило, что пилоты должны были знать, что следует щелкнуть переключателями и отключить MCAS. Но, как ранее в том же году заявил конгрессу капитан Салленбергер, пилоты заслуживают того, чтобы летать на самолетах, на которых «не установлены непреднамеренные ловушки»[69].

Вне зависимости от того, что пилоты должны были или не должны были знать, неисправное программное обеспечение Boeing также послужило причиной гибели 189 человек. Это бинарное решение, здесь есть однозначный ответ: отозвать самолеты, а затем устранить нарушения в системах безопасности и обучить пилотов.

Время принимать третье решение, как для Boeing, так и для ФАА, настало, когда в Эфиопии разбился второй самолет: разрешаем ли мы самолетам продолжать полеты или нет? Вместо того чтобы запретить самолетам все рейсы, глава корпорации Мюленбург позвонил президенту Трампу, чтобы заверить его, что полеты безопасны. Компания Boeing настаивала на том, чтобы самолеты Max 737 продолжали летать, и ФАА это разрешило, хотя более шестидесяти стран уже дали им правильный ответ.

Кризис Boeing показывает, что даже простой выбор из двух вариантов можно сделать ошибочно, если мы не сможем интегрировать в процесс принятия решений этику. Если мы не в состоянии правильно ответить на бинарные вопросы, даже когда на кону стоит человеческая жизнь, тогда у нас возникнут гораздо более серьезные проблемы, когда границы станут более размытыми и мы столкнемся с необходимостью принимать небинарные решения.

Если говорить об этике на передовой, сложные этические проблемы в общем и целом требуют, чтобы мы сосредоточились на отключении бинарного мышления, потому что оно способствует упрямству и может привести к чрезмерно упрощенным «правильным» или «неправильным» решениям, не основанным на реальности. Проблемы, лежащие в основе нереалистичного выбора одного из двух вариантов, который, как мы видели, наблюдается по всему миру, – например, с вопросом, должна ли Великобритания оставаться в Евросоюзе либо выйти из него (брексит) или следует ли США построить стену на южной границе с Мексикой, – требуют более тонкого подхода к принятию решений.

Вот лишь один из примеров такой дилеммы, заслуживающей небинарного ответа, хотя она и выглядит как бинарный вопрос. Ваша подруга удаляет с телефона приложение Uber и говорит, что вы должны сделать то же самое: известно, что компания эксплуатировала водителей и обходила местные законы[70]. «Удалить или оставить» – это бинарное решение. Откажитесь от бинарности и вместо этого спросите: когда и при каких обстоятельствах я удалю это приложение? Какие еще факторы и людей вам следует принять во внимание, прежде чем последовать примеру подруги? Может быть, Uber удобнее для вас, потому что вы живете в таком районе, где трудно найти такси. Возможно, вы знаете учителей или одиноких родителей, которые подрабатывают в Uber, когда у них есть время. Как это решение повлияет на них? Компании, организующие совместные поездки (райдшеринг), также помогают жителям определенных районов города, которые подвергаются дискриминации со стороны водителей такси[71]. Как на ваше решение влияют эти факторы? Вместо того чтобы выбирать, «удалить или оставить» приложение, возможно, вы предпочтете его оставить, но будете использовать его только тогда, когда под рукой нет местных такси, автобусов или метро или когда вы выпили и не должны садиться за руль.

Когда мы чрезмерно упрощаем этические дилеммы, немедленно принимая ту или иную сторону, мы упускаем возможность и идем на риск. Нам не удается определить те данные, которые могли бы повлиять на наши решения. Мы теряем из виду различные стороны, чьи интересы также будут затронуты, такие как учителя и одинокие родители. И мы игнорируем тот факт, что наши действия и действия других людей имеют потенциальные последствия, например поддержание низкого уровня безопасности в той или иной компании.

У каждого из нас достаточно сил, чтобы отказаться от бинарного мышления и делать правильный выбор, принимая любое решение. В 2018 году мне выпала возможность взять интервью у сценариста и продюсера, завоевавшего премию «Эмми», Нормана Лира[72]. Я никогда не забуду то, что он хотел донести: мы часто решаем не ходить на выборы, не вмешиваться, когда видим какую-либо несправедливость, не задумываемся, покупая одноразовую пластиковую бутылку с водой. Человеку свойственно полагать, что его личные решения ни на что не влияют. Однако Лир убежден: «Мы должны знать, что все, что мы делаем, имеет значение. Каждый из нас имеет значение».

Наш выбор имеет значение. То, что мы выбираем, влияет на наши повседневные привычки и отношения, определяет траекторию нашей жизни, оказывает воздействие на других людей. Это имеет накопительный эффект. Следующая история иллюстрирует то, какую мощь имеет отказ от бинарного мышления при принятии этичных решений и построении небинарной бизнес-модели.

* * *

В сентябре 2007 года двадцатисемилетние Брайан Чески и Джо Геббиа, снимавшие вместе квартиру в Сан-Франциско, с трудом могли наскрести денег, чтобы платить за жилье[73]. В это время в городе проводилась масштабная конференция дизайнеров, все номера в отелях были разобраны. Чески и Геббиа надули три матраса, разместили их в своей гостиной и предложили завтрак для гостей в этой импровизированной «гостинице», которую они назвали «Надувной матрац и завтрак» (Airbed & Breakfast).

Год спустя, объединившись с Нейтаном Блечарзиком, они запустили Airbnb, онлайн-маркетплейс для частных домовладельцев, готовых принять гостей и предложить им диван, спальню или целый дом для краткосрочной аренды[74]. Путешественники экономят деньги на жилье и имеют возможность общаться с местными жителями; хозяева получают дополнительный доход; а Airbnb продвигает варианты размещения среди потенциальных гостей, обрабатывает сообщения и платежи и позволяет хозяину принять гостя или отказаться после просмотра его онлайн-профиля.

Несмотря на первоначальные сомнения инвесторов в том, что люди впустят в свои дома незнакомцев, к 2020 году Airbnb имела оценочную стоимость примерно в 26 миллиардов долларов[75], здесь размещались семь миллионов объявлений[76], в том числе приглашения в 14 000 крошечных домиков, 4900 замков и 2400 домов на деревьях, в 100 000 городов по всему миру. И все же частный дом, используемый для краткосрочной аренды, даже если это замок, не будет ни гостиницей, ни домом в узком смысле этого слова. Компания Airbnb сделала шаг вперед, расширив границы и сдвинув передовую.

Airbnb – часть так называемой смешанной экономики. Веб-компании вроде Airbnb связывают клиентов (в данном случае путешественников) с поставщиками (владельцами недвижимости) через интернет. Они устраняют необходимость в гостиничной индустрии, в том числе в отдельных людях, выступающих как посредники, таких как туристические агенты и портье.

В лучшем случае компании смешанной экономики, например Lyft (поездки на автомобиле), TaskRabbit (выполнение поручений), Turo (аренда автомобилей) и Rover (присмотр за домашними животными), предоставляют нам удобный и своевременный доступ к нужным нам продуктам и услугам. Но поскольку они основаны на смешанных бизнес-моделях, принятие решений, связанных с этими компаниями, сопряжено с множеством зачастую неизведанных этических проблем.

В длинные выходные на Президентский день в 2017 году Дайн Су, двадцатипятилетняя студентка юридического факультета Калифорнийского университета в Лос-Анджелесе, отправилась на лыжный курорт в горы Сан-Бернардино, Калифорния[77]. Через Airbnb она сняла там небольшой домик, где планировала провести все выходные с женихом, двумя друзьями и двумя собаками.

Месяцем раньше Су забронировала этот домик на двоих, но после связалась с хозяйкой дома Тэйми Баркер и спросила, нельзя ли, чтобы к ним присоединились еще двое друзей со своими питомцами. Баркер согласилась на это за дополнительную плату – 50 долларов за ночь.

По дороге на курорт Биг-Бэр группа попала в снежную бурю, превратившую двухчасовую поездку в мучительное пятичасовое мытарство с дождем, снегом, перекрытыми дорогами и оповещениями о наводнениях. Когда Су отправила Баркер текстовое сообщение о том, что они вот-вот приедут, Баркер ответила, что она не соглашалась на дополнительных гостей. Су выслала ей скриншоты более ранних сообщений, полагая, что хозяйка просто забыла о договоренности. Ответ, который она получила, поверг ее в шок: «Если вы думаете, что четыре человека и две собаки получат комнату всего за 50 долларов за ночь в горах Биг-Бэр в самый оживленный уик-энд в году… вы точно не в себе».

Баркер отменила бронь, оставив студентов на улице. Когда Су пригрозила тем, что разместит на площадке Airbnb плохой отзыв, Баркер парировала: «Ну и ладно, я бы не сдала вам дом, даже если бы вы были последним человеком на Земле. Одним словом все сказано. Азиатка». Вскоре она дописала: «Я не позволю, чтобы этой страной распоряжались иностранцы».

Поблизости оказалась местная телевизионная группа, они делали репортаж о снежной буре, и репортер взял интервью у Су, запечатлев заплаканную молодую женщину, которая беспомощно стояла в снегу. «Я живу здесь с трех лет, – сказала Су. – Америка – мой дом. Я считаю себя американкой. Но эта женщина подвергает меня дискриминации за то, что я азиатка… Мне просто так обидно».

И это не единичный случай. Примерно двумя годами ранее, в марте 2015 года, двадцатипятилетний Грегори Селден попал в сходную ситуацию, пытаясь забронировать жилье через Airbnb в Филадельфии[78]. Хозяин ответил, что место уже занято. Но Селден заметил, что на сайте оно отображалось как свободное. Селден, афроамериканец, создал два фальшивых профиля, «Джесси» и «Тодд», и прикрепил к ним фотографии белых мужчин. Он еще раз отправил запрос в тот же день, и хозяин одобрил запросы как Джесси, так и Тодда. Позже Селден рассказал о своем опыте в Twitter, снабдив пост хештегом #airbnbwhileblack («Airbnb, когда ты черный»), что запустило «тысячи ретвитов от людей, которые столкнулись с таким же несправедливым отношением хозяев-агентов, представителей, служащих или сотрудников Airbnb»[79].

В декабре 2015 года информационное агентство Bloomberg сообщило о рабочем докладе Гарвардской школы бизнеса, где говорилось о том, что проблема с дискриминацией широко распространена на платформе Airbnb[80]. Исследователи создали на Airbnb двадцать фальшивых профилей, «идентичных во всех отношениях, кроме имен гостей». У половины были имена, согласно стереотипическим представлениям, характерные для афроамериканцев (например, «Лакиша Джонс» и «Тайрон Робинсон»), у второй половины псевдонимы были похожи на стандартные имена среди белого населения («Грег О’Брайен» и «Энн Мерфи»). С помощью этих фальшивых аккаунтов исследователи разослали запросы примерно 6400 хозяевам, предлагающим снять жилье в Балтиморе, Далласе, Лос-Анджелесе, Сент-Луисе и Вашингтоне.

Хозяева на 16 % реже принимали запросы от арендаторов с именами, звучащими как имена афроамериканцев, по сравнению с арендаторами с «белыми» именами. Хотя в фальшивых профилях не было фотографий, исследователи определили, что платформа Airbnb поощряет расовую дискриминацию, потому что хозяева часто могут просматривать фото гостя и его личные данные, прежде чем решить, принимать или отклонять запросы.

Представьте себе: вы входите в мотель и спрашиваете, можно ли снять номер, а портье заставляет вас заполнить анкету и сфотографироваться для босса. Он ненадолго уходит, а когда возвращается, говорит вам, что босс отклонил ваш запрос. Этот сценарий, который подверг блестящему анализу в журнале по праву Stanford Law Review бывший студент Майкл Тодиско, является прямым нарушением Закона США о гражданских правах 1964 года, запрещающего дискриминацию при сдаче помещений внаем[81]. Тем не менее это, вероятно, происходило сотни раз на дню на платформе Airbnb – и практически безнаказанно.

Кто несет ответственность за то, что произошло с Грегори Селденом и Дайн Су? И какова ответственность Airbnb, как они должны предотвращать нарушения со стороны хозяев и гостей и как реагировать на них? Так и хочется осудить Airbnb за расистское поведение того или иного хозяина. Но, будучи новой бизнес-моделью смешанной экономики, эта платформа столкнулась с проблемами, которых никогда раньше не возникало, – с небинарной этической дилеммой. Статья II Закона о гражданских правах 1964 года прямо запрещает «дискриминацию по признаку расы, цвета кожи, религии или национального происхождения»[82]. В законе говорится: «Все люди имеют право на полное и равное пользование товарами, услугами, удобствами, привилегиями, преимуществами и условиями проживания в любом месте общественного проживания». Отсылка к «помещениям, сдаваемым внаем» подразумевает «любую гостиницу, отель, мотель или другое заведение, предоставляющее временный ночлег для гостей». Но формально это не распространяется на частные дома[83]. Домовладельцы имеют право определять, кого они приглашают в свое пространство[84]. Airbnb не совершил ничего противозаконного. Однако незаконность – это не адекватный этический стандарт.

Создатели и новаторы (основатели, такие как Чески, Геббиа и Блечарзик) и инвесторы в компаниях несут огромную ответственность (хотя и не полную) за принятие этических решений. Регулирование всегда будет отставать от инноваций, пока правительства изо всех сил пытаются внести поправки в существующие законы или добавить новые. Гражданам и обществу всегда нужно время, чтобы испытать и оценить возможности и риски инноваций.

При основании Airbnb миссия компании заключалась в том, чтобы дать каждому, в любой точке мира ощущение сопричастности: «Мы представляем себе мир, в котором вы везде будете как дома»[85]. (Сегодня слоган звучит схожим образом: «Создавайте мир, где любой человек будет дома где угодно».) Чувство сопричастности – вдохновляющая цель, однако основатели упустили из виду следующие вопросы: когда и при каких обстоятельствах наша технология могла бы допустить или даже усилить дискриминацию по расовому признаку или на основании других характеристик? В каких случаях гости, которых по закону принимают в любых отелях и гостиницах, могут почувствовать себя нежеланными, снимая жилье через Airbnb? Когда с ними будут обращаться словно с чужими?