Шум. Несовершенство человеческих суждений

Когда специалиста, выносящего суждение, произвольно отбирают из числа других таких же квалифицированных специалистов, как мы уже наблюдали в фирме по управлению активами, в системе уголовного правосудия и в страховой компании, шум становится проблемой. Системный шум – проклятие многих организаций. Фактически случайным образом будет назначен врач, который окажет вам помощь в больнице, судья, который будет слушать ваше дело, патентный эксперт, который рассмотрит вашу заявку, представитель отдела обслуживания клиентов, который ответит на вашу жалобу, и т. д. Нежелательный разброс в таких решениях может стать причиной серьезных проблем, в числе которых финансовые потери и повсеместная несправедливость.

Нежелательному разбросу часто не придают значения, полагая, что случайные ошибки взаимно уничтожаются. Разумеется, положительные и отрицательные ошибки в суждении по одному вопросу имеют тенденцию друг друга компенсировать, и мы подробно рассмотрим, как эту особенность можно использовать для снижения уровня шума. Однако в шумных системах не принимается множество решений по одному и тому же вопросу – в них принимаются шумные решения по разным вопросам. Если цена одного страхового полиса оказывается завышена, а другого – занижена, усредненное значение может казаться справедливым, но при этом страховая компания допускает две дорогостоящие ошибки. Если двух преступников, которым полагается по пять лет тюрьмы, приговаривают к трем и семи годам соответственно, справедливость в целом не торжествует. В шумных системах ошибки не компенсируют друг друга – они накапливаются.

Иллюзия согласия

В последние десятилетия шуму в профессиональных суждениях было посвящено большое количество публикаций. Будучи знакомыми с их содержанием, мы не слишком удивились результатам ревизии шума в страховой компании. Настоящим же сюрпризом для нас стала реакция руководства компании на эти данные: они не ожидали, что шума будет так много. Никто не усомнился в результатах, никто не посчитал такой уровень шума допустимым, однако проблема шума – и возникающие из-за нее огромные издержки – стала для компании новостью. Словно протечку в подвале дома, шум не пытались устранить – не потому что он всех устраивал, а потому что его попросту никто не замечал.

Как такое могло случиться? Как мнения специалистов, выполняющих одинаковые функции в компании, могли так сильно отличаться и как это могло остаться незамеченным? Почему руководители ничего не видели, ведь, как они признали, такая ситуация представляла серьезную угрозу деятельности компании и ее репутации? Стало понятно, что зачастую организации не способны распознать проблему системного шума, и такое невнимание не менее интересно, чем сам масштаб проблемы. Ревизия позволила предположить, что авторитетные специалисты и их компании-работодатели поддерживали лишь иллюзию согласия и при этом фактически изо дня в день расходились в профессиональных суждениях.

Чтобы понять, откуда возникает иллюзия согласия, представьте себя на месте андеррайтера в ничем не примечательный рабочий день. У вас больше пяти лет опыта, и вы знаете, что коллеги вас ценят, а вы уважаете и любите своих коллег. Вы не сомневаетесь в своей компетенции. Тщательно проанализировав потенциальные риски финансовой организации, вы приходите к заключению, что ставка страховой премии в 200 000 долларов будет оправданной. Задание довольно сложное, но не труднее того, с чем вам приходится иметь дело ежедневно.

Теперь вообразите, что ваши коллеги получили те же данные и оценили риск той же финансовой организации. Поверите ли вы, что по меньшей мере половина специалистов назначили ставку выше 225 000 или ниже 145 000 долларов? Мысль не из приятных. Мы подозреваем, что андеррайтеры, узнав о проведенной нами ревизии шума и согласившись с ее результатами, все же так и не смирились с мыслью, что выводы исследования относились лично к ним.

Большинство из нас почти всегда уверено, что мир именно такой, каким мы его себе представляем. Отсюда недалеко до следующего убеждения: «Другие видят мир таким, каким его вижу я». Подобные представления, называемые наивным реализмом3839, необходимы для понимания реальности, общей для всех людей, и редко ставятся под сомнение. В любой момент у нас есть единая интерпретация окружающего мира, и, как правило, мы практически не утруждаем себя мыслями о правдоподобных альтернативах. Нам достаточно одной, в нашем понимании верной интерпретации. Мы не идем по жизни, воображая иные способы восприятия действительности.

В случае профессиональных суждений вера в то, что другие видят мир теми же глазами, ежедневно подкрепляется различными способами. Так, коллеги используют общий жаргон и набор правил, которые помогают сформулировать соображения, важные для принятия решений. Нас обнадеживает, когда коллеги соглашаются, что суждения, нарушающие эти правила, абсурдны. Если время от времени у нас все же возникают разногласия с коллегами, мы интерпретируем это как ошибку с их стороны. Мы редко замечаем, что согласованные нами правила довольно расплывчаты: с их помощью можно отбросить какие-то варианты решений, но нельзя прийти к общему положительному ответу в каждом конкретном случае. Мы можем работать с коллегами в мире и согласии и при этом совершенно не замечать, что они видят мир совсем иначе.

Вот как специалист по андеррайтингу описывала нам историю своего профессионального роста в отделе: «Когда я только пришла, я советовалась со своим начальником по поводу 75 % кейсов. Спустя пару лет необходимость в этом отпала – теперь экспертом стала я сама. Со временем я принимала решения гораздо увереннее». Как это случается со многими из нас, ее уверенность росла по мере накопления опыта вынесения суждений.

Психология этого процесса хорошо изучена. Уверенность подпитывается субъективным опытом все возрастающей легкости и свободы принятия решений, отчасти из-за их сходства с решениями, уже принимавшимися в похожих обстоятельствах. По мере того как эта сотрудница страховой компании все чаще соглашалась с собственными суждениями из прошлого опыта, ее уверенность росла. Нет никаких свидетельств того, что после начального периода обучения она научилась советоваться с коллегами, уточняя степень своего с ними согласия, или хотя бы попыталась сделать так, чтобы методы ее работы не слишком отличались от методов других специалистов.

В этой страховой компании было достаточно одной ревизии шума, чтобы иллюзия согласия полностью растаяла. Почему руководство даже не догадывалось о проблеме? На этот вопрос существует несколько вероятных ответов, но во многих ситуациях важную роль играет не что иное, как неловкость, возникающая при разногласиях. Большинство организаций предпочитают единодушие и гармонию, а не раскол и конфликты. Часто компании специально разрабатывают процедуры, призванные свести к минимуму внешние проявления фактических разногласий и сгладить споры в случае их возникновения.

Профессор психологии Университета Миннесоты и ведущий исследователь по вопросам прогнозирования эффективности Нэйтан Кансел поделился с нами наглядным примером этой проблемы. Он помогал приемной комиссии университета оптимизировать процесс принятия решений. Обычно член приемной комиссии изучал заявление абитуриента, оценивал его и направлял следующему члену комиссии, который, в свою очередь, тоже давал ему оценку. По причинам, которые станут очевидными по мере чтения этой книги, Кансел предложил скрывать первую оценку, чтобы она не повлияла на последующую. Вот что ответил университет: «Раньше мы прибегали к подобной практике, но это привело к такому количеству разногласий, что мы вернулись к прежнему формату рассмотрения заявлений». Это учебное заведение – в числе множества организаций, где избегание конфликтов считают едва ли не таким же важным аспектом работы, как и принятие верных решений.

Давайте рассмотрим еще один механизм, популярный во многих компаниях, а именно «разбор полетов» после неудачных решений. Такие разборы могут быть полезным инструментом обучения, но если допущена настоящая ошибка и выбранное решение далеко отклонилось от общепринятых профессиональных норм, обсуждение будет слишком легким. Эксперты без труда придут к заключению, что решение пошло вразрез с традиционными мнениями, и даже могут назвать его редким исключением из правил. Распознать плохие суждения гораздо легче, чем хорошие. Подобное разоблачение вопиющих ошибок и маргинализация коллег, которые их совершают, никак не помогут профессионалам осознать, насколько сильно их мнения отличаются от мнений других специалистов при вынесении в целом приемлемых суждений. Как раз наоборот: легкость в достижении консенсуса по поводу плохих решений может даже укрепить иллюзию согласия; при этом настоящий урок – о повсеместности системного шума – усвоен не будет.

Хочется надеяться, что вы уже начинаете разделять наш взгляд на шум как на серьезную проблему. Его присутствие совсем не удивительно, ведь шум – следствие неформальной природы суждений. Однако, как мы увидим далее, когда организация начинает присматриваться к проблеме, обнаруживаемый уровень шума всегда становится потрясением. Вывод прост: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете.

К разговору о системном шуме в страховой компании

«Мы зависим от качества профессиональных суждений – решений андеррайтеров, оценщиков страховых убытков и так далее. На рассмотрение каждого страхового случая назначается один специалист вследствие ошибочного допущения, что решение любого другого специалиста окажется схожим».

«Уровень системного шума в пять раз выше, чем мы предполагали и чем мы можем допустить. Мы никогда бы не пришли к такому выводу без ревизии шума, позволившей развеять иллюзию согласия».

«Системный шум – серьезная проблема, приносящая убытки в сотни миллионов долларов».

«Там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете».

Глава 3

Уникальные решения

До сих пор мы обсуждали исследования решений, принимаемых многократно. Какой приговор вынести за кражу? Какую страховую ставку назначить при определенных рисках? Хотя каждый случай по-своему уникален, подобные суждения – это типовые решения. Врачи ставят диагнозы пациентам, судьи заслушивают дела об условно-досрочном освобождении, члены приемной комиссии рассматривают заявления абитуриентов, бухгалтеры готовят налоговую отчетность – все это примеры типовых решений.

Шум при вынесении типовых решений можно обнаружить при помощи ревизии шумовых помех, о которой мы говорили в предыдущей главе. Когда взаимозаменяемые специалисты принимают решения по схожим делам, охарактеризовать и измерить нежелательный разброс нетрудно. Однако создается впечатление, что гораздо сложнее – и даже, пожалуй, невозможно – применить понятие шума к категории суждений, которые мы называем уникальными решениями.

Вспомним, например, кризис, с которым мир столкнулся в 2014 году. В Западной Африке тысячи людей стали жертвами вируса Эбола. Все в мире взаимосвязано, и прогнозы показывали, что инфекция способна быстро распространиться и особенно ощутимо ударить по Европе и Северной Америке. В США зазвучали настойчивые призывы прекратить авиасообщение с пострадавшими регионами и срочно закрыть границы. Шаги в этом направлении поддерживались авторитетными и хорошо информированными лицами, а политическое давление было огромным.

Президенту США Бараку Обаме пришлось принять одно из самых непростых решений за все время работы на этом посту – с подобным он не сталкивался ни до, ни после. Он не стал закрывать границы и отправил в Западную Африку 3000 медиков и военных. Обама возглавил многонациональную коалицию стран, которые не могли похвастаться успехами на поприще совместной работы, и направил их ресурсы и опыт на решение проблемы у ее истоков.

Уникальные или типовые

Решения, принимаемые лишь единожды, как в случае с реакцией президента Обамы на вспышку вируса Эбола, уникальны. Они не принимаются периодически одним и тем же специалистом или группой экспертов, для них не существует заранее подготовленных шаблонных ответов, и у них есть характерные, присущие только им особенности. Когда разразилась эпидемия, у Обамы и его администрации не было предыдущего опыта, на который они смогли бы опереться. Значимые политические решения, судьбоносный выбор военачальников – как правило, наглядные примеры уникальных решений.

Такими же характеристиками обладают и решения, принимаемые в личной жизни: выбор профессии, покупка дома, вступление в брак. Даже если это не первая ваша работа, дом или брак, и несмотря на то, что до вас с такими же решениями сталкивалось огромное количество людей, для вас они уникальны. В бизнесе директора компаний тоже нередко вынуждены принимать уникальные для себя решения: стоит ли вводить новшества, способные изменить правила игры, сокращать ли бизнес во время пандемии, открывать ли филиал за рубежом, уступить ли под натиском государственного регулирования?

Вероятно, уникальные и типовые решения не следует относить к отдельным категориям: они, скорее, располагаются в разных частях одного спектра. Андеррайтеры вполне могут столкнуться в работе с уникальными случаями. В то же время, если вы покупаете дом уже в четвертый раз, возможно, вы начнете воспринимать решения о подобных приобретениях как типовые. И все же яркие примеры дают основание полагать, что разница значительна. Объявление войны – отнюдь не то же самое, что объявление о проведении ежегодного пересмотра бюджета.

Шум в уникальных решениях

Долгое время уникальные решения рассматривались отдельно от типовых – тех, что принимаются взаимозаменяемыми специалистами в крупных организациях. Типовые решения – предмет изучения социологов, тогда как ответственные уникальные решения остаются в ведении историков и гуру менеджмента. Подходы, применяемые к исследованию обоих типов решений, довольно сильно отличаются. Типовые решения рассматриваются в статистическом ключе: социологи оценивают большое количество похожих решений, чтобы разглядеть сходные черты, обнаружить закономерности и измерить правильность и точность. В противоположность этому подход к уникальным решениям обычно носит причинно-следственный характер: они обсуждаются в ретроспективе, и основной объект внимания – это причины произошедшего. С помощью исторического анализа, например изучения успехов или ошибок в управлении, исследователи пытаются понять, как были приняты принципиально уникальные решения.

Сама природа уникальных решений поднимает важный вопрос при изучении шума. Мы назвали шумом нежелательный разброс в суждениях, выносимых по одному и тому же вопросу. К уникальным решениям такое определение неприменимо – ведь они не повторяются. В конце концов, история вершится лишь однажды. У вас не получится сравнить принятое Обамой решение направить медиков и военных в Западную Африку в 2014 году с решениями других американских президентов, принятых по поводу других проблем, возникших в другое время (хотя вы вправе выдвигать гипотезы). Можно сравнить ваше решение связать себя узами брака с подобными решениями других подобных вам людей, но такое сравнение не будет для вас так же значимо, как сравнение размера страховых ставок, назначенных двумя андеррайтерами по одному делу. Вы и ваш избранник неповторимы. Прямого способа обнаружить шум в уникальных решениях не существует.

И все же нельзя утверждать, что уникальные решения не подвержены влиянию тех же факторов, что создают шум во время принятия типовых решений. Вспомним стрелков в тире: возможно, участники команды С (с шумными результатами) по-разному настроили прицел на винтовках, а может, у них дрожали руки. Увидев, как стреляет первый участник, мы бы не составили представления о том, насколько шумными будут результаты всей команды, однако источники шума никуда бы не делись. Аналогичным образом, принимая уникальное решение, вы должны понимать, что, даже если другой человек, размышляя над таким же решением, будет обладать схожей компетенцией и разделять ваши цели и установки, он не придет к такому же заключению на основе тех же фактов. К тому же следует понимать, что в случае каких-то незначительных изменений в ситуации или обстановке во время принятия решения ваш вывод мог бы стать совсем иным.

Другими словами, мы не можем измерить уровень шума в уникальных решениях, но, мысля контрфактуально[3], мы наверняка знаем о его присутствии. Так же как дрогнувшая рука стреляющего в тире дает основания предположить, что тот единственный выстрел мог попасть в другую точку мишени, шум при принятии решений дает основание считать, что уникальное решение могло быть совсем другим.

Задумаемся о том, какие факторы влияют на принятие уникального решения. Насколько отличались бы рекомендации президенту Обаме, если бы во время эпидемии лихорадки Эбола за анализ угрозы и подготовку мер реагирования отвечали совсем другие эксперты – с иным жизненным опытом и предысторией? Как повернулось бы обсуждение, если бы те же самые факты были представлены несколько иначе? Каким бы стало финальное решение, если бы настроение главных действующих лиц было другим, а встреча происходила во время снежной бури? С этой точки зрения уникальные решения перестают казаться такими уж предопределенными. В зависимости от множества факторов, о существовании которых мы даже и не подозреваем, решения вполне могут получиться совсем другими.

Давайте снова поупражняемся в контрфактуальном мышлении. Вспомним, как разные страны отреагировали на пандемию COVID‑19. Хотя она началась для всех примерно в одно и то же время и развивалась похожим образом, ответные меры существенно отличались от региона к региону. Такая вариативность четко свидетельствует о шуме в решениях, принимаемых разными государствами. Но что если бы эпидемия затронула только одну страну? Тогда бы мы просто не смогли заметить никакого разброса. Однако от того, что разброс незаметен, принятое решение не становится менее шумным.

Как контролировать шум в уникальных решениях

Такая теоретическая дискуссия небесполезна. Если в уникальных решениях столько же шума, сколько в типовых, тогда стратегии сокращения уровня шума в последних должны помочь улучшить и качество первых.

Эта рекомендация еще более парадоксальна, чем кажется. Когда вам предстоит принять единственное в своем роде решение, вы инстинктивно так к нему и отнесетесь: как к единственному в своем роде. Некоторые даже утверждают, что к уникальным решениям, принимаемым в условиях неопределенности, вообще неприменимы законы вероятностного мышления и что к подобным решениям нужно подходить совершенно иначе.

Наши наблюдения подсказывают, что следует действовать ровно наоборот. Руководствуясь соображениями уменьшения шума, мы должны относиться к уникальным решениям как к типовым решениям, принимаемым лишь единожды. Выносите ли вы суждение один или сотню раз, ваша цель – снизить при этом как масштаб смещения, так и уровень шума. При этом приемы, которые помогут этого добиться, должны оказаться настолько же эффективными для уникальных решений, как и для типовых.

К разговору об уникальных решениях

«Ваши решения в этой необычной ситуации рискуют подвергнуться действию шумовых помех».

«Не забывайте: уникальное решение – это типовое решение, принимаемое лишь однажды».

«Жизненный опыт, сформировавший вас как личность, не имеет отношения к вынесению данного суждения».

Часть II

Ваш разум – измерительный прибор

Чтобы что-то измерить как в повседневной жизни, так и проводя научные исследования, мы пользуемся специальными приборами, присваивая объекту или явлению некое значение по определенной шкале. Длину ковра в сантиметрах мы измерим рулеткой. Температуру в градусах по шкале Фаренгейта или Цельсия – термометром.

Нечто похожее происходит, когда мы выносим суждения. Назначая срок лишения свободы, судьи выбирают на шкале некую отметку. Так же поступают андеррайтеры, присваивая риску, который нужно застраховать, определенный эквивалент в долларах, или врачи, ставя диагноз пациенту. (Шкала необязательно должна быть числовой. «Виновен вне всяких сомнений», «меланома в поздней стадии», «рекомендовано хирургическое вмешательство» – все это тоже суждения.)

Таким образом, суждения можно охарактеризовать как измерения, инструментом для которых выступает человеческий разум. В само понятие измерения заложена идея достижения точного результата с целью приблизиться к истине и минимизировать ошибки. Мы выносим суждения не для того, чтобы произвести впечатление, отстоять точку зрения или в чем-то убедить. Важно заметить, что мы заимствовали понятие «суждение» из специальной литературы по психологии, и оно гораздо ýже, чем то, что используется в быту. «Суждение» не синоним «размышления», а «вынести точное суждение» не значит «проявить здравомыслие».

Мы определяем суждение как заключение, которое можно сформулировать при помощи одного слова или фразы. Когда аналитик разведывательной службы готовит длинный отчет c заключением, что режим в стране нестабилен, суждением здесь будет только само заключение. Термин «суждение», подобно «измерению», относится и к процессу вынесения суждения, и к его результату. Время от времени мы будем использовать слово «судить» в качестве специального термина для описания людей, выносящих суждения, даже если они не имеют никакого отношения к системе правосудия.

Хотя нашей целью и является точность, добиться ее полностью невозможно, даже проводя научные измерения, не говоря уже о вынесении суждений. Всегда будет некая погрешность в виде смещения или шума.

Чтобы убедиться, что шум и смещение вносят в суждения погрешность, попробуйте сыграть в игру, которая займет у вас не более минуты. Если ваш смартфон оснащен секундомером, наверняка там есть функция, которая позволяет отмерять последовательные временные интервалы, не останавливая секундомер и даже не глядя на экран. Ваша цель – не подсматривая в телефон, отсчитать пять последовательных интервалов ровно по 10 секунд. Перед началом эксперимента вы можете потренироваться, понаблюдав за прохождением десятисекундного интервала. Время пошло!

А теперь взгляните на экран и проверьте, сколько секунд пришлось на каждый засеченный вами отрезок времени. (Работа самого телефона тоже не лишена шума, но его уровень крайне низок.) Вы убедитесь, что время, отведенное вами на каждый интервал, вовсе не равняется десяти секундам и что между полученными значениями есть существенная разница. Вы пытались точно засечь одинаковое количество секунд, но потерпели неудачу. Разброс, неподвластный вашему контролю, – это пример шума.

Такой вывод совсем не удивителен, ведь шум – универсальное явление в физиологии и психологии. Вариативность среди индивидуумов заложена природой, и какие-то различия есть даже у близнецов. Процессы внутри одного человека тоже вариативны. Бывает, сердце сбивается с четкого ритма. Нельзя воспроизвести какой-то жест с идеальной точностью. При проверке слуха у отоларинголога одни звуки будут для вас всегда слишком тихими, а другие – всегда слышимыми. А некоторые вы будете различать лишь от случая к случаю.

Взгляните еще раз на пять значений, зафиксированных вашим секундомером. Прослеживается ли какая-нибудь закономерность? К примеру, если все временные отрезки оказались короче десяти секунд, возможно, ваши внутренние часы спешат. В этом простом задании смещение – положительная или отрицательная разница между десятью секундами и средним арифметическим отмеренных вами интервалов. Разброс же в ваших результатах – это шум, аналогичный увиденному нами разбросу попаданий по мишени. В статистике основной единицей измерения разброса40 является стандартное отклонение; его-то мы и будем использовать для оценки уровня шума в суждениях.

Мы можем уподобить большинство суждений, особенно прогнозных суждений, вашим манипуляциям с секундомером. Прогнозируя, мы стараемся приблизиться к истинному значению. Экономический прогнозист пытается как можно точнее предсказать рост ВВП в следующем году, врач преследует цель поставить верный диагноз. (Отметим, что «прогноз» в этой книге используется как специальный термин и не подразумевает предсказание будущего. В этом смысле «прогнозом» может считаться поставленный пациенту диагноз.)

Мы будем часто прибегать к аналогии между суждениями и измерениями, так как она помогает наглядно объяснить роль шума в возникновении погрешностей. Прогнозист сродни стрелку, который целится в «яблочко», или физику, который пытается измерить точный вес частицы. Шум в суждениях подразумевает погрешность. Проще говоря, если целью суждения является истина, два отличных друг от друга суждения просто не могут быть верны одновременно. Так же как у измерительных приборов, погрешность у некоторых людей при выполнении определенных задач будет выше – возможно, из-за нехватки навыков или опыта. Так же как измерительные приборы, люди никогда не выносят идеальных суждений. Наша задача – понять и измерить возникающую при этом погрешность.