Ложь, наглая ложь и статистика. Приемы, которые помогут видеть правду за цифрами

К счастью, беременности редко обрываются на 22 или 23 неделе. Но, произведя ряд нехитрых расчетов, Люси Смит обнаружила, что разница в том, как такие случаи описывались в статистических подсчетах, и являлась причиной разрыва смертности между двумя регионами. Значит, у новорожденного в Лондоне вовсе не было больше шансов выжить. Разница была не между событиями, а между тем, как эти события фиксировались.

Та же разница в терминологии влияет на сравнение статистики целых стран. В США невероятно высокая для такой обеспеченной страны смертность младенцев: в 2010 это была 6,1 смерть на тысячу живорождений. В то же время в Финляндии эта доля составляет всего лишь 2,3. Оказывается, что американские врачи, как и их коллеги в центральных графствах Англии, намного чаще регистрируют беременность, оборвавшуюся на 22 неделе, не как выкидыш, а как живое рождение, за которым последовала ранняя смерть. Причина может быть связана с культурой, законами или финансами. Это неважно: важно, что высокая смертность младенцев в США объясняется тем фактом, что рождения до 24 недели там регистрируют как рождение живого ребенка, а в других странах – как выкидыши (что не является, впрочем, единственной причиной различий в статистике). Если посмотреть на информацию о рожденных после 24 недели, то статистика по США падает с 6,1 до 4,2 смертей на 1000 живых рождений. В Финляндии же изменение незначительно: с 2,3 до 2,12.

Та же проблема возникает, если сравнивать данные по разным периодам в одной и той же стране. Когда в 2015 и 2016 году в Англии и Уэльсе выросла смертность младенцев, хотя до этого она стабильно снижалась, журналисты стали бить тревогу – что неудивительно. «Медики сообщают, что причинами могут быть ожирение, бедность, курение и недостаток акушерок», – писала газета «The Guardian».

Такая вероятность есть. Но группа врачей в письме «Британскому медицинскому журналу» отметила, что в официальной статистике также отмечается резкий рост живых рождений на 22 неделе беременности и даже раньше4. Похоже, что все больше врачей следовали примеру центральных графств и вместо «поздних выкидышей» регистрировали живое рождение, за которым последовала преждевременная смерть. И этого было достаточно, чтобы объяснить рост статистики младенческой смертности.

Из этого можно сделать важный вывод.

Зачастую в поисках объяснения на самом деле ищут виновных.

Если младенческая смертность растет, может, причина в том, что политики выделяют слишком мало средств на здравоохранение? А может, матери курят или набирают лишний вес? В Лондоне младенческая смертность ниже, чем в центральных графствах, – что же больницы центральных графств делают не так?

На самом деле виновных, может быть, и вовсе не было.

Пытаясь понять утверждение, завязанное на статистике, – неважно, какое именно, – начать следует с того, чтобы спросить себя, что же на самом деле это утверждение означает.

На первый взгляд измерение младенческой смертности – занятие печальное, но простое: подсчитать, сколько младенцев умерли. Но поразмыслите немного, и вы поймете, что понять, плод перед нами или младенец, вовсе не просто. Именно этот сложный этический вопрос является причиной одного из самых болезненных споров в политике США. Но статистика должна же где-то провести границу. Если мы хотим понять, что же происходит на самом деле, нужно понять, где именно находится эта граница.

Похожие вещи происходили и в пандемию. Сегодня, 9 апреля 2020 года, новостные источники сообщают, что за последние 24 часа на основной территории Великобритании от ковида умерли 887 человек – однако мне известно, что это число неверно. Согласно информации от Шейлы Бирд, шотландской специалистки по статистике и исследовательницы данных, в реальности это что-то около 1500 человек5. Откуда такая разница? Отчасти потому, что кто-то умер у себя дома, а статистика сообщает только о тех, кто умер в больницах. Но основная причина в том, что переполненные больницы публикуют данные с задержкой в несколько дней. Те смерти, о которых сообщили сегодня, в четверг, случились, скорее всего, в воскресенье или понедельник. А так как количество смертей растет по экспоненте, информация трехдневной давности не дает нам представления о том, что сейчас дела обстоят куда хуже.

Статистика как дисциплина основана на измерениях и подсчетах. Майкл Бластлэнд, один из создателей программы «Более-менее», говорит так: представьте себе двух овец в поле. Сколько в поле овец? Ясное дело, две. Только вот одна овца – не овца, а ягненок. А другая на позднем сроке беременности – точнее, у нее сейчас схватки, и она вот-вот родит. Сколько, значит, овец? Одна? Две? Две с половиной? Вот как, оказывается, сложно считать до трех. Говорим ли мы о том, сколько в больнице медсестер (как насчет тех, кто работает неполный день – их считать за одну или за двух?) или о богатстве сверхбогатых людей (считаем ли мы то, что они указали в налоговой декларации, или пытаемся прибавить к этому капитал, который они прячут?), важно понимать, что именно и как мы измеряем и считаем.

Удивительно, как редко это происходит. После многолетних попыток вывести людей из статистических лабиринтов я понял, что большинство проблем, с которыми я столкнулся, объяснялись тем, что люди с самого начала повернули не в ту сторону. Они углублялись в дебри статистической математики, спрашивая об ошибках выборки, пределе погрешности, спорили, растет ли число или падает, принимали на веру, сомневались, разбирали на части и анализировали – и ни на минуту не задавались самым очевидным вопросом: а что именно мы измеряем и подсчитываем? Какое определение для этого используем?

Несмотря на то что в эту ловушку попадают очень многие, названия ей так и не придумали. Я предлагаю назвать ее «преждевременным подсчетом».

Мы с женой часто об этом говорим. У нас на холодильнике стоит радио, и за завтраком мы то и дело слышим какие-то статистические утверждения, от громких политических заявлений до неожиданных результатов исследований. К примеру: «Согласно новейшему исследованию, дети, которые играют в компьютерные игры, где много насилия, с большей вероятностью будут проявлять насилие в реальной жизни». Хоть моей жене и известно, что я не все на свете знаю, она все же не может до конца избавиться от представления, что у меня в голове гигантский справочник со всей когда-либо собранной человечеством статистикой. Она спрашивает меня: «Это правда так?» Изредка случается, что я недавно занимался этой темой и знаю ответ, но гораздо чаще бывает, что я могу ответить только: «Зависит от того, что под этим подразумевается…»

Не подумайте, что я исповедую какой-то радикальный философский скептицизм или просто хочу позлить жену. Я просто отмечаю, что не вполне понимаю, что именно стоит за этим утверждением, так что не могу (пока что) знать, правда это или нет. К примеру: что значит «игры, где много насилия»? Как насчет Пакмана? Пакман проявляет неслыханную жестокость, а именно живьем глотает других существ. Или возьмем «Space Invaders». Там можно только стрелять или стараться, чтобы тебя не подстрелили. Но, возможно, исследователи имели в виду что-то другое. Пока я не узнаю, что же они имели в виду, я мало что могу сказать.

Или, например, что значит «играют»? Может быть, детям[14] раздали анкеты, чтобы узнать, кто из них часами играет в игры, где много насилия. А может быть, они набрали волонтеров и дали им 20 минут поиграть в компьютерную игру в лаборатории, а потом каким-то способом измерили, стали ли они чаще «проявлять насилие в реальности» (опять же, что под этим имеется в виду?).

– Многие из этих исследований не измеряют насилие, – говорит Ребекка Голдин, специалистка по математике и директор STATS, проекта по статистической грамотности6. – Они измеряют что-нибудь другое, к примеру, агрессивное поведение». – А агрессивное поведение, в свою очередь, сложно измерить, так как сложно определить, что это такое. Авторы одного известного исследования компьютерных игр для того, чтобы измерить агрессивное поведение, предлагали испытуемому добавить в чужой напиток острого соуса (честное слово, я не выдумываю). Эта «парадигма острого соуса» была названа «непосредственной и недвусмысленной» оценкой агрессии. Социальная психология – не моя специализация, так что, может быть, в этом и есть какой-то смысл. Может быть. Но очевидно, что, как и в случае с младенцами, овцами и медсестрами, такие вроде бы очевидные слова, как «насилие» и «игра», предоставляют широкий простор для интерпретации.

Так же скрупулезно, как мы анализируем утверждения о фактах, нужно анализировать и политические программы. Все мы знаем, что политики намеренно говорят обтекаемо. Часто они восхваляют «справедливость», «прогресс» и «возможности», или – это меня совсем уж выводит из себя – говорят, что «предлагают эту программу, так как это единственное правильное решение». Но даже программы, которые, казалось бы, вполне конкретны, могут оказаться пустым звуком, если мы не поймем, что стоит за этим словами. Хотите выделять школам больше денег? Замечательно! Но что именно это значит: выделять больше денег на каждого ученика, или увеличивать сумму с учетом инфляции, или еще что-то?

К примеру: в 2017 в Соединенном Королевстве группа «Уходим так уходим», лоббирующая Брексит, опубликовала программный документ, призывающий к «пятилетней заморозке неквалифицированной иммиграции»8. Хорошая ли это мысль? Сложно ответить, пока мы не поймем, что именно имеется в виду. Вы, наверное, уже догадались, что следует спросить: «Что вы подразумеваете под «неквалифицированной»?

При дальнейшем рассмотрении обнаруживается, что вы неквалифицированы, если у вас нет приглашения на работу с зарплатой как минимум 35 000 фунтов, то есть за бортом остаются большинство медсестер, учителей начальной школы, техников, помощников адвоката и аптекарей. Задумка может быть хорошей или не очень, но большинство людей удивятся, узнав, что эта приостановка «неквалифицированной иммиграции» предполагает исключение учителей и медсестер реанимации9. И это была не просто какая-то бумажка: в феврале 2020 правительство Соединенного королевства объявило о новых иммиграционных ограничениях. Необходимая зарплата упала до 25 600 фунтов, но терминология «квалифицированных» и «неквалифицированных» осталась прежней.

«Преждевременный подсчет» – западня, в которую может попасться каждый: и знатоки математики, и те, кто падает духом при словах «десятичная дробь».

На самом деле, если вы умеете обращаться с числами, вы с большей долей вероятности приметесь за получение продольных и поперечных срезов данных, корреляцию и регрессию, нормализацию и перерасчеты, без труда орудуя числами в электронной таблице или пакете статистических данных, – не осознавая, что вы толком и не понимаете, что стоит за всеми этими абстракциями. Есть теория, что именно этот соблазн вызвал последний финансовый кризис. Математические модели риска стали такими изощренными, что все и думать забыли, как именно эти риски измеряются и стоит ли полагаться на них, когда на кону вся банковская система мира.

Работая на «Более-менее», эту проблему я замечал повсюду. Если приглашенные эксперты пользовались тем или иным определением на протяжении многих лет, они могли забыть, что обыкновенный слушатель, услышав то же слово, представляет себе нечто совсем иное. «Проклятье знания» (термин психолога Стивена Пинкера) – заклятый враг удачного обмена информацией. Когда вы в чем-то хорошо разбираетесь, вам невероятно трудно поставить себя на место человека, который ничего в этом не смыслит. Мы с коллегами тоже от этого пострадали. Приступая к разбору очередной запутанной статистической истории, мы всегда начинали с того, что уточняли определения. Очень быстро эти определения начинали казаться самими собой разумеющимися, и нужно было напоминать себе, что для зрителей это не так.

Дарелл Хафф не преминул бы заметить, что один из самых простых способов «лгать при помощи статистики» – это использовать определения, которые вводят в заблуждение. Но часто в заблуждение нас вводит не кто иной, как мы сами.

Вот, например, число 39 773. Это число смертей от огнестрельного оружия в США в 2017 году (это самая актуальная информация от Национального совета по технике безопасности). Это число (или близкое к нему) всплывает всякий раз, когда в новостях пишут о массовой стрельбе, – хотя большая часть этих смертей совершенно никак не связана с этими ужасными событиями[15]. (Разумеется, не всякая массовая стрельба попадает в газеты. Если использовать стандартное определение, согласно которому в ходе одного инцидента погибает или получает повреждения четверо человек, то в США почти каждый день происходит «массовая стрельба», и большинство таких случаев газеты не считают достойными упоминания.)

«Смерть от огнестрельного оружия» – термин вроде бы несложный: вот огнестрельное оружие, а вот смерть, что тут непонятного.

Но точно так же звучит и «овца», так что давайте остановимся и поразмыслим. Даже «2017 год» – понятие не такое простое, как можно подумать. К примеру, в 2016 году в Соединенном королевстве резко выросло число убийств. Произошло это потому, что наконец-то завершилось расследование, в ходе которого было официально вынесено решение, что 96 человек, погибшие в давке на футбольном стадионе «Хиллсборо» в 1989 году, были преступно убиты. Сначала эти смерти рассматривались как следствие несчастного случая, но в 2016 они официально стали считаться убийствами. Это исключительный случай, но задержки между смертью и официальной регистрацией ее причины происходят нередко.

Но главная проблема тут – что именно мы имеем в виду под «смертью». Да, это термин однозначный. Но число «39 773» мы обычно слышим, когда на экране показана вереница машин медиков и полиции, приехавших на место ужасающей бойни. Естественно, что мы связываем это число с убийствами или даже с массовыми убийствами. На самом деле около 60 % смертей от огнестрельного оружия в США – самоубийства, а не убийства и не несчастные случаи (последние случаются редко). Не то чтобы кто-то пытался заставить нас поверить, что убийства с использованием огнестрельного оружия происходят в 2,5 раза чаще, чем на самом деле. Это просто допущение, вполне понятное, если взять во внимание контекст, в котором это число появляется.

Хорошо, мы поняли свою ошибку, а теперь что? Можно использовать ее как довод в защиту той или иной политической группы. Защитники прав на огнестрельное оружие скажут, что это доказывает, насколько раздут страх массовой стрельбы. Те, кто ратует за жесткий контроль над оружием, возразит, что это подрывает популярный в среде их противника аргумент, то есть что люди должны иметь возможность защищаться, если на них нападут с оружием. Если вероятность того, что оружие люди используют против самих себя, выше, чем вероятность, что на них нападут, аргумент защитников оружия теряет силу.

Как прилежные исследователи статистики, не будем торопиться с выводом, кто прав, а кто ошибается. Сначала нужно добиться ясности, а уже потом, когда мы поймем факты, можно будет решить, на чьей мы стороне.

Следует также иметь в виду, что за каждой из этих 39 773 смертей от огнестрельного оружия стоит человек и его трагическая история.

Маловероятно, что Сталин действительно сказал: «Смерть одного человека – трагедия, гибель миллионов – статистика», но этот афоризм все еще в ходу.

Одна из причин его популярности – то удивительное равнодушие, с которым мы относимся историям человеческих жизней, стоящих за цифрами. Преждевременный подсчет – не просто интеллектуальный провал. Если мы не спрашиваем, что на самом деле значат те или иные статистические данные, мы также проваливаем тест на сострадание.

Продолжим мрачную тему суицида, но на этот раз обратимся к Соединенному королевству. В газете «The Guardian» появился кричащий заголовок: «Каждая пятая девушка в возрасте от 17 до 19 лет занимается селф-хармом или пытается покончить с собой». Автор статьи рассуждает, что тому виной: социальные сети, стремление быть красивой, сексуальное насилие, страх не сдать экзамен, проблемы с поиском работы, переезд, сокращение средств, выделяемых на государственные услуги, или айпады11. Статья перечисляет массу виновников, но мало что сообщает нам о том, что подразумевается под селф-хармом.

Так что обратимся к самому исследованию. Его профинансировало правительство Соединенного королевства, а проведено оно было авторитетными исследовательскими организациями12. Практически сразу понимаешь, что в газетный заголовок, как это часто бывает, прокралась ошибка. Неверно утверждать, что каждая пятая девушка в возрасте от 17 до 19 лет занимается селф-хармом или пытается покончить с собой. В действительности каждая пятая из них говорит, что она это испытала – и произойти это могло давно. Но «испытала»… что именно она «испытала»? Исследование сообщает нам не больше, чем статья в «The Guardian».

На сайте Государственной службы здравоохранения перечислены различные виды селф-харма. Страдающие этим люди могут резать или обжигать себя, ударять или шлепать, употреблять ядовитые вещества или наркотики, злоупотреблять алкоголем, страдать такими расстройствами пищевого поведения, как анорексия и булимия, выдирать себе волосы или даже чересчур усердно заниматься спортом13. Это ли имели в виду девушки, которые утвердительно ответили на вопрос исследователей? Мы этого не знаем. Я спросил исследователей, что они имели в виду, задавая этот вопрос. Они ответили, что хотели «охватить весь спектр селф-харма» и поэтому не давали опрашиваемым определения селф-харма. Значит, селф-харм – это то, что под этим словом подразумевали опрашиваемые девушки14.

Оно бы и ладно. Нет ничего плохого в попытке охватить самый широкий диапазон исследуемого явления. Информация о том, что каждая пятая девушка в возрасте от 17 до 19 когда-либо занималась тем, что, по ее личному мнению, является селф-хармом, может быть небесполезна. Но если мы интерпретируем статистику, стоит иметь в виду, что никто, кроме самой этой девушки, не знает, что именно она имела в виду. Селф-харм в любом его проявлении – явление пугающее, но какие-то его виды пугают меньше, а какие-то больше. Одно дело – напиться, другое – страдать анорексией.

Если это учитывать, то невинный на первый взгляд заголовок, в котором в одну кучу свалены селф-харм и суицид, предстает как совершенно безответственный. Между избыточными занятиями спортом и самоубийством – глубокая пропасть. И хотя, согласно исследованию, селф-хармом занимается удручающе высокое число девушек, суициды, к счастью, происходят очень редко. Из каждых 100 000 девушек в возрасте от 15 до 19 лет в Соединенном королевстве суицид совершают 3,5 девушек, то есть около 70 человек во всей стране15.

(Надеюсь, что вам уже пришел в голову вопрос, что именно власти подразумевают под «суицидом». Не всегда понятно, хотел ли человек покончить с собой или нет. Бывает, что человек хотел причинить себе вред, но не умереть, но по неосторожности погиб. В Бюро национальной статистики Соединенного королевства критерием является возраст: если ребенку 15 или больше, смерть считается намеренной, а если меньше – трагической случайностью. Разумеется, это не всегда соответствует истине, и мы не всегда можем узнать, что произошло на самом деле.)

Сваливать в одну кучу селф-харм и суицид – поведение безрассудное еще и потому, что заголовок выделяет именно девушек. Исследователи действительно обнаружили, что девушки в возрасте от 17 до 19 с большей вероятностью, чем юноши от 17 до 19 лет, говорят, что имели опыт селф-харма, но риск суицида выше у юношей – в этом возрасте он в два раза выше, чем у девушек.

За всеми этими числами стоят ужасающие трагедии. Четкие определения необходимы, если мы хотим понять, что происходит, а возможно, и как улучшить ситуацию. Не для этого ли мы и собираем данные?

Остаток главы я хочу посвятить более детальному разбору одного исследования. Надеюсь, это послужит наглядной иллюстрацией того, как можно рассуждать, столкнувшись со сложным вопросом. Сначала нужно уточнить, что именно измеряется, и лишь потом заниматься анализом чисел. А примером будет тема важная. У многих есть касательно нее твердые убеждения, но лишь смутное представление о том, какие определения у связанных с ним терминов. Эта тема – неравенство. Начнем c известной фразы:

«Oxfam: Состояние 85 самых богатых людей равно состоянию беднейшей половины человечества». Это заголовок из статьи, напечатанной в январе 2014 года в «The Guardian»15. «The Independent» и многие другие медиаресурсы тоже обратили внимание на опубликованные результаты этого исследования, проведенного Oxfam, благотворительной организацией по борьбе с бедностью. Это заявление шокирует, но что именно оно нам сообщает?

Задачей Oxfam было получить общественную огласку. Им нужно было накалить обстановку. Просвещение было делом десятым. Так думаю не один я: Рикардо Фуэнтес, возглавлявший исследование, по сути, сам это признал в интервью блогу Oxfam под названием «Анатомия потрясающих фактов». Пост был написан по случаю «самого большого наплыва посетителей в истории сайта Oxfam International»17 и посвящен шумихе вокруг «потрясающего факта». Но сообщал ли этот факт какую-то информацию? И соответствовал ли он истине? Господин Фуэнтес позже говорил BBC, что в исследовании «были свои недостатки, но мы сделали все, что было в наших силах».

Я в этом не уверен. Через три года Oxfam внес поправки в этот анализ – и поправки серьезные: пресловутые 85 миллиардеров превратились в 8 миллиардеров. Что случилось? Неужели проблема неравенства ухудшилась в 10 раз? Или миллиардеры стали в 10 раз богаче? Или бедняки умудрились лишиться девяти десятых своих средств? Нет, не было никакой экономической катастрофы. Оценка Oxfam была совершенно неинформативным, сенсационным способом осмыслить неравенство.

То, как резко изменилось число в заголовке, уже говорит о том, что этот способ осмысления неравенства сообщает нам мало полезной информации. Изумление и экзальтация некоторых репортажей об исследовании – еще один знак того, что это число попросту сбивало людей с толку. И если «The Guardian» верно передала информацию от Oxfam, сообщив, что 85 человек обладали тем же состоянием, что и беднейшая половина мира, то в инфографике «The Independent» сообщалось, что 85 самых богатых людей обладают таким же состоянием, что и все остальные люди на планете, вместе взятые. (В рекламном ролике документального фильма BBC о сверхбогатых была указана та же ошибочная информация.) Это даже близко не стоит от первоначального заявления, хотя, возможно, вы не сразу поймете почему.

Если вы так и не поняли: практически все богатство на земле принадлежит не беднейшей половине населения, у которой либо совсем ничего нет, либо есть какие-то крохи, но и не самым богатым 85 (или все-таки восьми?) ультрамиллиардерам. Оно принадлежит нескольким сотням миллионов людей со средним достатком. Возможно, и вы в их числе. «The Independent» и BBC спутали «состояние беднейшей половины населения» и «состояние всех, кто не является миллиардером». Эта ошибка может показаться незначительной, но на деле мы говорим о разнице между менее чем двумя триллионами долларов и более чем 200 триллионами. Из-за того, что журналисты не подумали как следует, что именно сообщают, они допустили стократную ошибку.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

Примечания

1

В качестве акта сладкой мести Хилл позже показал, как вылечить туберкулез, в ходе того, что принято считать первым строго рандомизированным клиническим исследованием.

2

Деятельность социальной сети запрещена на территории РФ на основани осуществления экстремистской деятельности.

3

Этот афоризм популярен среди статистиков. Его часто приписывают математику Фредерику Мостеллеру.

4

В обоих случаях не исключено, что на прогнозы повлиял не денежный бонус (весьма незначительный), а эмоциональная составляющая роли. В любом случае от того, с какой стороны они смотрели на ситуацию, напрямую зависели принятые ими решения.

5

Политике, когда представителям меньшинств дают преимущества при поступлении в университет, найме и т. д. – Прим. пер.

6

В этом эксперименте, чтобы понять, насколько человек разбирается в политике, ему задавали вопрос о том, как работает правительство в США, – к примеру, сколько голосов конгрессменов нужно, чтобы президентское вето не вступило в силу?