Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

Вот в каком смысле наука является социальным конструктом. Всякое утверждение о нашем мире может быть названо научным знанием только после того, как оно пройдет эту общественную проработку, которая призвана отсеивать ошибки и упущения и давать возможность другим ученым судить, достойно ли новое открытие звания надежного, достоверного и важного. Благодаря тому, что каждое открытие прогоняют через такую полосу препятствий, конечные продукты научного процесса – публикуемые рецензируемые статьи – наливаются порядочной силой для общества. Мы говорим: это наука, а не просто шаблонная фраза, или болтовня, или чье-то мнение.

Социальная природа науки вместе с тем имеет и слабые места. Поскольку ученые так сильно сосредоточены на попытках убедить своих коллег, что подразумевает прохождение результатов исследования через этап рецензирования и дальнейшие шаги вплоть до публикации, им очень просто позабыть о настоящей цели науки – приближать нас к истине. А поскольку ученые еще и человеческие существа, способы, которыми они стараются убеждать друг друга, не всегда в полной мере рациональны или беспристрастны[26]. Если мы не будем особенно внимательны, научный процесс может пропитаться несовершенствами самого человека.

Эта книга посвящена тому, как мы уделяли недостаточно внимания научному процессу. Тому, как мы в итоге очутились в ситуации, когда научная система не просто не учитывает наши человеческие слабости, но еще и усиливает их. В последние годы стало донельзя очевидно, что рецензирование отнюдь не гарантирует корректности и надежности, как ему положено, а публикационный процесс, который должен быть оплотом науки, превратился в ее ахиллесову пяту.

Однако чтобы понять, как же научная публикационная система так испортилась, сначала нам нужно узнать, как ей надлежит работать в отлаженном состоянии.

Представим, что вы хотите заняться наукой. Первым делом вам придется проштудировать научную литературу. Она представляет собой обширнейшую коллекцию журналов для специалистов, изданий, которые служат главными источниками нового научного знания. Идея периодических изданий, где ученые могли бы делиться результатами своей работы, восходит к 1665 году, когда Генри Ольденбург из Королевского общества Великобритании опубликовал первый номер журнала, приведем его полное заглавие, Philosophical Transactions: Giving Some Account of the Present Undertakings, Studies, and Labours of the Ingenious in Many Considerable Parts of the World (“Философские труды, дающие некоторый отчет о нынешних начинаниях, исследованиях и трудах гениальных людей во многих значительных частях мира”)[27]. Идея состояла в том, чтобы эти гениальные ученые могли присылать письма с описанием своих деяний для ознакомления заинтересованных читателей. До того ученые либо трудились в одиночку в угоду богатым правителям или частным покровителям и организациям (и их научные изыскания часто воспринимались скорее как некие салонные фокусы, чем как попытка найти истину) и издавали отдельные книги, либо формировали кружки единомышленников, которые обменивались письмами. Из такого вот клуба по переписке и выросли организации вроде Королевского общества[28].

Первые номера журнала Ольденбурга больше напоминали своеобразный вестник, где описывались недавние эксперименты и открытия. Скажем, в первом выпуске первого тома натурфилософ и энциклопедист Роберт Гук рассказал о самом первом наблюдении предположительно Большого красного пятна на Юпитере. Заметка вся целиком была такой:

Гениальный мистер Гук несколькими месяцами ранее поставил своего друга в известность о том, что несколько дней назад, как он сказал (а именно 9 мая 1664 года, около девяти часов вечера), он наблюдал в великолепный двенадцатифутовый телескоп маленькое пятно на наибольшем из трех более темных поясов Юпитера и что, время от времени поглядывая на него, обнаружил, что за два часа оно переместилось с востока на запад примерно на половину диаметра Юпитера[29].

Журнал существует и по сей день, только под несколько более удобоваримым названием Philosophical Transactions of the Royal Society (“Философские труды Королевского общества”)[30]. Время шло, и на смену коротким новостным заметкам пришли статьи подлиннее, содержащие подробные описания экспериментов и исследований. Сейчас это издание входит в глобальную экосистему из более чем тридцати тысяч журналов, от самых общих (как высокопрестижные Nature и Science, которые публикуют результаты самых значительных исследований со всего мира, относящихся к любой научной области) до узкоспециальных (вроде American Journal of Potato Research, интересующегося статьями исключительно на картофельную тему)[31]. Некоторые журналы издаются научными обществами, как – до сих пор – Philosophical Transactions, но большинство принадлежат коммерческим компаниям, таким как Elsevier, Wiley и Springer Nature[32]. Благодаря недавнему прогрессу все научные журналы были переведены в электронный вид, так что любой человек, который может заплатить взносы, взимаемые издателем с подписчиков, либо препоручить это библиотеке своего университета, овладевает мировым научным знанием, находящимся теперь всегда у него под рукой[33].

После прочтения журналов, относящихся к вашей области интересов, вы можете определиться с предметом исследования. Например, есть научная теория, в рамках которой делается некое предсказание – формулируется гипотеза, а вы можете каким-нибудь хитрым способом ее проверить. Или вы знаете, что в имеющихся у ученых знаниях есть пробел, а вы понимаете, как его заполнить. Или в порыве вдохновения вы придумали эксперимент, который позволит открыть нечто совершенно новое. Правда, прежде чем приняться за воплощение своей идеи, обычно требуется раздобыть денег на финансирование исследования: чтобы, к примеру, купить оборудование или материалы, привлечь участников или оплатить труд ученых, нанятых для сбора данных. Если вы, скажем, не фармацевтическая компания, которая может позволить себе держать собственные лаборатории, основной способ получить жизненно важное финансирование – это подать заявку на грант. Гранты предоставляются правительством страны, бизнес-компаниями, дотационными фондами, некоммерческими организациями, благотворительными фондами или даже просто состоятельными физическими лицами. Вы можете подать заявку в Национальные институты здравоохранения (NIH) или в Национальный научный фонд (это организации в США, финансируемые из государственного бюджета) либо в благотворительный фонд, поддерживающий науку, например Wellcome Trust или Фонд Билла и Мелинды Гейтс[34].

Финансирование отнюдь не гарантировано, и любой ученый подтвердит, что один из самых выматывающих аспектов научной работы – это поиск источников финансирования для своих новых исследований, а вероятность получить отказ жестоко высока. Вечные попытки найти деньги оказывают важное косвенное влияние на саму науку, и мы еще к этому вернемся. Однако сейчас давайте представим, что вам повезло получить грант. Тогда вы приступаете к работе. На этапе сбора данных может потребоваться сталкивать между собой частицы в подземном коллайдере, искать окаменелые остатки в арктической зоне Канады, воссоздавать в чашке Петри точные условия для роста бактерий, организовывать посещение лаборатории и заполнение опросников для сотен людей, прогонять сложную математическую модель на компьютере. Этот этап может занять дни, месяцы, десятилетия.

Когда данные уже получены, вы, как это обычно бывает, располагаете набором чисел, который можете – сами или с помощью более подкованного в математике коллеги – проанализировать различными статистическими методами (это еще одно опасное место, куда мы позже вернемся). Затем вы должны все это описать в форме научной статьи. Типичная статья начинается с раздела “Введение”, где вы кратко излагаете, что уже известно по этой теме и что добавляет ваше исследование. Далее следует раздел “Методы”, где вы описываете, что конкретно делалось в ходе исследования, причем настолько подробно, чтобы любой человек мог – теоретически – снова провести точно такой же эксперимент. Потом вы переходите к разделу “Результаты”, где в подтверждение своих открытий демонстрируете числа, таблицы, графики и статистический анализ. А венчает статью раздел “Обсуждение”, где вы свободно строите спекулятивные теории – то есть вдумчиво и на основе фактов рассуждаете – о том, что все это значит. Статью вы предваряете разделом “Аннотация” – кратким, обычно около ста пятидесяти слов, описанием исследования и его результатов. Аннотация всегда доступна для прочтения кем угодно, даже если доступ к самой статье ограничен подпиской на журнал, поэтому имеет смысл подходить к написанию аннотации со всем тщанием, чтобы полученные вами результаты звучали убедительно. Научные статьи бывают самой разной длины и объема, и иногда описанная очередность разделов нарушается, но в целом ваша статья будет выстроена по этому принципу[35].

Когда статья написана, вы вступаете в мир научных журналов и борьбы за публикацию. Еще недавно для того, чтобы подать статью в журнал, нужно было напечатать несколько экземпляров и отправить по почте редактору, но теперь все осуществляется через интернет (хотя у многих журналов до сих пор столь допотопные и ненадежные веб-страницы, что вы с таким же успехом могли бы отправить им статью с почтовым голубем). Редактор журнала – зачастую это солидный ученый – прочитает вашу статью (или, что не исключено, будем уж честны, только аннотацию) и решит, достойна ли она того, чтобы ее опубликовать. Бо́льшая часть журналов, особенно самые престижные, кичатся своей исключительностью, а следовательно, и высоким порогом попадания к ним на страницы (Science, например, принимает менее 7 % статей, поданных на рассмотрение), так что большинство статей на этой стадии будет отклонено без направления на рецензирование[36]. Это первый этап контроля качества: редактор отделяет статьи, соответствующие темам журнала и перспективные с точки зрения их научного значения и качества, от тех, которые не стоят дальнейшего рассмотрения. Для доли статей, что приглянулись редактору, наступает этап рецензирования. Редактор находит двух-трех ученых, являющихся экспертами в вашей области исследования, и спрашивает, не согласятся ли они оценить вашу статью. Они могут отказаться, сославшись на занятость, так что редактор продолжит идти по списку потенциальных рецензентов до тех пор, пока несколько из них не дадут согласие. И вот тут наступает этап нервного ожидания: одобрят ли они вашу работу.

Большинство людей, включая ученых, полагают, что рецензирование всегда было ключевым моментом для научной публикации, однако его история сложнее. Хотя в XVII веке Королевское общество стремилось спрашивать кого-то из своих членов, считают ли они некую статью достаточно интересной для публикации в Philosophical Transactions, по крайней мере до 1831 года не требовалось давать письменную оценку каждой работе[37]. И даже тогда формальная система рецензирования, какой мы ее знаем сегодня, не была универсальной, она стала таковой лишь в XX веке, да и то далеко не сразу (как можно понять из письма Альберта Эйнштейна, которое он послал в 1936 году редакторам журнала Physical Review, раздраженно заявляя, что снимает свою статью с рассмотрения в их журнале, поскольку они посмели отправить ее другому физику для оценки)[38]. Только в 1970-х годах уже все журналы начали применять современную практику отправки поданных на рассмотрение статей независимым экспертам на рецензирование, присвоив им роль фильтра, какую они и играют сегодня[39].

Обычно рецензенты выполняют свою работу анонимно, что одновременно и благословение, и проклятие. Благословение – потому что анонимность позволяет им без обиняков высказывать свою точку зрения, не волнуясь насчет ответной реакции ученых, чью работу они критикуют (зеленый научный сотрудник может действительно откровенно высказаться о недостатках работы именитого профессора), а проклятие – поскольку анонимность, что уж тут, позволяет им без обиняков высказывать свою точку зрения, не волнуясь насчет ответной реакции ученых, чью работу они критикуют. Вот несколько выдержек из настоящих рецензий:

• Некоторые статьи читать одно удовольствие. Эта явно не из таких.

• Результаты слабые, какая-то размазня.

• Боюсь, эта статья послужит не столько прогрессу в данной области, сколько ее окончательному упадку.

• В рукописи делается три утверждения: первое известно уже годы, второе – десятки лет, третье – столетия.

• Когда вы писали это предложение, у вас не случилось припадка? Я вот бился в конвульсиях, пока читал его[40].

Если оценки рецензентов выглядят подобным образом, редактор, вероятно, отклонит вашу статью. Тогда вам захочется либо отступиться, либо начать весь процесс заново, подав статью на рассмотрение в другой журнал, а если и туда не примут, еще в один, а если снова не примут, в следующий и так далее – нередко статьи проходят через полдюжины или больше журналов, обычно со все более низким рейтингом, прежде чем их примут к публикации. Если же рецензенты впечатлятся больше, вы получите шанс доработать свою статью, учтя их замечания, например заново проанализировав данные, проведя дополнительные эксперименты или переписав какие-то разделы, и снова отправить ее редактору. Такая пересылка статьи туда-сюда в ходе ее доработки может иметь несколько итераций и часто длится месяцами. В конце концов, если рецензенты оказываются удовлетворены, редактор дает добро – и статья публикуется. Если журнал до сих пор выходит и в бумажной форме, вам доведется увидеть свою драгоценную статью в напечатанном виде, а иначе придется довольствоваться тем, чтобы с трепетом ждать ее появления на официальном сайте журнала. Вот и все. Вы оставили свой след в научной литературе, и у вас теперь есть публикация, которую вы можете добавить в свое резюме и на которую другие ученые могут ссылаться. Поздравляю, до конца дня можете отдыхать.

Описание всего процесса, данное мной выше, разумеется, слишком краткое и общее, но по существу такой процесс в той или иной форме присущ каждой научной области. Мы должны спросить себя: после того, как статья вышла из-под катка рецензирования, в окончательном своем виде она все еще дает правдивое представление о том, что делалось в исследовании? Мы вернемся к этому вопросу позже. А пока нужно обсудить кое-что другое. Где гарантии, что участники описанного процесса – исследователь, подающий статью на рассмотрение, редактор журнала, рецензенты, оценивающие работу, – все проявляют честность и беспристрастность, каких требует истинная наука? Нет такого закона, который требовал бы, чтобы все руководствовались объективностью и рациональностью, когда имеют дело с наукой, поэтому требуется коллективный моральный устав, свод правил, направляющих поведение ученых[41]. Самая известная попытка записать эти неписаные правила была предпринята социологом Робертом Мертоном.

В 1942 году Мертон выдвинул четыре научных ценности, сегодня известных как “мертоновские нормы”. Называются они не слишком оригинально, зато служат правильными ориентирами для ученых. Первая – универсализм. Научное знание есть научное знание независимо от того, кто его формулирует, – при условии, что методы обретения этого знания надежны. Раса, пол, возраст, гендер, сексуальная ориентация, уровень доходов, социальное происхождение, национальность, известность или любая другая характеристика ученого не должна отражаться на том, как оцениваются его фактологические утверждения. Еще нельзя судить о чьем-либо исследовании на основании того, приятен или неприятен этот человек (к облегчению некоторых из моих менее приветливых коллег). Вторая похожая норма – бескорыстность. Ученые не должны заниматься наукой из-за денег, по политическим или идеологическим причинам, ради славы (или репутации своего университета, страны и чего-либо еще) или чтобы потешить свое самолюбие. Они должны заниматься наукой во имя лучшего понимания вселенной, делая открытия и созидая, – и точка[42]. Как написал однажды Чарльз Дарвин, у ученого “не должно быть ни желаний, ни привязанностей – лишь каменное сердце”[43].

Оставшиеся две нормы напоминают нам о социальной природе науки. Третья – коллективизм. Она предписывает ученым делиться знаниями друг с другом[44]. Этот принцип лежит в основе самой идеи публикации ваших результатов в журнале, с тем чтобы о них узнали другие, – мы занимаемся наукой сообща, мы должны знать детали работы других ученых, чтобы иметь возможность проанализировать и развить ее[45]. И наконец, последняя норма: организованный скептицизм. Ничто не свято, и научное утверждение никогда не должно приниматься на веру. Нам следует воздерживаться от вынесения оценки любому открытию, пока мы тщательнейшим образом не проверили все данные и методы исследования. Самое очевидное воплощение нормы организованного скептицизма – рецензирование как таковое.

В теории все выглядит неплохо: придерживаясь четырех мертоновских норм, мы должны прийти к научной литературе, которой можно доверять, – к плечам гигантов, стоя на которых, по знаменитому выражению Ньютона, мы видим дальше. Разумеется, эти гиганты часто ошибались, взять хотя бы два примера Джона Стюарта Милля, процитированных выше: когда-то мы верили, что Солнце обращается вокруг Земли и что горючие вещества наполнены особой субстанцией – флогистоном, – высвобождающейся при их горении[46]. Но в итоге мы отбросили эти теории, когда получили новые данные. И действительно, для ученого готовность изменить свое мнение – это достоинство. Биолог Ричард Докинз описал случай, которому стал свидетелем лично, это произошло с “уважаемым престарелым мужем” с факультета зоологии Оксфордского университета[47].

Многие годы он страстно верил и учил студентов, что аппарат Гольджи (микроскопическая внутриклеточная структура) на самом деле не существует, что это – погрешность наблюдения, иллюзия. Каждый понедельник после обеда на факультете было заведено слушать научный доклад какого-нибудь заезжего лектора. В один из понедельников лектором оказался американский специалист по биологии клетки, представивший неотразимо убедительные свидетельства реальности аппарата Гольджи. В конце его выступления старик пробрался к подиуму и, пожимая американцу руку, с чувством провозгласил: “Дорогой коллега, позвольте выразить вам мою благодарность. Все эти пятнадцать лет я заблуждался”. Мы тогда аплодировали до боли в ладонях. <…> Не каждый ученый в реальной жизни [смог бы произнести такое]. Но для всех ученых подобные поступки являются эталоном – в отличие, скажем, от политиков, которые могли бы счесть старика беспринципным. У меня до сих пор комок к горлу подступает при воспоминании о том вечере[48].

Вот что имеется в виду, когда говорят, что наука – это процесс “самокорректирующийся”. В конце концов, даже если это занимает много лет или десятилетий, старые неверные идеи ниспровергаются благодаря новым данным (а иногда, по довольно мрачному выражению физика Макса Планка, благодаря тому, что непреклонные поборники этих старых идей вымирают, оставляя науку следующему поколению[49]). И опять: так дело обстоит в теории. На практике же публикационная система, описанная выше, опирается на мертоновские нормы неуклюже, во многом препятствуя процессу самокорректировки. Характерные особенности этого противоречия – между конкуренцией за гранты и шумихой вокруг престижных публикаций с одной стороны и открытой, бесстрастной, скептической оценкой науки с другой – будут становиться все очевиднее в последующих главах.

А пока отметьте, что именно заставило престарелого мужа из рассказа Докинза изменить свое мнение – “неотразимо убедительные свидетельства”. Едва ли имеет смысл пытаться скорректировать или уточнить наши научные теории в соответствии с новыми данными, если сами данные неубедительны, а еще хуже – если они вообще неверны. Это возвращает нас к идее, которую мы обсуждали в предисловии: чтобы результаты заслуживали нашего доверия, они должны быть воспроизводимы. Вот как это сформулировал философ науки сэр Карл Поппер[50]:

Только тогда, когда некоторые события повторяются в соответствии с некоторыми правилами и регулярностями (как в случае воспроизводимых экспериментов), наши наблюдения в принципе могут быть проверены каждым человеком. Даже наши собственные наблюдения мы не принимаем всерьез и не приписываем им статус научных наблюдений до тех пор, пока не повторим и тем самым не проверим их. Только в результате подобных повторений мы можем убедить себя в том, что имеем дело не с простым “совпадением”…[51]

Эта идея не то чтобы революционна – или была нова для Поппера, написавшего эти слова в 1950-х годах. Вернувшись в XVII век, когда журнал Philosophical Transactions только зародился, мы обнаружим, что сооснователь Королевского общества, химик Роберт Бойль, делал все возможное и невозможное, чтобы убедиться в воспроизводимости своих результатов. Он многократно демонстрировал эксперименты по установлению различных свойств воздуха и вакуума с использованием своего знаменитого воздушного насоса перед толпами зевак, а после заставлял их подписывать свидетельские показания о том, что они действительно наблюдали демонстрировавшийся процесс[52]. Он следил, чтобы его труды были написаны достаточно обстоятельно, дабы “человек, коему я их адресовал, сумел без ошибок и особых помех повторить столь необычные эксперименты”[53]. И хотя соорудить сложный аппарат было весьма непросто, он призывал других натурфилософов повторить его эксперименты с воздушным насосом в других частях Англии и Европы и оказывал им в том содействие[54].

Таким образом, воспроизведение экспериментов долгое время было ключевым ингредиентом рецепта, по которому должна была работать наука (и кстати, это еще один ее социальный аспект: результаты воспринимаются всерьез только после того, как окажутся подтверждены несколькими исследователями). Но с тех пор, где-то между Бойлем и современным академическим сообществом, громадное число ученых позабыли о важности повторений. В столкновении наших мертоновских идеалов с реалиями научной публикационной системы – не говоря уже о реалиях человеческой природы – идеалы оказались более хрупкими, оставив нас с научной литературой, полной ненадежных, недостоверных и невоспроизводимых результатов, которые зачастую больше путают, чем обогащают новым знанием.

В следующей главе мы узнаем, насколько научная литература запружена ненадежными, недостоверными и невоспроизводимыми результатами.

Глава 2. Кризис воспроизводимости

Взовьется на дыбы желанье власти

И валится, споткнувшись, в тот же миг[55].

Уильям Шекспир “Макбет”, акт 1, сцена 7

“Опубликовано” и “достоверно” – не синонимы.

Райан Носек, Джеффри Спайс и Мэтт Мотел[56]

Несомненно, самая популярная книга по психологии за минувшее десятилетие – это “Думай медленно… решай быстро” Даниэля Канемана. Не так много существует руководств по человеческому разуму, превосходящих канемановское. Он получил Нобелевскую премию по экономике 2002 года за свои исследования человеческой (ир)рациональности и опубликовал результаты десятков искусных экспериментов, демонстрирующих ограничения нашей способности мыслить. Книга “Думай медленно… решай быстро” стала сенсацией, суммарные продажи исчислялись миллионами экземпляров, и она до сих пор недурно расходится. И на то есть причины: это живо и доступно написанный путеводитель по всем ошибкам и искажениям человеческого мышления[57]. Помимо многих других тем Канеман осветил работы по “праймингу”, как называют это явление психологи. Некоторые примеры прайминга (эффекта предшествования) имеют отношение к языку. Например, установлено, что если я показываю вам на экране компьютера набор слов по одному и прошу нажимать на клавишу всякий раз, как появляется слово “ложка”, то вы будете реагировать чуточку быстрее, если перед тем высвечивалось слово “вилка” (или какой-то еще из столовых приборов), чем когда предшествующим словом было “дерево” (или что-то еще не относящееся к принадлежностям для приема пищи). Восприятие слова “вилка” психологически “настраивает” вас быстрее реагировать на близкое по смыслу слово[58].

Канеман, однако, описал нечто более неожиданное. Он осветил результаты исследования по социальной психологии, демонстрирующие, что формирование установок, связанных с определенными понятиями, – обычно неосознанное – может ощутимо влиять на наше поведение. Один пример известен как “эффект леди Макбет”. В 2006 году в журнале Science вышла статья о том, что, когда исследователи просили участников эксперимента переписать текст об аморальных поступках, те потом с большей вероятностью хотели купить мыло, а просьба вспомнить что-то неприглядное из собственных деяний заставляла их чаще брать при выходе из лаборатории дезинфицирующую салфетку (“Проклятое пятно!”). Здесь воздействие оказывалось без словесных установок: получалось, что мозг работает куда более связно и целостно, чем мы полагали, что между понятиями и концепциями, вроде бы связанными очень условно, образуются прочные сшивки. В данном случае это казалось свидетельством некоего глубинного наложения понятий морали и чистоты. Авторы статьи утверждали, что эти результаты могут даже объяснить, почему омовение рук является частью столь многих религиозных ритуалов по всему миру[59].