Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

65

Bargh J. A. et al. Automaticity of Social Behavior: Direct Effects of Trait Construct and Stereotype Activation on Action. Journal of Personality and Social Psychology. 71, no. 2 (1996): 230–44.

66

Количество цитирований (точное число – 5208) дано по состоянию на январь 2020 года в соответствии с Google Scholar.

67

Doyen S. et al. Behavioral Priming: It’s All in the Mind, but Whose Mind? PLOS ONE. 7, no. 1 (2012): e29081.

68

Earp B. D. et al. Out, Damned Spot: Can the “Macbeth Effect” Be Replicated? Basic and Applied Social Psychology. 36, no. 1 (2014): 91–8. Эффект денежного прайминга: Klein R. A. et al. Investigating Variation in Replicability: A “Many Labs” Replication Project. Social Psychology. 45, no. 3 (2014): 142–52.

69

Исходное исследование: Williams L. E., Bargh J. A. Keeping One’s Distance: The Influence of Spatial Distance Cues on Affect and Evaluation. Psychological Science. 19, no. 3 (2008): 302–8. Повторение: Pashler H. et al. Priming of Social Distance? Failure to Replicate Effects on Social and Food Judgments. PLOS ONE. 7, no. 8 (2012): e42510.

70

Исходное исследование: Zarkadi T., Schnall S. “Black and White” Thinking: Visual Contrast Polarizes Moral Judgment. Journal of Experimental Social Psychology. 49, no. 3 (2013): 355–9. Повторение: IJzerman H., Laine P.-J. Does Background Color Affect Moral Judgment? Three Pre-Registered Replications of Zarkadi and Schnall’s (2012) Study 1. Preprint, PsyArXiv (30 July 2018).

71

Для прайминга “отвращением” экспериментаторы часто делали так, чтобы в помещении дурно пахло. Поэтому исследования на эту тему особенно примечательны: во многих статьях психологам приходилось с непроницаемым видом разглагольствовать об эффектах “спрея с запахом кишечных газов”, а в одной работе авторы невозмутимо обсуждали “патентованный одорант под названием «Жидкая задница»”. О средстве “Жидкая задница” см. Adams T. G. et al. The Effects of Cognitive and Affective Priming on Law of Contagion Appraisals. Journal of Experimental Psychopathology. 3, no. 3 (2012): 473. Обзор этого направления исследований: Landy J. F., Goodwin G. P. Does Incidental Disgust Amplify Moral Judgment? A Meta-Analytic Review of Experimental Evidence. Perspectives on Psychological Science. 10, no. 4 (2015): 518–36.

72

McCook A. “I Placed Too Much Faith in Underpowered Studies”: Nobel Prize Winner Admits Mistakes. Retraction Watch. 20 Feb. 2017. Еще Канеман написал открытое письмо, адресованное социальным психологам, в котором сообщил, что узрел “угрозу катастрофы”, и призвал их изменить свой подход к исследованиям; см. тут: https://go.nature.com/2T7A2NV.

73

Carney D. R. et al. Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance. Psychological Science. 21, no. 10 (2010): 1363–8.

74

На момент написания этой книги в феврале 2020 года общее количество просмотров на сайте TED составляло 56 миллионов, а на YouTube – еще 17,6 миллиона. Выступление исходно называлось “Язык тела формирует вашу личность”, но затем, когда грянул кризис воспроизводимости, оно было переименовано и стало называться “Язык тела может формировать вашу личность”. Cuddy A. Your Body Language May Shape Who You Are. TEDGlobal 2012. June 2012.

75

Cuddy A. J. C. Presence: Bringing Your Boldest Self to Your Biggest Challenges. New York: Little, Brown and Company, 2015. Цитаты взяты с издательского сайта: www.littlebrown.com/titles/amy-cuddy/presence/9780316256575.

76

Khaleeli H. A Body Language Lesson Gone Wrong: Why is George Osborne Standing like Beyoncé? The Guardian. 7 Oct. 2015.

77

Ranehill E. et al. Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women. Psychological Science. 26, no. 5 (2015): 653–6. С тех пор дебаты по поводу поз силы только набирали обороты. Авторы обзора 2017 года заключили, что эффекты поз силы – это “предположения, на данный момент не имеющие эмпирических обоснований”. См. Simmons J. P., Simonsohn U. Power Posing: P-Curving the Evidence. Psychological Science. 28, no. 5 (2017): 687–93. Кадди парировала своим собственным обзором, где отмечался-таки общий эффект, хотя позже и было показано, что – наряду с другими проблемами подобных исследований – большинство результатов в статьях, на которые она ссылалась, объяснялись, вероятно, отрицательным эффектом ссутуливания, нежели чем положительным воздействием поз силы. См. Cuddy A. J. C. et al. P-Curving a More Comprehensive Body of Research on Postural Feedback Reveals Clear Evidential Value for Power-Posing Effects: Reply to Simmons and Simonsohn (2017). Psychological Science. 29, no. 4 (2018): 656–66. Про ссутуливание см. Credé M. A Negative Effect of a Contractive Pose is not Evidence for the Positive Effect of an Expansive Pose: Commentary on Cuddy, Schultz, and Fosse (2018). SSRN. 2018.

78

Zimbardo P. The Lucifer Effect: How Good People Turn Evil. London: Rider, 2007. [Зимбардо Ф. Эффект Люцифера. Почему хорошие люди превращаются в злодеев. М.: АНФ, 2013.]

79

Milgram S. Behavioral Study of Obedience. Journal of Abnormal and Social Psychology. 67, no. 4 (1963): 371–8. Эксперименты Милгрэма тоже подвергались справедливой критике. Чем сильнее участники верили, что действительно бьют “учеников” током, тем с меньшей вероятностью повышали разряд. Об этом см., например: Perry G. et al. Credibility and Incredulity in Milgram’s Obedience Experiments: A Reanalysis of an Unpublished Test. Social Psychology Quarterly. 83, no. 1 (2020): 88–106.

80

Zimbardo P. Our inner heroes could stop another Abu Ghraib. The Guardian. 29 Feb. 2008.

81

Fromm E. The Anatomy of Human Destructiveness. New York: Holt, Rinehart and Winston, 1975. [Фромм Э. Анатомия человеческой деструктивности. М.: АСТ, 2004.]

82

Le Texier T. Debunking the Stanford Prison Experiment. American Psychologist. 74, no. 7 (2019): 823–39.

83

Дебаты продолжаются, и Зимбардо ответил на критику. См., например: Zimbardo P. Philip Zimbardo’s Response to Recent Criticisms of the Stanford Prison Experiment. 23 June 2018. См. также ответ Ле Тексье на более позднюю версию заявления Зимбардо (на момент написания этой книги – еще не опубликованную): Le Texier T. The SPE Remains Debunked: A Reply to Zimbardo and Haney (2020). Preprint, PsyArXiv (24 Jan. 2020).

84

Open Science Collaboration. Estimating the Reproducibility of Psychological Science. Science. 349, no. 6251 (2015): aac4716.

85

Camerer C. F. et al. Evaluating the Replicability of Social Science Experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour. 2, no. 9 (2018): 637–44.

86

Последнее число соответствует шести удачным попыткам воспроизвести шестнадцать исследований. Ebersole C. R. et al. Many Labs 3: Evaluating Participant Pool Quality across the Academic Semester via Replication. Journal of Experimental Social Psychology. 67 (2016): 68–82.

87

Тут некоторые критики могут возразить, что я сам попал в вырытую другим яму. Я подчеркивал важность надежных результатов, однако, заявляя, что разразился кризис воспроизводимости, полагаюсь на попытки воспроизвести разные исследования, которые не являются репрезентативной выборкой из всей научной литературы. Вывод о том, что лишь “около половины” опубликованных результатов воспроизводятся, возможно, нельзя обобщать на всю науку. Такой аргумент был приведен в критической заметке к одному из исследований, посвященных повторению других работ: Gilbert D. T. et al. Comment on “Estimating the Reproducibility of Psychological Science”. Science. 351, no. 6277 (2016): 1037. Хотя я не согласен со многими приведенными там аргументами (некоторые причины скепсиса описаны здесь: Lakens D. The Statistical Conclusions in Gilbert et al (2016) Are Completely Invalid. The 20 % Statistician. 6 March 2016), замечание насчет репрезентативности справедливо. Мы все еще плохо понимаем, какая именно часть результатов по всем научным направлениям воспроизводима, даже в областях вроде психологии, где были предприняты эти масштабные попытки повторить прежние результаты, – правда может оказаться пригляднее, чем показывают те исследования, или же наоборот. Но сам факт, что мы этого не знаем, – а также то, что столь много громких, нашумевших открытий рассыпалось в прах при более внимательном рассмотрении, – является, я убежден, поводом для немалого беспокойства. Ответы на другие критические замечания, оспаривающие идею, что разразился кризис, см. тут: Pashler H., Harris C. R. Is the Replicability Crisis Overblown? Three Arguments Examined. Perspectives on Psychological Science. 7, no. 6 (2012): 531–6.

88

Bird A. Understanding the Replication Crisis as a Base Rate Fallacy. British Journal for the Philosophy of Science. 13 Aug. 2018.

89

Разумеется, авторы исходной работы (те, чьи результаты не воспроизвелись) зачастую заявляли, что изменения были на самом деле значительными и серьезно испортили эксперимент. Каждый случай следует разбирать отдельно, однако подобный аргумент наводит на мысль о некой предвзятости.

90

Другая область, где все неплохо, – психология личности. Психолог Кристофер Сото провел масштабную работу по воспроизведению результатов исследований личности – корреляций личностных качеств, оцениваемых по опросникам, с такими показателями, как удовлетворенность жизнью и романтическими отношениями, религиозные и политические взгляды и карьерный успех. Доля успешно воспроизведенных результатов получилась 87 %, что весьма достойно по сравнению с другими областями, которые мы обсуждали. Soto C. J. How Replicable Are Links Between Personality Traits and Consequential Life Outcomes? The Life Outcomes of Personality Replication Project. Psychological Science. 30, no. 5 (2019): 711–27.

91

Camerer C. F. et al. Evaluating Replicability of Laboratory Experiments in Economics. Science. 351, no. 6280 (2016): 1433–6.

92

Turner B. O. et al. Small Sample Sizes Reduce the Replicability of Task-Based fMRI Studies. Communications Biology. 1, no. 1 (2018): 62.

93

Eklund A. et al. Cluster Failure: Why fMRI Inferences for Spatial Extent Have Inflated False-Positive Rates. Proceedings of the National Academy of Sciences. 113, no. 28 (2016): 7900–5; Eklund A. et al. Cluster Failure Revisited: Impact of First Level Design and Physiological Noise on Cluster False Positive Rates. Human Brain Mapping. 40, no. 7 (2019): 2017–32.

94

Lord K. A. et al. The History of Farm Foxes Undermines the Animal Domestication Syndrome. Trends in Ecology & Evolution. 35, no. 2 (2020): 125–36.

95

Зебровые амадины: Wang D. et al. Irreproducible Text-Book “Knowledge”: The Effects of Color Bands on Zebra Finch Fitness. Evolution. 72, no. 4 (2018): 961–76. См. также Law Y.-H. Replication Failures Highlight Biases in Ecology and Evolution Science. The Scientist. 31 July 2018. Воробьи: Sánchez-Tójar A. et al. Meta-analysis challenges a textbook example of status signalling and demonstrates publication bias. eLife. 7 (2008): e37385. Обыкновенные лазоревки: Parker T. H. What Do We Really Know about the Signalling Role of Plumage Colour in Blue Tits? A Case Study of Impediments to Progress in Evolutionary Biology. Biological Reviews. 88, no. 3 (2013): 511–36.

96

Clark T. D. et al. Ocean Acidification Does Not Impair the Behaviour of Coral Reef Fishes. Nature. 577, no. 7790 (2020): 370–5. См. также Enserink M. Analysis Challenges Slew of Studies Claiming Ocean Acidification Alters Fish Behavior. Science. 8 Jan. 2020. Как отмечается в этой второй статье, из того, что поведение рыб, похоже, не меняется, не следует, что нам нужно перестать беспокоиться о закислении океана, которое вызывает много других пагубных явлений. Позднее авторов исходных статей (двадцати двух штук) о закислении океана и поведении рыб обвинили в научном мошенничестве. См. Enserink M. Does Ocean Acidification Alter Fish Behavior? Fraud Allegations Create a Sea of Doubt. Science. 6 May 2021.

97

www.orgsyn.org/instructions.aspx. См. также Chawla D. S. Taking on Chemistry’s Reproducibility Problem. Chemistry World. 20 March 2017.

98

Поиск нужных статей проводился таким образом, что исследования, которые открыто не объявляли себя попытками воспроизвести предыдущие работы, могли оказаться неучтенными, поэтому итоговый процент, вероятно, на самом деле чуточку больше. Экономика: Mueller-Langer F. et al. Replication Studies in Economics – How Many and Which Papers Are Chosen for Replication and Why? Research Policy. 48, no. 1 (2019): 62–83. Психология: Makel M. C. et al. Replications in Psychology Research: How Often Do They Really Occur? Perspectives on Psychological Science. 7, no. 6 (2012): 537–42. Также обращаю ваше внимание: по поводу того, что считать попыткой воспроизвести исследование, ведутся споры. Некоторые ученые провели множество “содержательных” повторений, в целом похожих на исходное исследование, но в деталях иногда от него отличающихся. Это по-своему интересно, но это не “прямое” повторение, когда именно та же, насколько только возможно, работа проводится сызнова. Вот такого рода исследований-повторений и не хватает. См. Schmidt S. Shall We Really Do It Again? The Powerful Concept of Replication is Neglected in the Social Sciences. Review of General Psychology. 13, no. 2 (2009): 90–100.

99

Во избежание путаницы заметим, что в англоязычной специализированной литературе существуют два разных термина: “проблема сходимости результатов” (replicability или repeatability) и “проблема воспроизводимости результатов” (reproducibility). В русскоязычной же литературе обычно не делается различий между этими случаями и используется единый термин – “проблема воспроизводимости”. Учитывая, что и в английском языке применение двух разных терминов не строгое (на что, в частности, указывает и сам автор в примечании 49 к этой главе), в русском переводе данной книги используется только термин “воспроизводимость”, тем более что необходимые детали соответствующих исследований там, где они важны, поясняются автором отдельно. (Здесь и далее – прим. перев.)

100

Chang A. C., Li P. Is Economics Research Replicable? Sixty Published Papers from Thirteen Journals say “Usually Not”. Finance and Economics Discussion Series. 2015, no. 83 (2015): 1–26. Washington: Board of Governors of the Federal Reserve System. Подробный обзор проблемы воспроизводимости в экономике: Christensen G., Miguel E. Transparency, Reproducibility, and the Credibility of Economics Research. Working Paper no. 22989. National Bureau of Economic Research. 2016.

101

Konkol M. et al. Computational Reproducibility in Geoscientific Papers: Insights from a Series of Studies with Geoscientists and a Reproduction Study. International Journal of Geographical Information Science. 33, no. 2 (2019): 408–29.

102

И даже хуже: из этих семи статей в целых шести методы избыточны по сравнению с гораздо более простыми методами, которые были известны за много лет до того, как создавались эти новые алгоритмы. Dacrema M. F. et al. Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. RecSys 2019. Copenhagen, Denmark. См. также отчет по компьютерным наукам, который дает понять, что у новых исследователей не получается воспроизвести результаты применения нескольких классических алгоритмов – а это своего рода бомба замедленного действия, поскольку “молодые ученые не хотят выглядеть хулителями старших коллег”, публикуя статьи о провалившихся попытках воспроизвести действие алгоритмов, которые были разработаны старшими коллегами и на которых держится их репутация. Hutson M. Artificial Intelligence Faces Reproducibility Crisis. Science. 359, no. 6377 (2018): 725–6.

103

То есть в пробирке.

104

Begley C. G., Ellis L. M. Raise Standards for Preclinical Cancer Research. Nature. 483, no. 7391 (2012): 531–3.

105

Prinz F. et al. Believe It or Not: How Much Can We Rely on Published Data on Potential Drug Targets? Nature Reviews Drug Discovery. 10 (2011): 712. Обратите внимание, что приведенная в статье сотрудниками Bayer диаграмма включает только 70 % исследований рака – остальные 30 % связаны с женским здоровьем или сердечно-сосудистой системой.

106

Wong C. H. et al. Estimation of Clinical Trial Success Rates and Related Parameters. Biostatistics. 20, no. 2 (2019): 273–86. Из всех разнообразных лекарств доля тех, что добираются от доклинических испытаний до применения на людях, оценивается в данной работе в 13,8 %, так что с исследованиями рака все особенно плохо.

107

Nosek B. A., Errington T. M. Reproducibility in Cancer Biology: Making Sense of Replications. eLife. 6 (2017): e23383. В названии “Проект по проверке воспроизводимости: биология рака” термин “воспроизводимость” используется в том же смысле, в каком я использую слово “сходимость” (то есть попытка получить те же результаты на другой выборке). Я выбрал определения для этой книги таким образом, чтобы отразить сложившийся консенсус, однако стоит понимать, что не все придерживаются той же терминологии.

108

Repass J. et al. Replication Study: Fusobacterium Nucleatum Infection is Prevalent in Human Colorectal Carcinoma. eLife. 7 (2018): e25801.

109

Errington T. Reproducibility Project: Cancer Biology – Barriers to Replicability in the Process of Research. 2019. https://osf.io/x9p5s/

110

Baker M., Dolgin E. Cancer Reproducibility Project Releases First Results. Nature. 541, no. 7637 (2017): 269–70; Engber D. Cancer Research Is Broken. Slate. 19 April 2016.

111

Errington T. Reproducibility Project (см. слайд 11).

112

Kaiser J. The Cancer Test. Science. 348, no. 6242 (2015): 1411–3.

113

Iqbal S. A. et al. Reproducible Research Practices and Transparency across the Biomedical Literature. PLOS Biology. 14, no. 1 (2016): e1002333. Обратите внимание, что в полную выборку вошло 441 исследование, но только 268 из них содержали эмпирические данные.

114

Vasilevsky N. A. et al. On the Reproducibility of Science: Unique Identification of Research Resources in the Biomedical Literature. PeerJ. 1 (2013): e148. Проблемы, касающиеся недостаточно подробного написания статей, выходят за пределы биомедицины. О политологии, например, см. Wuttke A. Why Too Many Political Science Findings Cannot Be Trusted and What We Can Do About It: A Review of Meta-Scientific Research and a Call for Academic Reform. Politische Vierteljahresschrift. 60, no. 1 (2019): 1–19. Об экологии см. Parker T. H. et al. Transparency in Ecology and Evolution: Real Problems, Real Solutions. Trends in Ecology & Evolution. 31, no. 9 (2016): 711–9.

115

Kaiser J. Plan to Replicate 50 High-Impact Cancer Papers Shrinks to Just 18. Science. 31 July 2018. Обратите внимание, что в примечании 51 к этой главе (Errington T. Reproducibility Project) обсуждается пятьдесят одно исследование, а не пятьдесят.

116

Все о “Проекте по проверке воспроизводимости: биология рака” см. здесь: https://elifesciences.org/collections/9b1e83d1/reproducibility-project-cancer-biology.

117

Prasad V. K., Cifu A. S. Ending Medical Reversal: Improving Outcomes, Saving Lives. Baltimore: Johns Hopkins University Press, 2015.

118

Lang J. Awakening. The Atlantic. Feb. 2013.

119

Avidan M. S. et al. Anesthesia Awareness and the Bispectral Index. New England Journal of Medicine. 358, no. 11 (2008): 1097.

120

Herrera-Perez D. et al. A Comprehensive Review of Randomized Clinical Trials in Three Medical Journals Reveals 396 Medical Reversals. eLife. 8 (2019): e45183. Это было продолжением похожего исследования тех же авторов, когда обнаружилось 146 “медицинских реверсий”: Prasad V. et al. A Decade of Reversal: An Analysis of 146 Contradicted Medical Practices. Mayo Clinic Proceedings. 88, no. 8 (2013): 790–8.

121

Barrett J. F. R. et al. A Randomized Trial of Planned Cesarean or Vaginal Delivery for Twin Pregnancy. New England Journal of Medicine. 369, no. 14 (2013): 1295–1305.

122

Du Toit G. et al. Randomized Trial of Peanut Consumption in Infants at Risk for Peanut Allergy. New England Journal of Medicine. 372, no. 9 (2015): 803–13.

123

Kim F. et al. Effect of Prehospital Induction of Mild Hypothermia on Survival and Neurological Status Among Adults with Cardiac Arrest: A Randomized Clinical Trial. JAMA. 311, no. 1 (2014): 45–52.

124

AVERT Collaboration. Efficacy and Safety of Very Early Mobilisation within 24 h of Stroke Onset: A Randomised Controlled Trial. Lancet. 386, no. 9988 (2015): 46–55.

125

Baharoglu M. I. et al. Platelet Transfusion versus Standard Care after Acute Stroke Due to Spontaneous Cerebral Haemorrhage Associated with Antiplatelet Therapy (PATCH): A Randomised, Open-Label, Phase 3 Trial. Lancet. 387, no. 10038 (2016): 2605–13.