Иногда кажется удивительным, что наука вообще как-то работает. В 2005 году медицинское сообщество было потрясено работой с провокационным названием «Почему большая часть опубликованных исследований ошибочна» [Ioannidis, J.P.A. Why most published research findings are false. PLoS Medicine 2, e124 (2005)]. Её написал Джон Иоаннидис, профессор медицины из Стэнфордского университета. Она не показывала ошибочность какого-то конкретного результата. Она показывала, что статистика сообщений об успешных открытиях не совпадала с тем, как часто можно ожидать появления таких открытий. Как позже отметил Иоаннидис, «множество результатов опубликованных исследований ошибочны или преувеличены, и примерно 85% ресурсов потрачено на исследования впустую» [Ioannidis, J.P.A. How to make more published research true. PLoS Medicine 11, e1001747 (2014)].

Вполне вероятно, что некоторые исследователи намеренно подгоняют данные для того, чтобы их исследования были опубликованы. И некоторые проблемы однозначно связаны с политикой журналов. Но проблемы ложных открытий часто начинаются с того, что исследователи подвергаются самообману неосознанно: они становятся жертвой когнитивных искажений, способов мышления, приводящих нас к неверным, хотя удобным или привлекательным заключениям. «Учитывая процент воспроизводимости работ по психологии и другим эмпирическим наукам, можно уверенно заявить, что что-то работает не так, как надо», — говорит Сюзан Фидлер, специалист по поведенческой экономике из Исследовательского института социальных благ им. Макса Планка в Бонне. «Когнитивные искажения могут быть одной из причин происходящего».

Психолог Брайан Носек [Brian Nosek] из Виргинского университета говорит, что самым распространённым и проблемным искажением в науке является «доказательство с заинтересованностью»: интерпретация результатов для подгонки их под идею. Психологи показали, что «большая часть наших рассуждений является по сути рационализацией», говорит он. Иначе говоря, мы уже приняли решение о том, что делать или что думать, а наше «объяснение» этого решения — просто оправдание того, что мы хотели сделать — или во что хотели верить. Наука, конечно, по идее должна быть более объективной и скептической, чем бытовые рассуждения — но насколько ей это удаётся?

Фальсифицируемость как критерий научной теории, сформулированный философом Карлом Поппером, утверждает, что учёный ищет способы проверить и опровергнуть свои теории — то есть, ответ на вопрос «Где я ошибся?» Носек говорит, что учёные вместо этого обычно задают себе вопрос «Где я прав?» (или, что то же самое, «Где вы ошибаетесь?»). При появлении фактов, из которых следует, что мы можем быть неправы, мы склонны отметать их как неподходящие. Печально знаменитый эпизод с " холодным ядерным синтезом", имевший место в конце 1980-х, и исследованный электрохимиками Мартином Флейшманом и Стэнли Понсом, был полон подобного намеренного отбора фактов. К примеру, когда Флейшману и Понсу указали, что энергетический спектр гамма-лучей заявленной ими реакции имеет пик не на той энергии, они просто подвинули его, заявив что-то о неправильной калибровке.

Статистика, казалось бы, даёт передышку от искажений благодаря силе цифр, но и с ними всё так же удручает. Крис Хартгеринк [Chris Hartgerink] из Тилбургского университета в Нидерландах работает над влиянием человеческого фактора на сбор статистики. Он указывает, что исследователи часто приписывают ложную определённость случайным статистическим результатам. «Исследователи, как и все люди, плохо умеют представлять себе вероятности», — говорит он. Хотя некоторые результаты однозначно должны быть ложно-отрицательными — то есть, некорректно что-то отметать — Хартгеринк говорит, что никогда не встречал работы, которая бы так описывала свои открытия. Его недавнее исследование показывает, что две из трёх работ по психологии, сообщающих о незначительных результатах, могут не учитывать ложно-отрицательные [Hartgerink, C.H.J., van Assen, M.A.L.M., & Wicherts, J. Too good to be false: Non-Significant results revisited].

Если учесть, что наука открыла огромное количество когнитивных искажений, пренебрежение их последствиями в самой науке выглядит довольно странным. «В целом я представлял себе искажения у людей, — говорит Хартгеринк, — но когда я впервые узнал, что они применимы и к учёным, я был удивлён, хотя это так очевидно».

В 1989 году Мартин Флейшман и Стэнли Понс заявили о получении ядерного синтеза при комнатной температуре в тестовой пробирке. Когда им указали, что энергетический спектр гамма-лучей заявленной ими реакции имеет пик не на той энергии, они просто подвинули его.

Обычным ответом на эти претензии служит то, что даже если отдельные учёные и могут обманываться, другие не постесняются покритиковать их идеи или их результаты, и пока что это не наносит особенного вреда — наука, будучи общественной деятельностью, самоисправляется. Иногда так и есть — но это не обязательно происходит достаточно быстро или гладко, как хотелось бы верить.

Носек считает, что экспертная оценка иногда может активно препятствовать чёткой и быстрой проверке научных заявлений. Он указал, что когда в 2011 году команда итальянских физиков заявила о свидетельствах существования нейтрино, двигавшихся быстрее скорости света (в нарушение специальной теории относительности Эйнштейна), это удивительное заявление было сделано [Antonello, M., et al. Measurement of the neutrino velocity with the ICARUS detector at the CNGS beam. preprint arXiv:1203.3433 (2012)], проверено и опровергнуто [Brumfiel, G. Neutrinos not faster than light. Nature News (2012). Retrieved from doi:10.1038/nature.2012.10249 / Cho, A. Once Again, Physicists Debunk Faster-Than-Light Neutrinos news.sciencemag.org (2012)] так быстро благодаря эффективной системе специалистов по физике высоких энергий, позволяющей распространять препринты работ через хранилище с открытым доступом. Если бы эти проверки полагались на обычную экспертную оценку, они заняли бы годы.

Точно так же, когда исследователи заявили в статье в журнале Science от 2010 года что у какого-то микроба мышьяк в ДНК может заменять фосфор — а такое заявление бы переписало фундаментальные химические принципы жизни — один из исследователей, проводивших последующие исследования в попытках воспроизвести это открытие, считал важным документировать получаемые результаты в блоге с открытым доступом. Это шло вразрез с практиками изначальной команды учёных, которых критиковали за отсутствие доказательств, поддерживающих их противоречивое заявление [Hayden, E.C. Open research casts doubt on arsenic life. Nature News (2011). Retrieved from doi:10.1038/news.2011.469].

Инструмент экспертной оценки, кажется, подвержен ошибкам — особенно в таких областях, как медицина и психология — чаще, чем кажется, о чём говорит нарастающий «кризис воспроизводимости». Медицинский репортёр Иван Оранский и научный редактор Адам Маркус, ведущие сервис Retraction Watch, говорят об этом так: «Когда наука работает, как задумано, то последующие открытия дополняют, изменяют или полностью подрывают ранние исследование. Проблема в том, что в науке — или, точнее, в научных публикациях — этот процесс редко работает, как задумано. Большая часть публикуемых в научных журналах статей имеет мало шансов подтвердиться, если в другой лаборатории решат перепроверить эксперимент».

Одна из причин появления перекосов в научной литературе в том, что журналы с большей охотой публикуют положительные, а не отрицательные, результаты: проще подтвердить что-то, чем опровергнуть. Журнальные рецензенты склонны отбрасывать отрицательные результаты как скучные, и исследователи приобретают немного репутации или статуса в среде инвесторов или руководителей институтов, представляя подобные находки. «Если вы проведёте 20 экспериментов, в одном из них, вероятно, получатся результаты, пригодные для публикации, — пишут Оранский и Маркус. — Но простая публикация результатов не подтверждает их. На самом деле даже наоборот» [Oransky, I. Unlike a Rolling Stone: Is Science Really Better Than Journalism at Self-Correction? www.iflscience.com (2015)].

Оранский считает, что хотя, в принципе, все научные поощрения усиливают склонность к подтверждению своей точки зрения [confirmation bias], острая потребность в публикациях относится к числу самых проблематичных поощрений. «Чтобы заработать практику, гранты, статус, учёным необходимо часто публиковаться в крупных журналах, — говорит он. — Это стимулирует на положительные и „прорывные“ открытия, поскольку именно они смогут заслужить цитаты и влияние. Поэтому нет ничего особенно удивительного в том, что учёные обманывают себя, стараясь увидеть идеальные революционные результаты в своих экспериментальных данных».

Носек соглашается, говоря, что одним из самых искажающих влияний служит система наград, присуждающая одобрительные отзывы, научную практику и гранты. «Чтобы продвинуться в моей карьере, мне нужно публиковаться так часто, как это возможно, и в наиболее значительных изданиях. Это значит, что мне нужно выдавать статьи с высокой вероятностью публикации». А это, по его словам, статьи, выдающие положительные результаты («Я открыл», а не «Я опроверг»), оригинальные результаты (никогда не «Мы подтвердили предыдущее открытие»), и чистые результаты («Мы продемонстрировали, что…» а не «Неясно, как интерпретировать эти результаты»). Но «большая часть происходящего в лаборатории не выглядит таким образом», говорит Носек — оно больше похоже на мешанину. «А как прийти от мешанины к красивым результатам? — спрашивает он. — Можно быть терпеливым, мне может повезти — или можно пойти по легчайшему пути, принимая, часто бессознательно, решения по поводу того, какие данные выбрать и как их анализировать, чтобы из них выросла аккуратная история. Но в таком случае я однозначно буду допускать искажения в своих рассуждениях».

Брайан Носек

Дело не только в том, что некачественные данные и ошибочные идеи могут выживать, но и в том, что хорошие идеи могут оказаться подавленными доказательствами с заинтересованностью и карьерными требованиями. Предположения, сделанные генетиком Барбарой Мак-Клинток в 1940-х и 50-х о том, что некоторые последовательности ДНК могут «прыгать» по хромосомам, и биохимиком Стэнли Прузинером, о том, что белки " прионы" могут сворачиваться не так, как надо, и что это неправильное свёртывание может передаваться от одного белка к другому, так сильно расходились с преобладавшими ортодоксальными взглядами, что обеих исследователей жестоко высмеяли — до тех пор, пока их исследования не подтвердились, и они не получили нобелевскую премию. Скептицизм по поводу смелых заявлений всегда оправдан, но, оглядываясь назад, можно видеть, что иногда он происходит из-за невозможности избежать искажений, вызванных господствующей картиной мира, а не из-за искренних сомнений по поводу качества доказательств. Примеры Мак-Кинток и Прузинера показывают, что наука не подвергается самоисправлению, когда этого требует груз доказательств, говорит Носек, но «нам неизвестны примеры, в которых появлялась похожая идея, но потом отметалась и забывалась».

Учёные, естественно, знают об этом явлении. Многие склоняются к теории философа Томаса Куна о том, что наука испытывает скачкообразные изменения парадигм, в которых подрывается всё знание целой области и появляется совершенно новая картина. А между такими скачками мы наблюдаем только «обычную науку», укладывающуюся в общий консенсус — до тех пор, пока накопившиеся аномалии не создадут достаточно давления для того, чтобы прорваться и создать новую парадигму. Классическим примером служит появление в начале XX века квантовой физики. В эту же модель вписывается идея XVIII века о флогистоне в химии — предполагаемая «огненная субстанция», опровергнутая теорией кислорода Лавуазье. Знаменитая цитата, приписываемая Максу Планку, говорит ещё об одном методе преодоления предубеждений в науке: " Наука двигается от одних похорон к другим". Новые идеи прорываются только после смерти старых часовых.

Роль искажений в науке стала понятной Носеку, когда он был аспирантом по психологии. «Как и у многих аспирантов, мой идеализм по поводу работы науки был поколеблен, когда я занялся изучением методов исследований», — говорит он. «В том классе мы читали кучу работ, устаревших уже на тот момент — статьи с 1950-х по 1970-е года — статьи об искажениях, связанных с публикациями, недостаточной воспроизводимости, неполном описании методологии в опубликованных статьях, недостаточном доступе к оригинальным данным и склонности к отрицанию нулевых результатов».

С тех пор Носек посвятил себя улучшению науки [Ioannidis, J.P.A., Munafo, M.R., Fusar-Poli, P., Nosek, B.A., & David, S.P. Publication and other reporting biases in cognitive sciences: detection, prevalence, and prevention. Trends in Cognitive Sciences 18, 235–241 (2014)]. Он убеждён, что процесс и прогресс науки пойдёт более гладко, если вывести эти искажения на чистую воду — а это значит, сделать исследования более прозрачными в плане их методов, предположений и интерпретаций. «Бороться с этими проблемами нелегко, поскольку они лежат в культурной области — а никто не в состоянии изменить культуру, — говорит он. — Так что я начал с проблемы, поддающейся контролю: с мощности моего исследовательского проекта».

Что интересно, Носек считает, что одно из наиболее эффективных решений проблемы когнитивных искажений в науке может прийти из области, которая в последнее время подверглась жёсткой критике за огромное количество ошибок и заблуждений: фармакологии. С точки зрения Носека, именно потому, что в фармацевтической индустрии так чётко проявляются подобные проблемы, это сообщество лучше других приспособилось их решать. К примеру, из-за известной склонности фармацевтических компаний и их партнёров сообщать о позитивных результатах исследований и спускать на тормозах негативные, в США теперь по закону требуется вносить в реестр все клинические испытания перед их началом. Это обязывает исследователей сообщать о результатах с любым исходом.

Носек организовал схожую схему предварительной регистрации исследований под названием «открытая научная платформа» [Open Science Framework, OSF]. Он готовился к ней много лет, но запустилась она только когда бывший разработчик ПО Джефф Спайс [Jeff Spies] присоединился к его лаборатории в 2009–2010 годах и занялся ею в качестве проекта для диссертации. «Многие люди включились в проект, и он очень быстро вырос до крупных размеров, — говорит Носек. — Мы запустили веб-сайт OSF, и вокруг него собрались сообщество и инвесторы». Носек и Спайс соосновали Центр открытой науки в Шарлотсвилле в 2013 году, который сейчас занимается управлением OSF и может предоставлять его услуги бесплатно.

Идея в том, говорит Носек, чтобы исследователи «заранее записывали, что они изучают и что, по их мнению, должно произойти». Затем, когда они проводят эксперименты, они соглашаются на анализ результатов строго в рамках изначального плана. Звучит элементарно, похоже на то, как о работе науки рассказывают детям. Так и есть — но на самом деле так происходит очень редко. Вместо этого, как признаётся Фидлер, анализ проводится на базе неописанных и обычно подсознательных предположений о том, какие результаты будут или не будут получены. Носек говорит, что исследователи, использовавшие OSF, часто на этапе получения результатов удивлялись, как сильно их проект отошёл от первоначальных целей, заданных ими.

Фидлер использовала этот сервис и говорит, что он не только сохраняет честность исследования, но и способствует более гладкому его протеканию. «Предварительная регистрация в OSF заставляет продумывать все детали заранее, и проект, а также часть его описания, уже оказываются готовыми ещё до того, как я начинаю собирать данные, — говорит она. — Осознание этого помогает мне разделить результаты на те, которым я доверяю больше, и те, которым меньше». И не она одна: прозрачность процесса «даёт любому исследователю шанс судить о том, достоин ли результат потраченного на него ценного времени исследователя».

Постулирование ваших целей — хороший способ проверить, что вы знаете, каковы эти цели на самом деле, говорит Хартгеринк, тоже использующий OSF. «Решив заниматься этим, мы заметили, что объяснить гипотезу — задача сама по себе трудная» — а это признак того, что их на самом деле недостаточно чётко формулировали. «Предварительная регистрация практически обязательна, если вам нужно проверить гипотезу», — заключает он. Фидлер говорит, что за последний год она и все её студенты использовали схему OSF. «Я так много узнала, участвуя в этом проекте, что могу только порекомендовать его всем в нашей области работы», — заявляет она.

Различие между OSF и тем, как всё обычно делается, довольно значительное, говорит Хартгеринк. Поскольку большинство исследователей пишут научную работу только после проведения исследования, гипотезы не записываются в явном виде заранее. «Это приводит к более удобным формулировкам гипотез после получения результатов». Психолог Эрнест О'Бойл из Айовского университета со своими коллегами назвали эту склонность к приукрашиванию результатов в ретроспективе «эффектом куколки». Одно из последствий, по словам Хартгеринка, состоит в том, что неожиданные результаты часто представляют, как ожидаемые. «Спросите любого обывателя, правильно ли так делать, и он скажет, что это неправильно. Но в науке это принято делать уже долгое время».

Часто этот сдвиг в гипотезах и целях происходит без явного намерения и даже без его осознания. «В процессе, иногда очень долго длящемся, разработки эксперимента, сбора данных, их анализа, представления результатов научным коллегам, наш взгляд на изначальный вопрос и соответствующие результаты эволюционирует, — говорит Фидлер. — В процессе мы можем забыть об изначальных неудачных тестах и представить новые идеи в качестве ответов на другие вопросы на основании тех же самых данных». Этот подход к науке достаточно ценен, говорит она: важно обнаруживать непредвиденные связи. Но это не только сдвигает цели исследования, но и может привести к «излишне сильной вере исследователей к эффектам, возможно, имеющим ложную природу». OSF заставляет исследователей оставлять цели на месте.

Но если вы решите ограничить себя узким набором целей ещё до проведения экспериментов, не отвергнете ли вы потенциально плодотворные пути, которые вы не могли предусмотреть? Возможно, говорит Носек, но «обучение на данных» нельзя назвать хорошим способом построения надёжных выводов. «В настоящее время мы смешиваем изыскательские и подтверждающие исследования, — говорит он. — Факт, который всё время забывают — нельзя создавать гипотезы и проверять их на основе одних и тех же данных». Если вы находите новый, интересный путь, по нему нужно следовать отдельно, а не говорить себе что эксперимент с самого начала и был посвящён именно ему".

Фидлер спорит с обвинением предварительной регистрации в убийстве творчества и свободы. «Это не обязательно делать всем и всегда», — говорит она, и изыскательские исследования, собирающие данные без определённой цели или гипотезы всё равно имеют своё место. Но нам нужно понимать и различия подходов.

Основным препятствием, по мнению Хартгеринка, служит образование. Исследователям просто не советуют делать всё таким образом. Но лучше бы им уже осваивать этот подход. «Если новые исследователи не начнут применять эти подходы сейчас же, — говорит он, — через десять лет они могут обнаружить себя на скамейке запасных, поскольку сейчас проведение исследований воспроизводимым, прозрачным и открытым образом уже становится нормой».

В будущем Носек представляет себе «научную утопию», в которой наука становится гораздо более эффективным способом накопления знаний. Никто не говорит, что OSF будет панацеей, ведущей нас туда. Как сказал Оранский: «Одна из самых сложных проблем — заставить учёных перестать себя обманывать. Это требует устранения доказательств с заинтересованностью и склонности к подтверждению своей точки зрения, а хороших решений этих проблем я не встречал». Так что, Носек считает, что кроме OSF необходимыми ограничениями должны стать публикация с открытым доступом и открытые и непрерывные экспертные оценки. Возможно, мы не сумеем избавиться от наших искажений, но мы можем приглушить их манящий зов. Как сказал Носек вместе с коллегой, психологом Йоавом Бар-Ананом из Израильского университета им. Бен-Гуриона: «Критичные барьеры, подлежащие изменению находятся не в технической или финансовой сфере, но в социальной области. И хотя учёные сохраняют текущее положение вещей, в их силах его изменить».

Автор: Филип Бол — автор книги «Невидимое: опасное очарование незаметного», и множества других книг по науке и искусству.