- Один из учеников Канторовича рассказывал, что тот в полугодовых отчетах писал с каменным лицом: «Теорема доказана на 50%».
- В Москве, в Математическом институте, была четкая система: в план я писал теоремы, которые были доказаны в прошлом году. И весь год можно было работать дальше.
Один из способов, с помощью которого им удается этого добиваться, – это так называемая «продажа пачкой», суть которой в том, что библиотеки не могут выбирать, на какие именно журналы подписаться, они могут выбрать либо большую подборку (сделанную издательством, а не библиотекой) либо вообще ничего. То есть если некоторые из журналов в «пачке» незаменимы для библиотеки, то ей приходится подписываться и по очень высоким ценам на большое число журналов по разным наукам; при этом многие из этих журналов библиотеке вообще не нужны («Журнал хаоса, солитонов и фракталов» являет собой яркий пример периодического издания, которое многие математики считают просто ничтожным, при этом библиотеки по всему миру вынуждены на него подписываться).
В апреле 2012 года библиотека Гарвардского университета опубликовала письмо, в котором ситуация с подписками на научные журналы была названа «финансово невыносимой». Библиотекари заявили, что из-за роста цен на 145% за последние шесть лет, они скоро будут вынуждены отказаться от части подписок.
Так, если естественные науки стоят на двух ногах — physical science и life science, то западные страны опираются на одну ногу, а постсоветские — на другую.
Существенное различие в развитии научных дисциплин в разных странах оказывает сильное влияние и на степень коллаборации между странами и интерес к научным результатам друг друга. Например, по данным Journal Citation Reports, из 150 журналов с импакт-фактором IF>10 около 80% составляют медицинские и биологические журналы. В этих журналах публикуются ученые большинства стран, где медицина и биология являются приоритетными направлениями. Соответственно, ученые из стран, в которых приоритетны иные направления, значительно реже публикуются в высокоимпактных журналах. В конечном счете, среднее число ссылок на одну публикацию в таких странах будет существенно ниже, и прочие наукометрические показатели будут заметно отличаться от большинства стран.
Таким образом, достичь высоких наукометрических показателей для национальной науки можно только путем развития дисциплин life science. Собственно, именно таким путем пошла Польша. На рисунке можно видеть, что в Польше с 1996 по 2008 год синий круг физики постепенно уступает место зеленому кругу медицины. При этом важно заметить: одновременно двигается вперед розовый круг инженерных наук.
В зарубежной научной периодике уже давно прижился термин salami slicing. Так называют одну из распространенных публикационных стратегий, когда полученный в ходе работы новый материал, подобно нарезаемому на ломтики батону колбасы, делится на множество «элементарных частиц», на основе каждой из которых затем пишется маленькая отдельная статья.
Специалисты Уорикского университета (Великобритания) предположили, что на цитируемость научной статьи влияет длина ее названия: чем оно короче, тем больше внимания привлекает.
Во времена моей студенческо-аспирантской молодости литературные методики имели свойство воспроизводиться, и первой реакцией руководителя на сообщение, что методика не воспроизводится, были нелицеприятные предположения, откуда растут руки у исполнителя. По прошествии тридцати лет первая реакция принципиально изменилась: опять эти (неполиткорректное упоминание национальности авторов статьи) начудили. И происходит это не только в химии, но и во всех дисциплинах, где существует понятие объективной истины и где воспроизводимость результатов — необходимый критерий научности.
Оценить количественно масштабы катастрофы (а это именно катастрофа) затруднительно, потому что исследований этого явления нет и вряд ли они возможны. Но есть результаты выборочного контроля в некоторых узких областях. Так, Гленн Бигли и Ли Эллис, ведущие специалисты американской фармацевтической компании «Amgen», в статье, опубликованной в журнале Nature (2012, 483, 7391, 531–533), рассказали о предклинических испытаниях антираковых препаратов, переданных в компанию университетскими лабораториями. Из 53 проверенных препаратов лишь 6 показали удовлетворительные результаты, данные по остальным 47, опубликованные, к слову сказать, в высокорейтинговых журналах, не воспроизвелись. Несколько более оптимистичны специалисты компании «Bayer», по их данным, опубликованным годом ранее в Nature Reviews Drug Discovery, воспроизводимость работ по онкологии, сердечно-сосудистым и женским заболеваниям составляет 20–25%. И это при том, что тестирование проводили высокопрофессиональные специалисты, заинтересованные в положительном результате испытаний, — ведь таким образом компании выбирают препараты для последующей коммерческой проработки.
Эти и некоторые похожие публикации вызвали широкое обсуждение. Опросы специалистов в этих областях показали, что в среднем 55% опрошенных сталкивались с невоспроизводимостью чужих результатов. Треть опрошенных сообщали об этом в научных публикациях, причем наибольшую принципиальность проявляли «старшие» научные сотрудники, а «младшие» предпочитали не высовываться. И это понятно, потому что две трети молодых смельчаков признали, что имели проблемы при попытке опубликовать опровергающие данные.
Причины невоспроизводимости
Наибольший интерес представляют мнения участников дискуссий о причинах нарастающей невоспроизводимости научных результатов. Откровенная и сознательная подтасовка данных практически не рассматривается. Конечно, мошенники есть в любом сообществе, но, согласимся, доля таких индивидов в науке несравненно ниже, чем в других сферах человеческой деятельности — в политике, экономике, юриспруденции и т. д.
Следующая причина публикации «сырых» результатов — погоня за числом публикаций и индексом Хирша, который ныне возведен в ранг главного индикатора качества научной деятельности. Как говорят молодые научные сотрудники, опубликуй в высокорейтинговом журнале или умри. В результате мы наблюдаем картину, немыслимую в прежние времена, — отзыв статей из журналов (в том числе рецензируемых и высокорейтинговых) как на стадии подготовки к печати, так и после публикации из-за опровержений других исследователей.
Складывается также впечатление, что многие авторы совершенно не заинтересованы в воспроизведении своих работ другими исследователями и потому вполне осознанно опускают некоторые важные экспериментальные подробности. Раньше этим грешили патенты: кто хоть раз пытался воспроизвести пример из патента, тот поймет. Но патент на изобретение — это в первую очередь правовой документ, который устанавливает существенные признаки изобретения. А некоторые экспериментальные тонкости, ноу-хау, автор вполне может утаить как дополнительный козырь при продаже патента. С этой точки зрения патент вообще нельзя рассматривать как научную публикацию, и в рамках, например, диссертации патент может выступать только как свидетельство практической значимости.
Впрочем, большую часть опубликованных научных результатов никто не воспроизводит и тем самым не верифицирует. Это одно из следствий того громадного вала, Big Data, научных публикаций, который производит в последние годы научное сообщество и который оно само не может переварить. Чтобы воспроизвести результаты, представленные в какой-нибудь статье, ее нужно для начала прочитать. Сколько из опубликованных статей были прочитаны хотя бы одним человеком, не знают даже Web of Science и Scopus, тем более что они охватывают не весь массив научной информации. Но можно сделать оценку, основанную на психологии. Если исследователь по какой-то причине скачал статью и прочитал ее, то он непременно когда-нибудь на нее сошлется, в положительном или отрицательном смысле или просто «до кучи», придавая солидность списку цитированной литературы.
По количеству мы имеем богатую статистику — это импакт-факторы журналов, которые рассчитывают как отношение числа цитирований статей, опубликованных в определенный год, к общему числу статей, опубликованных в том же году. Возьмем теперь импакт-факторы журналов, например российских из списка ВАК. Подавляющая часть попадает в интервал от 0,01 до 0,5. Это и будет оценка среднего числа читателей одной статьи в соответствующем журнале. Несомненно, что многие из этих статей подготовлены грамотными, высококвалифицированными специалистами, изучающими узкие, специальные проблемы. Но в то же время необходимо признать, что подобное отсутствие хоть какой-то внешней экспертизы снижает внутреннюю требовательность к качеству работы и создает условия для производства и публикации недостоверных, невоспроизводимых данных.
...
При оценке таких результатов необходимо также учитывать субъективные факторы, которые обычно игнорируют «теоретики» науки. Из жизненного опыта все мы знаем, что воспроизвести какое-либо действие весьма не просто даже при наличии детальной инструкции или демонстрации. Впервые сделанное блюдо или табуретка обычно очень далеки от образца. Но, повторяя раз за разом необходимые операции, мы постепенно приближаемся к совершенству. И вроде бы делаем всё точно так же, но результат улучшается, это то, что называется «набить руку». Причем одни вещи воспроизводятся легко, на раз-два-три, а на другие уходят годы тренировок.
В науке всё происходит точно так же. Объективная истина зависит от субъективных усилий по ее достижению. Исследователю, чтобы добиться повторяемости результатов (пусть даже не очень хорошей), тоже приходится иногда пройти очень долгий путь «набивания руки» в одном конкретном эксперименте. Существуют ли гарантии, что этот эксперимент «влёт» воспроизведется у другого исследователя? Никаких. Воспроизведение будет скорее случайностью, чем правилом. Особенно если исследователь не верит, что у него что-нибудь получится, и подсознательно настроен на опровержение, а не на подтверждение.
Речь сейчас идет об исследованиях, которые не вписываются в общепринятые представления. Тут надо с очень большой осторожностью относиться к заявлениям о невоспроизводимости результатов и тем более не спешить с навешиванием ярлыков. Ведь так легко с водой выплеснуть и ребенка. Именно «странные» результаты должны быть предметом первоочередного изучения в науке. Пусть большая часть их после детального исследования будет в конце концов опровергнута и отвергнута, но то, что останется, превратится в открытия. Наука не может и не должна останавливаться в своем познании мира и сосредотачиваться на обслуживании утилитарных потребностей людей. Мы верим в грядущие открытия. Возможно, они уже сделаны. Их просто нужно воспроизвести.
...Ведь именно Стэнфорд и Массачусетский технологический институт создали саму модель приносящего доход университета.
...
Несколько лет назад я оставил кафедру в Оксфордском университете (событие почти столь же редкое, как землетрясение в Эдинбурге), когда осознал, что от меня ожидают, что я буду вести себя скорее не как ученый, а как гендиректор.
...
Когда я впервые пришел в Оксфорд 30 лет назад, на подобную профессионализацию посмотрели бы с патрицианским презрением. Те мои коллеги, которые действительно беспокоились о получении степени доктора философии, предпочитали порой обращение «мистер», а не «доктор», так как последнее указывало на род занятий, не приличествующий джентльмену. Издание книг считалось довольно вульгарным. В порядке вещей было напечатать одну краткую статью о синтаксисе португальского или гастрономических привычках древнего Карфагена примерно раз в десять лет.
Кроме того, в какой-то момент в британских университетах обучение стало менее важным делом, чем научные исследования. Деньги приносят именно исследования, а не курсы по истории экспрессионизма или Реформации. Раз в несколько лет британское государство проводит тщательную инспекцию каждого университета на месте, изучая в мельчайших подробностях результаты научных исследований каждой кафедры. Именно на этом основании предоставляются государственные субсидии. Таким образом, у ученых теперь все меньше стимулов посвятить себя преподаванию, но много причин писать ради самого письма, штампуя абсолютно бессмысленные статьи, основывая бесчисленные онлайн-журналы, пунктуально подавая на внешние исследовательские гранты вне зависимости от реальной нужды в них и получая противоестественное удовольствие, добавляя все новые строчки в свое резюме.
В любом случае, огромный рост бюрократии в британском высшем образовании, вызванный расцветом управленческой идеологии и жесткими требованиями государственной аттестации, означает, что у ученых теперь остается гораздо меньше времени на подготовку к занятиям, даже если они еще кажутся им достойным делом — что в последние годы представляется весьма сомнительным. Государственные инспекторы начисляют баллы за статьи с непроходимыми дебрями сносок, но популярный учебник, предназначенный для студентов и широкого круга читателей, обладает для них небольшой ценностью.
...
Многие ученые в Великобритании уже осознали, как страстно их учреждение хотело бы, чтобы все они уволились, кроме немногих известных имен, способных привлечь побольше новых клиентов.
Дело, однако, в том, что искажения могут возникнуть и без всякой политики с идеологией, по причинам самым что ни на есть низменным.
Современная наука — это рынок. Университеты, лаборатории и отдельные исследователи соревнуются между собой за государственное финансирование, гранты, академические надбавки и тому подобное. Чтобы демонстрировать свою конкурентоспособность на этом рынке, им нужны публикации, причем желательно в престижных журналах и с высокой цитируемостью. Ученый, который за год не опубликовал ни одной статьи, рискует остаться голодным. Главный закон этого рынка — “publish or perish”, «публикуйся или пропадай».
Эта конкуренция полезна хотя бы тем, что держит ученых в тонусе. Но она же приводит к тому, что ученые стремятся что-нибудь опубликовать не тогда, когда уверены в том, что сделали значимое открытие, которым необходимо поделиться с миром, а тогда, когда подходит очередная аттестация или срок отчета по гранту.
Эта система не очень-то карает за ошибки. И это, опять же, неплохо: в противном случае в науке наступил бы паралич от страха.
Короче говоря, реальное устройство современной науки не очень-то поощряет чрезмерную щепетильность: ученому выгоднее опубликовать свои результаты побыстрее, даже если они основаны на не самых надежных данных; если же результаты впоследствии окажутся ошибочными — что ж, отрицательный результат — тоже результат.
Среди причин кризиса ученые называют, в частности, предвзятость редакторов научных журналов. Как правило, журналы не хотят публиковать отрицательные результаты экспериментов, и уж тем более работы, повторяющие чьи-то исследования с любым результатом.
Несмотря на то, что «кризис воспроизводимости» стал заметен в первую очередь в социальных науках, в области молекулярной биологии и онкологии тоже не все хорошо — по словам специалистов из фармкомпаний, которые пытались воспроизвести множество работ по биологии раковых опухолей, далеко не все попытки привели к нужному результату. Подробнее об этом, и о проекте Reproducibility Project: Cancer Biology можно прочитать в нашем блоге «Не можем повторить».
В 2012 году биофармацевтическая корпорация Amgen сообщила, что ее специалистам удалось воспроизвести лишь шесть из 53 высокоцитируемых научных работ по онкологии. За год до этого другая компания, Bayer, не смогла воспроизвести 79 процентов, или 53 из 67 отобранных ею медицинских экспериментов. Ни Amgen, ни Bayer не раскрыли список работ, которые не получилось воспроизвести, но осадок от таких новостей остался очень серьезный.