[image]

Карта научной продуктивности

2003 г., от Thomson Scientific
 
1 2 3 4 5

stas27

модератор
★★★
stas27>> Кстати, за Китай там тоже есть - там учёному платят за публикацию в ведущем журнале 30 куев...
Fakir> У нас нечто подобное появляется...
Fakir> В принципе, не самый плохой способ. ... всё-таки пряник и лучше, и справедливее, и эффективнее кнута :)

В общем-то согласен. Да и комменты к статье поучительные - больше всего позабавило указание, что хорошо и легко такое писать, уже получив Нобеля :) . А если серьёзно, ПМСМ, истина где-то посередине - если исключить некоторых священных лошадок типа GWAS (genome-wide association studies) для определённых журналов типа Nature Genetics, по моим наблюдениям средний уровень статьи в этой "ужасной тройке" всё-таки повыше и заметно, чем в менее престижных журналах. Хоть какая-то изюминка, грамотно преподнесённая нужна. И плюс к этому хорошая репутация (ну и определённая пробивная способность плюс личные знакомства с редакторами и кучей потенциальных рецензентов очень важны - все мы люди, все мы человеки).

Да, там печатается сенсационная лажа периодически - см. Крестовый Поход Певзнера и Ко против исследований белков из костей тиранозавра в Science: Sequencing of Peptides in Second Dinosaur Puts Controversy About Findings to Rest … For Now | ProteoMonitor | Proteomics | GenomeWeb . Что интересно, вторая, куда более профессональная (по признанию того же Певзнера) работа в "Науку" принята не была %) .

Но это всё-таки происходит именно периодически.
   32.0.1700.10732.0.1700.107

Fakir

BlueSkyDreamer
★★★★☆
Вспомнилась классика:




...Аналогичному закону непрерывного роста подчиняется и число журналов, освещающих прогресс в определённой области науки. Почему это происходит? В течение долгого времени никто не мог дать толкового ответа на этот вопрос, поэтому я не без удовольствия сообщаю, что мне удалось вскрыть истинные причины размножений научных журналов и законы, по которым оно происходит. Эти законы я поясню на следующем примере. Предположим, что самый старый и респектабельный из всех журналов по клинической медицине (журнал № 1) в течение многих лет издавался профессором А. Этот профессор был выдающимся человеком (настолько выдающимся, что многие, вероятно, догадываются о его имени, которое я не смею здесь назвать). Он умер несколько лет тому назад. Если А в чем-нибудь ошибался (а кто из нас не ошибается!), то лишь в том, что отказывался публиковать все статьи, с которыми не был согласен. Практически это означает – все статьи, написанные чуть-чуть выше ученического уровня. Это продолжалось несколько лет и страшно надоело профессору Б, который никогда и ни в чём не соглашался с профессором А. Если бы, например, их попросили написать слово «винегрет», я уверен, что они написали бы его по-разному. При столь поражающей разнице во взглядах не удивительно, что статьи профессора Б в течение двадцати трех лет неизменно возвращались автору. По истечении этого срока он решил основать журнал № 2. Это издание начало выходить на более либеральной основе, и сперва в нём печаталось всё, кроме работ тех авторов, относительно которых было точно известно, что они являются последователями профессора А. Но и у профессора Б были свои высокие принципы. [spoiler|Дальше]Он считал, что любые взгляды, в том числе и те, которые хоть немного отличаются от его собственных, заслуживают права на свободное изложение; он настаивал лишь на том, чтобы они были изложены последовательно и научно. И вот ему пришлось однажды, а затем ещё и ещё раз отвергнуть работы, представленные профессором В. (Об этом последнем я должен говорить с осторожностью: он здравствует и поныне и заслуженно получает пенсию.) Его все считали оригинальным и интересным мыслителем, но находили, что он несколько тороплив в своих выводах и слегка небрежен при изложении результатов. Обнаружив, что его статьи отвергаются журналами № 1 и № 2, он стал основателем и первым издателем журнала № 3, который не отказывался от самых невразумительных работ на самые туманные темы. Все вы знаете, какой журнал я имею в виду. Но если знаете, то должны заметить, что и у него есть репутация, которой он дорожит. Его литературный уровень очень высок. Быть может, в его сообщениях ничего не сообщается, а рисунки доказывают утверждения, обратные тем, которые они должны иллюстрировать, но грамматика в этом журнале выше всякой критики. Следуя его клиническим советам, вы можете стать убийцей, но страницы этого издания никогда не осквернялись тяжеловесным оборотом. Чувствуя себя обязанным охранять литературную репутацию журнала (только поэтому!), редактор был вынужден отклонять работы профессора Г. Но – мы это все знаем – профессор Г не такой человек, которому можно закрыть доступ на печатные страницы. И вот читатель получает журнал № 4. Но ведь и Г должен где-то провести запретную черту! Он упорно отказывается публиковать труды профессора Д под тем предлогом, что Д не знает орфографии. (И это, честно говоря, правда.) Конечно, некоторые станут утверждать, что статью можно доработать и в редакции. (И это, разумеется, справедливо.) Но профессора Г тоже можно понять, и я не стал бы обвинять его в ограниченности. Просто он не хочет, чтобы о журнале № 4 ходила молва, будто там принимают всё, что напечатано на машинке на одной стороне листа через два интервала. Он должен поддерживать престиж журнала. С другой стороны, ни у кого не поднимется рука бросить камень в профессора Д за то, что он начал издавать журнал № 5. Именно такое развитие событий привело к тому, что только по вопросам зубоврачевания и зубопротезирования у нас издаётся около восьмидесяти журналов.

Если бы прогресс в науке измерялся только количеством опубликованных работ, то число существующих журналов могло бы стать источником удовлетворения и гордости. Но необходимо помнить, что каждому журналу нужен редакционный совет и редколлегия, несколько редакторов с помощниками, многочисленные обозреватели, консультанты и рецензенты. За счёт человеко-часов, потраченных на академическую журналистику, теряется масса времени, предназначенного для научной работы. Если бы все, имеющие касательство к какому-то определённому вопросу, читали журналы, издающиеся другими (а это лучший способ избежать дублирования), то ясно, что у них не оставалось бы времени ни на что другое. Интересно отметить, что те немногие люди, исследования которых представляют хоть какую-то ценность, обычно держат друг друга в курсе своих дел с помощью личной переписки.






Хотя с другой стороны, нельзя не признать, что журналы порой бывают бесценны. Личной перепиской мало что узнаешь от учёного, работавшего полвека назад - а бывают ведь жемчужины. Сейчас они как никогда становятся доступны, и рукописи почти что не горят, если браться за дело как следует - только вот особенно остро становится понятным, что даже при всей силе и славе поисковых систем большое количество пустых публикаций усложняет доступ к ценным :(
   27.027.0
+
+3
-
edit
 

Fakir

BlueSkyDreamer
★★★★☆

Ю.И.Манин: «Не мы выбираем математику своей профессией, а она нас выбирает» : Троицкий вариант — Наука

30 сентября 2008 года.   Михаил Гельфанд Рубрика: Бытие науки Комментариев нет 575 просм., 2 - за сегодня Распечатать статью   - Изменился ли стиль занятий математикой за последние пятьдесят лет?   - Индивидуальный или социальный?   - Оба.   - Мне кажется, что люди, которые сейчас занимаются математикой, делают это так же, как и двести лет назад. Отчасти потому, что не мы выбираем математику своей профессией, а она нас выбирает. И она выбирает определенный тип людей, которых в каждом поколении по всему свету несколько тысяч, не более того. // Дальше — trv-science.ru
 
- Один из учеников Канторовича рассказывал, что тот в полугодовых отчетах писал с каменным лицом: «Теорема доказана на 50%».

- В Москве, в Математическом институте, была четкая система: в план я писал теоремы, которые были доказаны в прошлом году. И весь год можно было работать дальше.
 
   27.027.0

Fakir

BlueSkyDreamer
★★★★☆

Эльзевир – мой вклад в его падение [перевод]

от переводчика: В свете недавно появившейся на Хабре публикации «Наука под замком», хотелось бы привести взгляд изнутри на проблему доступности научных... // habrahabr.ru
 
Один из способов, с помощью которого им удается этого добиваться, – это так называемая «продажа пачкой», суть которой в том, что библиотеки не могут выбирать, на какие именно журналы подписаться, они могут выбрать либо большую подборку (сделанную издательством, а не библиотекой) либо вообще ничего. То есть если некоторые из журналов в «пачке» незаменимы для библиотеки, то ей приходится подписываться и по очень высоким ценам на большое число журналов по разным наукам; при этом многие из этих журналов библиотеке вообще не нужны («Журнал хаоса, солитонов и фракталов» являет собой яркий пример периодического издания, которое многие математики считают просто ничтожным, при этом библиотеки по всему миру вынуждены на него подписываться).
 


Во блин - у меня и раньше насчёт этого журнала определённые опасения мелькали. Попадались в нём периодически статьи (не совсем по моим областям), но выглядящие, мягко говоря, странновато - однако закрадывались подозрения, что мало ли, журнал же солидного издательства, вдруг я не в курсе каких последних достижений? Тем более теория катастроф, хаоса - отдельная ж ниша. Даже почти что слово себе давал отложить и как-нибудь разобраться :)
Ан вот подтверждаются сомнения.

Наука под замком. Первая часть

От переводчика: Любой, кому приходилось искать в интернете статьи из научных журналов, наверняка сталкивался с тем, что за доступ к одной единственной статье... // habrahabr.ru
 
В апреле 2012 года библиотека Гарвардского университета опубликовала письмо, в котором ситуация с подписками на научные журналы была названа «финансово невыносимой». Библиотекари заявили, что из-за роста цен на 145% за последние шесть лет, они скоро будут вынуждены отказаться от части подписок.
 


Хотя и благоглупостей в статье и продолжении, пожалуй, богато...
   28.028.0
Это сообщение редактировалось 16.04.2014 в 23:26

Iva

Иноагент

бан до 06.06.2023
Fakir> - В Москве, в Математическом институте, была четкая система: в план я писал теоремы, которые были доказаны в прошлом году. И весь год можно было работать дальше.

Ну не только там. В целом нормальная практика во всех научных институтах при СССР.
Сам регулярно принимал участие в составлении планов отдела на следующий год.
   34.0.1847.13134.0.1847.131

Fakir

BlueSkyDreamer
★★★★☆
ИГРА В ЦЫФИРЬ,

или как теперь оценивают труд ученого

(cборник статей о библиометрике)
   3.6.33.6.3

Fakir

BlueSkyDreamer
★★★★☆
Это где-то даже восхитительно в своей омерзительности.
Прелюбопытная статейка, хорошо иллюстрирующая "теорему о KPI".

slon.ru/economics/simulyatsiya_nauki_kak_otvet_na_upravlencheskiy_primitivizm-1148735.xhtml
Симуляция науки как ответ на управленческий примитивизм



Знаете, в каких иностранных научных журналах больше всего статей российских ученых? Согласно крупнейшей библиографической базе Scopus, это World Applied Sciences Journal и Life Science Journal, лидирующие в 2013–2014 годах с большим отрывом. Названия звучат вполне научно, но на деле это псевдожурналы, готовые за плату $400–600 напечатать любую наукообразную ерунду. Единственная их ценность в том, что они включены в Scopus. Вернее, были включены в нее до последнего времени, когда сотрудники этой базы наконец перестали их индексировать после многочисленных жалоб со всего мира.

Ажиотажный спрос на публикации, проиндексированные в базе Scopus, рожден специфической формой управленческого недуга, поразившего Россию и многие другие страны. Суть его в замыкании финансирования на примитивные библиометрические KPI, как правило, единые для всех наук. Число статей в Scopus – один из основных таких показателей. В России он теперь используется на всех уровнях: от оценки хода выполнения огромной госпрограммы «Развитие науки и технологий» и бенчмаркинга вузов, получивших деньги на покорение рейтингов до аттестации и премирования сотрудников вузов. Число российских статей еще в одной базе – Web of Science – вообще является главным индикатором развития нашей науки, сформулированным Владимиром Путиным в своих инаугурационных майских указах.

Логика проста: у ведущих научных стран, университетов и ученых много статей в зарубежных библиографических базах – значит, и с наших надо требовать побольше. Кроме того, управленцам очень нравятся объективные формальные показатели, позволяющие самостоятельно сравнивать эффективность без обращения за экспертизой к самим ученым.
Ну-ка, ведущие вузы, кто тут у нас самый успешный? Доложите число публикаций в иностранных базах! Уловив сигнал, вузовское начальство, взяв в руки кнут (аттестация) и пряник (надбавки), состригает искомые публикации с сотрудников. И вот уже Казанский федеральный университет оперативно публикует в двух означенных выше журналах более 300 статей, а еще 63 штуки – в Middle East Journal of Scientific Research, который недавно также с позором изгнали из Scopus. Дело сделано, и не важно, что журналы перестали индексировать: все публикации из ранее поступивших номеров остались в базе навеки (и сильно подпортили отличившимся сотрудникам CV в глазах зарубежных коллег). Как грибы после дождя полезли фирмы-посредники, предлагающие статьи в Scopus и Web of Science на выгодных условиях и в кратчайшие сроки. Их реклама не только в интернете, но и прямо на асфальте – например, на Мясницкой у входа в «Вышку».

Еще тяжелее ситуация в братском Казахстане. После того как там ввели требования по наличию публикаций в международных базах для защиты диссертации, число публикаций страны в Scopus скакнуло с 815 в 2012 году до 1700 в 2013-м. В топе все те же журналы, да еще украинский Actual Problems of Economics – из Web of Science его выкинули, а в Scopus пока остался. Совокупно на эти четыре журнала приходится 46% статей Казахстана за 2013 год и 53% за 2014 год.

Похожие проблемы наблюдаются у Нигерии, Малайзии, Ирана и ряда других государств, в которых ввели аналогичные примитивные KPI. Сейчас они мучаются, составляют «черные списки» журналов, но другая сторона перегруппировывается в мгновение ока: новые псевдожурналы возникают тысячами и всеми силами пытаются пролезть в Scopus. Им, увы, это удается. Я сам обнаружил там журнал, «главред» которого, дама-профессор из индийской глубинки, вовсе не подозревала о его существовании, крайне удивилась моему письму и вознамерилась подать на издателей в суд за identity theft. После моей жалобы журнал из базы исключили, но на это ушло достаточно много времени. Увы, в этом журнале нашлись и публикации сотрудников ведущих московских вузов. Что самое печальное, даже гипотетическая победа над псевдожурналами не решит проблему: в Китае уже продают места в списках соавторов самых авторитетных западных журналов...

Механический учет числа публикаций – это только одна из ошибок в применении наукометрии, от которых у специалистов глаза на лоб лезут. Я бы мог еще долго писать про другие, но толку от этого никакого, чиновники в большинстве своем учиться не хотят. Раньше я работал на Минобрнауки и пытался по мере сил воздействовать на них, получалось слабо. А теперь, когда руки уже опустились, просто повторю еще раз: библиометрия – мощнейший инструмент управления современной наукой, но а) им надо хоть чуть-чуть уметь пользоваться и б) это не волшебная палочка. Вернее, в принцессу нашу науку ею не превратишь, зато в жабу можно.





Отмечу, что о таких вот платных статьях могут нет-нет да и задуматься и вполне настоящие учёные, которым по сугубо формальным признакам, долбаным KPI - чуть не хватило каких-то публикационных параметров - не обомился целевой грант или создание лабы.
   28.028.0
+
-
edit
 
Fakir> Это где-то даже восхитительно в своей омерзительности.
не люблю эту фразу, но я предупреждал ведь... когда с вейлом спорил..
А он говорил, что не придумано ничего более обьективного..
   26.026.0

Fakir

BlueSkyDreamer
★★★★☆
Еще прелестное о квазижурналах:

Журнал Science раскрыл теневую империю "мусорных" научных изданий

Биолог Джон Боханнон провел расследование, отправив под вымышленным именем в 304 журнала научные статьи с очевидными для специалиста грубейшими ошибками. 157 журналов приняли заведомо "бракованные" статьи к публикации, причем около 80 из них даже не подвергали их должной проверке. // ria.ru
 
   28.028.0

Fakir

BlueSkyDreamer
★★★★☆
Fakir> Забавное мнение на тему индекса цитирования :lol:
Fakir> http://ecclesiastes911.net/ru/opium_for_scholars.html
> Однако это не совсем так, если мы примем во внимание тот факт, что большинство ссылок переписаны из списков литературы, приведенных в других статьях. В результате копирования ссылок, статья, которую уже процитировали, имеет больше шансов быть цитированной снова, а после того, как её процитируют ещё раз - у неё будет еще больше шансов приобрести новые ссылки. Другими словами «всякому имеющему дастся и приумножится» (Евангелие от Матфея [25:29]; [9]).


Читаю диссер, прошлого года. В списке литературы - ссылка на Википедию. Тваюжтымать. Причём ну ладно бы сослались про что-то такое, про что нет нигде больше, хотя бы свежего нет - так ведь на тему, про которую тома написаны, достаточно свежие, а статей, в т.ч. хороших обзорных - просто немерено.

И подтверждается "модель Матфея" - очень чётко видно в списке литературы, что он минимум наполовину просто списан. Явно диссертант этих первоисточников в глаза не видел. Например, две ссылки на одну и ту же классическую работу, но под разными названиями - потому что список литературы передирался, очевидно, не менее чем из двух источников, один из которых в списке тоже присутствует, и там ссылка на классику дана с ошибкой - год перепутан и указан не заглавный автор!

Что кагбе кое-что говорит нам о качестве работы диссовета, оппонента, рецензентов, ВАКа и прочих причастных. То есть список литературы не выверяется вообще никак. Может в том трагедии большой, и нет, но... качество есть качество.

Хотя надо сказать, что это не только для нас и сейчас характерно. Так, в западных статьях, многих, начиная чуть не с 60-х дают ссылки на одну классическую работу Бете. И все, без исключения, указывают неправильную страницу :) Т.е. тоже оригинал никто даже не листал - тем более на немецком, всё равно ж не поймёшь нихрена - а друг у друга десятилетиями переписывали.
   3.6.33.6.3
Это сообщение редактировалось 21.01.2015 в 15:28
+
-
edit
 
Fakir> Что кагбе кое-что говорит нам о качестве работы диссовета, оппонента, рецензентов, ВАКа и прочих причастных. То есть список литературы не выверяется вообще никак. Может в том трагедии большой, и нет, но... качество есть качество.
вспомни "записки инженера оборонной промышленности" - там хорошо описано, как снижалось качество работ со временем.
   26.026.0

Fakir

BlueSkyDreamer
★★★★☆

Кто нам ровня?

Андрей Ворох,канд. физ.-мат. наук, ст. науч. сотр. Института химии твердого тела УрО РАН, Екатеринбург«Троицкий вариант» №18(187), 8 сентября 2015 года Андрей Ворох Разговор о российской науке в любой среде — в дружеской или профессиональной — рано или поздно поворачивает к вопросу, как «у нас» и как «у них», понимая под последними, как правило, страны Запада. В процессе обсуждения постепенно выясняется, что, дескать, «там» всё по-другому, а у нас свои традиции — зачем же сравнивать? Тем не менее через такого рода сравнения прорисовываются смутные контуры будущего, возникает фон ожидаемых изменений. // Дальше — elementy.ru
 
Так, если естественные науки стоят на двух ногах — physical science и life science, то западные страны опираются на одну ногу, а постсоветские — на другую.

Существенное различие в развитии научных дисциплин в разных странах оказывает сильное влияние и на степень коллаборации между странами и интерес к научным результатам друг друга. Например, по данным Journal Citation Reports, из 150 журналов с импакт-фактором IF>10 около 80% составляют медицинские и биологические журналы. В этих журналах публикуются ученые большинства стран, где медицина и биология являются приоритетными направлениями. Соответственно, ученые из стран, в которых приоритетны иные направления, значительно реже публикуются в высокоимпактных журналах. В конечном счете, среднее число ссылок на одну публикацию в таких странах будет существенно ниже, и прочие наукометрические показатели будут заметно отличаться от большинства стран.

Таким образом, достичь высоких наукометрических показателей для национальной науки можно только путем развития дисциплин life science. Собственно, именно таким путем пошла Польша. На рисунке можно видеть, что в Польше с 1996 по 2008 год синий круг физики постепенно уступает место зеленому кругу медицины. При этом важно заметить: одновременно двигается вперед розовый круг инженерных наук.
 


К сожалению, поскольку наше верхнее министерское руководство взяло в качестве KPI именно публикации, длину Хирша и проч. - из вышеотцитированного естественным образом вытекает и ряд имеющих место быть действий. В частности - упор на life science, как потенциально дающий наибольший выход публикаций, что хорошо для отчётности. Это само по себе, конечно, совсем не плохо, но - иногда странно. Напр., когда на биомед и биохим делается упор на Физтехе, исторически заведении в общем-то другого профиля - причём упор не столько даже на биофизические вещи, а больше биохимические. Да, под это выбиты неслабые деньги, где-то сделаны ремонты и переоборудование, отгрохан целый новый корпус (первый учебно-лабораторный корпус почти за сорок лет) - пожалуй, всё лучше, чем если бы этого всего не было. Но тем не менее странно.
   28.028.0

Fakir

BlueSkyDreamer
★★★★☆
В зарубежной научной периодике уже давно прижился термин salami slicing. Так называют одну из распространенных публикационных стратегий, когда полученный в ходе работы новый материал, подобно нарезаемому на ломтики батону колбасы, делится на множество «элементарных частиц», на основе каждой из которых затем пишется маленькая отдельная статья.
 
   28.028.0

Mishka

модератор
★★★
Хм, мой шеф, когда побывал в США с приглашённым докладом, а потом и так, приехав, рассказал такую вещь:
-- Надо публиковать любой небольшой результат. И застолбишь, и публикациии, и знать будут.

По выходу стратегия в чистом виде, как салями, но приходят к ней с другой точки.

PS Меня больше нервируют публикации и доклады об одном и том же, а засчитывают их, как разные. :( И получается, что у человека, бывает, 30 публикаций, а копнёшь глубже, дай Бог, 3 работы, а всё остальное перепевки. И самое главное, что так учат поступать.
   37.037.0
+
+1
-
edit
 

Fakir

BlueSkyDreamer
★★★★☆
Хех. Только что распивали рюмку чаю со старым приятелем, как раз убеждал его в том, что полученный им результат - а он не уверен на 100%, что этого не получал ранее никто, хотя оно вроде как простым кажется - достоин публикации в журнале. Ну простой, ну и что? Всё, что он перерыл - ничего подобного не содержит. Доклады делал в двух местах - тоже никто ничего не возразил/подсказал.
Но смущает его, что результат новый, хотя вроде бы и очень простой! Ну как же так, наверняка же кто-нибудь уже...?! Хотя этого кого-нибудь найти никак не удаётся.
Вот чего тут стесняться публиковать, казалось бы? Не может же человек остаток жизни потратить на поиски в литературе за сто лет, вдруг кто-то что-то похожее делал! А вот комплексы в нас вбиты...
   28.028.0
+
+1
-
edit
 

Fakir

BlueSkyDreamer
★★★★☆
Еще забавное на публикационные темы.

Короткие названия, длинные списки

Наталья Резник«Троицкий вариант» №21(190), 20 октября 2015 года Прошли времена, когда ученый мог, подобно Дарвину или Ньютону, десятилетиями спокойно обдумывать свою теорию. Теперь, чтобы получать финансирование, приходится публиковаться почти беспрерывно. В результате научная периодика вышла из берегов и исследователи вынуждены принимать меры, чтобы их в этом море заметили и процитировали. Безусловно, статья, напечатанная в престижном журнале и подписанная известным ученым, привлекает больше внимания. Тем же, кто еще не удостоился Нобелевской премии и публикации в Nature, имеет смысл поработать над стилем. // Дальше — elementy.ru
 
Специалисты Уорикского университета (Великобритания) предположили, что на цитируемость научной статьи влияет длина ее названия: чем оно короче, тем больше внимания привлекает.
 
   28.028.0
+
+1
-
edit
 

Fakir

BlueSkyDreamer
★★★★☆

Воспроизводимая невоспроизводимость

Генрих Владимирович Эрлих,доктор химических наук«Химия и жизнь» №8, 2015 Художник С. Тюнин Одно из самых убийственных обвинений, которые могут быть предъявлены ученому, это обвинение в невоспроизводимости представленных им результатов. Оно губит репутацию, рушит карьеру, вплоть до изгнания из научного сообщества, приводит к закрытию научного направления, к его вытеснению за пределы истинной науки и навешиванию разных уничижительных приставок — лже-, пара-, псевдо- и т. д. Когда звучат обвинения в невоспроизводимости «отдельных» исследований, подразумевается, что подавляющая часть остальных хорошо воспроизводима. // Дальше — elementy.ru
 
Во времена моей студенческо-аспирантской молодости литературные методики имели свойство воспроизводиться, и первой реакцией руководителя на сообщение, что методика не воспроизводится, были нелицеприятные предположения, откуда растут руки у исполнителя. По прошествии тридцати лет первая реакция принципиально изменилась: опять эти (неполиткорректное упоминание национальности авторов статьи) начудили. И происходит это не только в химии, но и во всех дисциплинах, где существует понятие объективной истины и где воспроизводимость результатов — необходимый критерий научности.

Оценить количественно масштабы катастрофы (а это именно катастрофа) затруднительно, потому что исследований этого явления нет и вряд ли они возможны. Но есть результаты выборочного контроля в некоторых узких областях. Так, Гленн Бигли и Ли Эллис, ведущие специалисты американской фармацевтической компании «Amgen», в статье, опубликованной в журнале Nature (2012, 483, 7391, 531–533), рассказали о предклинических испытаниях антираковых препаратов, переданных в компанию университетскими лабораториями. Из 53 проверенных препаратов лишь 6 показали удовлетворительные результаты, данные по остальным 47, опубликованные, к слову сказать, в высокорейтинговых журналах, не воспроизвелись. Несколько более оптимистичны специалисты компании «Bayer», по их данным, опубликованным годом ранее в Nature Reviews Drug Discovery, воспроизводимость работ по онкологии, сердечно-сосудистым и женским заболеваниям составляет 20–25%. И это при том, что тестирование проводили высокопрофессиональные специалисты, заинтересованные в положительном результате испытаний, — ведь таким образом компании выбирают препараты для последующей коммерческой проработки.

Эти и некоторые похожие публикации вызвали широкое обсуждение. Опросы специалистов в этих областях показали, что в среднем 55% опрошенных сталкивались с невоспроизводимостью чужих результатов. Треть опрошенных сообщали об этом в научных публикациях, причем наибольшую принципиальность проявляли «старшие» научные сотрудники, а «младшие» предпочитали не высовываться. И это понятно, потому что две трети молодых смельчаков признали, что имели проблемы при попытке опубликовать опровергающие данные.

Причины невоспроизводимости

Наибольший интерес представляют мнения участников дискуссий о причинах нарастающей невоспроизводимости научных результатов. Откровенная и сознательная подтасовка данных практически не рассматривается. Конечно, мошенники есть в любом сообществе, но, согласимся, доля таких индивидов в науке несравненно ниже, чем в других сферах человеческой деятельности — в политике, экономике, юриспруденции и т. д.
 



Следующая причина публикации «сырых» результатов — погоня за числом публикаций и индексом Хирша, который ныне возведен в ранг главного индикатора качества научной деятельности. Как говорят молодые научные сотрудники, опубликуй в высокорейтинговом журнале или умри. В результате мы наблюдаем картину, немыслимую в прежние времена, — отзыв статей из журналов (в том числе рецензируемых и высокорейтинговых) как на стадии подготовки к печати, так и после публикации из-за опровержений других исследователей.


Складывается также впечатление, что многие авторы совершенно не заинтересованы в воспроизведении своих работ другими исследователями и потому вполне осознанно опускают некоторые важные экспериментальные подробности. Раньше этим грешили патенты: кто хоть раз пытался воспроизвести пример из патента, тот поймет. Но патент на изобретение — это в первую очередь правовой документ, который устанавливает существенные признаки изобретения. А некоторые экспериментальные тонкости, ноу-хау, автор вполне может утаить как дополнительный козырь при продаже патента. С этой точки зрения патент вообще нельзя рассматривать как научную публикацию, и в рамках, например, диссертации патент может выступать только как свидетельство практической значимости.
 


Ну что многие незаинтересованы - кстати, чистейшая правда: если у тебя наука не чисто фундаментальная, а прикладная, или с прикладным выхлопом - то "какой же дурак пишет всё, что знает и умеет?" © один профессор


Впрочем, большую часть опубликованных научных результатов никто не воспроизводит и тем самым не верифицирует. Это одно из следствий того громадного вала, Big Data, научных публикаций, который производит в последние годы научное сообщество и который оно само не может переварить. Чтобы воспроизвести результаты, представленные в какой-нибудь статье, ее нужно для начала прочитать. Сколько из опубликованных статей были прочитаны хотя бы одним человеком, не знают даже Web of Science и Scopus, тем более что они охватывают не весь массив научной информации. Но можно сделать оценку, основанную на психологии. Если исследователь по какой-то причине скачал статью и прочитал ее, то он непременно когда-нибудь на нее сошлется, в положительном или отрицательном смысле или просто «до кучи», придавая солидность списку цитированной литературы.
 


"Если исследователь по какой-то причине скачал статью и прочитал ее, то он непременно когда-нибудь на нее сошлется" - фигня, кстати; по такой логике у меня должен быть ссылочный аппарат из сотен-тысяч наименований, но обычно обходимся десятком-другим. Да и на половину прочитанного ссылаться при любом раскладе глупо - ну не стоят они того.

И не все гонятся за солидностью списка литературы. Японцы так те вовсе - в своих публикациях нередко очень не любят ссылаться на кого-то, кроме себя, любимых. Самураи часто поступают так: в первой статье ссылаются на первоисточники, а в последующих своих на ту же тему - только на собственные предыдущие.

По количеству мы имеем богатую статистику — это импакт-факторы журналов, которые рассчитывают как отношение числа цитирований статей, опубликованных в определенный год, к общему числу статей, опубликованных в том же году. Возьмем теперь импакт-факторы журналов, например российских из списка ВАК. Подавляющая часть попадает в интервал от 0,01 до 0,5. Это и будет оценка среднего числа читателей одной статьи в соответствующем журнале. Несомненно, что многие из этих статей подготовлены грамотными, высококвалифицированными специалистами, изучающими узкие, специальные проблемы. Но в то же время необходимо признать, что подобное отсутствие хоть какой-то внешней экспертизы снижает внутреннюю требовательность к качеству работы и создает условия для производства и публикации недостоверных, невоспроизводимых данных.


...


При оценке таких результатов необходимо также учитывать субъективные факторы, которые обычно игнорируют «теоретики» науки. Из жизненного опыта все мы знаем, что воспроизвести какое-либо действие весьма не просто даже при наличии детальной инструкции или демонстрации. Впервые сделанное блюдо или табуретка обычно очень далеки от образца. Но, повторяя раз за разом необходимые операции, мы постепенно приближаемся к совершенству. И вроде бы делаем всё точно так же, но результат улучшается, это то, что называется «набить руку». Причем одни вещи воспроизводятся легко, на раз-два-три, а на другие уходят годы тренировок.

В науке всё происходит точно так же. Объективная истина зависит от субъективных усилий по ее достижению. Исследователю, чтобы добиться повторяемости результатов (пусть даже не очень хорошей), тоже приходится иногда пройти очень долгий путь «набивания руки» в одном конкретном эксперименте. Существуют ли гарантии, что этот эксперимент «влёт» воспроизведется у другого исследователя? Никаких. Воспроизведение будет скорее случайностью, чем правилом. Особенно если исследователь не верит, что у него что-нибудь получится, и подсознательно настроен на опровержение, а не на подтверждение.

Речь сейчас идет об исследованиях, которые не вписываются в общепринятые представления. Тут надо с очень большой осторожностью относиться к заявлениям о невоспроизводимости результатов и тем более не спешить с навешиванием ярлыков. Ведь так легко с водой выплеснуть и ребенка. Именно «странные» результаты должны быть предметом первоочередного изучения в науке. Пусть большая часть их после детального исследования будет в конце концов опровергнута и отвергнута, но то, что останется, превратится в открытия. Наука не может и не должна останавливаться в своем познании мира и сосредотачиваться на обслуживании утилитарных потребностей людей. Мы верим в грядущие открытия. Возможно, они уже сделаны. Их просто нужно воспроизвести.
 
   28.028.0
+
-
edit
 

Wyvern-2

координатор
★★★★★
Fakir> Воспроизводимая невоспроизводимость

Контрольный в голЯву:

Nature задаётся вопросом, воспроизводимы ли современные научные эксперименты?

Случайно в потоке новостей и информации наткнулся на статью в Nature Scientific Reports. В ней представлены данные опроса 1500 учёных, посвящённого... // geektimes.ru
 

:F
   46.046.0

Fakir

BlueSkyDreamer
★★★★☆
Как-то с месяц назад попался мне актуальный список ВАКовских журналов - составленный не то в прошлом, не то в текущем году. Полистал от нечего делать - и вдруг обратил внимание (а список в алфавитном порядке), что одного из ведущих отечественных физических журналов там нет (ЖЭТФ, кажется). Нунихрена ж себе! - думаю. Уже специально посмотрел то место в списке, где должен быть другой. И его нет! И третьего нет!! И даже УФН нет!!! В то время, как разная непонятная с.нь есть. А - ни одного из действительно весомых журнало! Я в оторопи. Как так? Ну как такое может быть вообще?!
Пытаюсь выдумать минимально рациональное объяснение. Может, думаю, чтобы нормальные журналы не стремились загадить статьями "для галочки", снизить поток публикаций ни о чём - их специально вынесли из списка? А! Ведь похоже! И красивый ход получается!!
Но потом оказалось - нифига. Оказалось, есть отдельный список журналов, включенных в международные базы цитирования (хотя бы в одну), каковые журналы по умолчанию являются ВАКовскими.
И никакой тебе красоты комбинации :(

А с ужесточением требований к диссертациям и повышением необходимого числа публикаций - число ненужных, в сущности, статей будет только расти :(
   51.051.0

Fakir

BlueSkyDreamer
★★★★☆

Медленная смерть университета

Исповедь «мягкотелого и деморализованного»: западная система образования и индивидуальность в эпоху «больших цифр» //  gefter.ru
 
...Ведь именно Стэнфорд и Массачусетский технологический институт создали саму модель приносящего доход университета.
...
Несколько лет назад я оставил кафедру в Оксфордском университете (событие почти столь же редкое, как землетрясение в Эдинбурге), когда осознал, что от меня ожидают, что я буду вести себя скорее не как ученый, а как гендиректор.

...

Когда я впервые пришел в Оксфорд 30 лет назад, на подобную профессионализацию посмотрели бы с патрицианским презрением. Те мои коллеги, которые действительно беспокоились о получении степени доктора философии, предпочитали порой обращение «мистер», а не «доктор», так как последнее указывало на род занятий, не приличествующий джентльмену. Издание книг считалось довольно вульгарным. В порядке вещей было напечатать одну краткую статью о синтаксисе португальского или гастрономических привычках древнего Карфагена примерно раз в десять лет.
 



Кроме того, в какой-то момент в британских университетах обучение стало менее важным делом, чем научные исследования. Деньги приносят именно исследования, а не курсы по истории экспрессионизма или Реформации. Раз в несколько лет британское государство проводит тщательную инспекцию каждого университета на месте, изучая в мельчайших подробностях результаты научных исследований каждой кафедры. Именно на этом основании предоставляются государственные субсидии. Таким образом, у ученых теперь все меньше стимулов посвятить себя преподаванию, но много причин писать ради самого письма, штампуя абсолютно бессмысленные статьи, основывая бесчисленные онлайн-журналы, пунктуально подавая на внешние исследовательские гранты вне зависимости от реальной нужды в них и получая противоестественное удовольствие, добавляя все новые строчки в свое резюме.
 


Ну тут разница есть: у них это - стало, а нам это - насаждают.


В любом случае, огромный рост бюрократии в британском высшем образовании, вызванный расцветом управленческой идеологии и жесткими требованиями государственной аттестации, означает, что у ученых теперь остается гораздо меньше времени на подготовку к занятиям, даже если они еще кажутся им достойным делом — что в последние годы представляется весьма сомнительным. Государственные инспекторы начисляют баллы за статьи с непроходимыми дебрями сносок, но популярный учебник, предназначенный для студентов и широкого круга читателей, обладает для них небольшой ценностью.

...

Многие ученые в Великобритании уже осознали, как страстно их учреждение хотело бы, чтобы все они уволились, кроме немногих известных имен, способных привлечь побольше новых клиентов.
 


"Пьер - всё как у бабочек"
   51.051.0

  • Fakir [04.11.2018 16:50]: Редактирование параметров темы

Fakir

BlueSkyDreamer
★★★★☆

Попробуй повтори

О чем говорят «разоблачения» научных результатов, оказавшихся невоспроизводимыми //  nplus1.ru
 
Дело, однако, в том, что искажения могут возникнуть и без всякой политики с идеологией, по причинам самым что ни на есть низменным.

Современная наука — это рынок. Университеты, лаборатории и отдельные исследователи соревнуются между собой за государственное финансирование, гранты, академические надбавки и тому подобное. Чтобы демонстрировать свою конкурентоспособность на этом рынке, им нужны публикации, причем желательно в престижных журналах и с высокой цитируемостью. Ученый, который за год не опубликовал ни одной статьи, рискует остаться голодным. Главный закон этого рынка — “publish or perish”, «публикуйся или пропадай».

Эта конкуренция полезна хотя бы тем, что держит ученых в тонусе. Но она же приводит к тому, что ученые стремятся что-нибудь опубликовать не тогда, когда уверены в том, что сделали значимое открытие, которым необходимо поделиться с миром, а тогда, когда подходит очередная аттестация или срок отчета по гранту.

Эта система не очень-то карает за ошибки. И это, опять же, неплохо: в противном случае в науке наступил бы паралич от страха.
 


Короче говоря, реальное устройство современной науки не очень-то поощряет чрезмерную щепетильность: ученому выгоднее опубликовать свои результаты побыстрее, даже если они основаны на не самых надежных данных; если же результаты впоследствии окажутся ошибочными — что ж, отрицательный результат — тоже результат.
 


Насколько разительные отличия от эпохи расцвета науки рубежа прошлого и позапрошлого веков! Да в сущности до середины ХХ.

Королевское общество будет публиковать результаты проверок экспериментов в психологии

Лондонское королевское общество объявило, что будет публиковать исследования, воспроизводящие чужие работы //  nplus1.ru
 
Среди причин кризиса ученые называют, в частности, предвзятость редакторов научных журналов. Как правило, журналы не хотят публиковать отрицательные результаты экспериментов, и уж тем более работы, повторяющие чьи-то исследования с любым результатом.
 


Несмотря на то, что «кризис воспроизводимости» стал заметен в первую очередь в социальных науках, в области молекулярной биологии и онкологии тоже не все хорошо — по словам специалистов из фармкомпаний, которые пытались воспроизвести множество работ по биологии раковых опухолей, далеко не все попытки привели к нужному результату. Подробнее об этом, и о проекте Reproducibility Project: Cancer Biology можно прочитать в нашем блоге «Не можем повторить».
 

Не можем повторить

Ученые отказались от планов воспроизвести 50 научных исследований рака //  nplus1.ru
 
В 2012 году биофармацевтическая корпорация Amgen сообщила, что ее специалистам удалось воспроизвести лишь шесть из 53 высокоцитируемых научных работ по онкологии. За год до этого другая компания, Bayer, не смогла воспроизвести 79 процентов, или 53 из 67 отобранных ею медицинских экспериментов. Ни Amgen, ни Bayer не раскрыли список работ, которые не получилось воспроизвести, но осадок от таких новостей остался очень серьезный.
 
   51.051.0
Это сообщение редактировалось 04.11.2018 в 17:53

Monya

опытный

Fakir> Попробуй повтори
Но, через побери, почему это не возникает в физике, математике, (проблем то ещё с головой - только на новый горизонт взобрались), а на стыке гуманитариев и наручников. Причем от гуманитариев вопросов больше?
   70.0.3538.8070.0.3538.80
+
+2
-
edit
 

Fakir

BlueSkyDreamer
★★★★☆
Может просто тревогу забили первыми. Химики на такого рода проблемы уже жаловались. В физических некоторых публикациях я часто ловлю себя на мысли "ну врут же".
   51.051.0

Monya

опытный

Fakir> Может просто тревогу забили первыми.
Может быть, спорить не буду. Но почему-то при смене поколений гуманитарная тусовка (в отличие от естественников) каждый раз поднимает пургу. Серебряный век Российской поэзии помнишь? (Могу сьязвить, конечно-кокс (относительно, ногами пишу не пинать) уж больно дешевле был, а чай по-балтийски только ленивый не вспоминал)
От технарей особой тревоги-то не слышно. Мож ошибаюсь конечно, но КМК, так выглядит.
   70.0.3538.8070.0.3538.80

Naib

аксакал

Monya> Но, через побери, почему это не возникает в физике, математике, (проблем то ещё с головой - только на новый горизонт взобрались), а на стыке гуманитариев и наручников.

В химии это давняя проблема.
Есть даже шутка:
Методики делятся на категории "получается у всех", "получается у автора", "не получается у автора".
Скажем, раньше в статьях по органике писали средний выход, а сейчас - максимальный из полученных в эксперименте.

Статьи индусов и арабов редко воспроизводятся. Любая произвольная статья с первой попытки никогда не покажет заявленного выхода продукта.
   70.0.3538.7770.0.3538.77
1 2 3 4 5

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru