Флейм о статистике

Когда ВВС США осознали изъян со средними числами

Отрывок из книги "The End of Average" Тодда Роуза В начале 1950-х американцы измерили тела более 4000 пилотов по 140 характеристикам, чтобы спроектировать... // geektimes.ru

 

Используя данные замеров с 4063 пилотов, Дэниэлс вычислил среднее значение по 10 физическим характеристикам, которые считались самыми важными для дизайна, включая рост, окружность грудной клетки и длину рукава. Так он получил размеры «среднего пилота», каким исследователь считал такого, чьи параметры входят в средние 30% диапазона значений по каждому параметру.

До этого момента общепринятым мнением среди коллег-исследователей из ВВС было, что абсолютное большинство пилотов впишутся в средний диапазон по большинству параметров. Учёные предполагали, что значительное число пилотов будут соответствовать среднему диапазону по всем 10 параметрам. Но Гилберт Дэниэлс был поражён, когда определил истинное число таких пилотов.

Ноль.

 

850 ученых и один журнал высказались против статистической значимости

Ученые предлагают отказаться от жесткой интерпретации этого понятия //  nplus1.ru

 

Ученые должны перестать подчиняться «диктату» статистической значимости в ее традиционной интерпретации (когда показатель статистической значимости p должен быть меньше 0,05) и перестать использовать эти категории в исследованиях, считают редакторы специального выпуска журнала The American Statistician.

 

Одну из статей в номере написал известный ученый-медик, статистик и научный активист Джон Иоаннидис, который называет использование оценки статистической значимости «наиболее часто (зло)употребляемым способом получения статистических выводов». Иоаннидис, в частности, подчеркивает, что снижение порога статистической значимости, к примеру, с 0,05 до 0,005 — это временная мера, которая лишь позволит частично сдержать вал некачественных работ и отсрочить то, что он называет «смертью от статистической значимости», когда эти на самом деле некачественные, но «статистически значимые» работы затопят собой науку.

В комментарии для Nature Блейк Макшейн (Blake McShane) из Северо-западного университета в США, который ранее уже высказывался по этому же поводу, и его коллеги напоминают, что статистически не значимый результат на самом деле не доказывает истинность нулевой гипотезы, а статистически значимый — не доказывает истинность некой альтернативной гипотезы. Эти распространенные заблуждения, по их словам, искажают истинное положение вещей и даже приводят к научным конфликтам там, где их быть не должно.

Они приводят пример двух статистических анализов последствий приема противовоспалительных препаратов для сердечно-сосудистой системы. Они обнаружили одинаковую точечную оценку эффекта (20-процентное повышение риска мерцательной аритмии для пациентов, принимавших препараты), но из-за особенностей дизайна исследования доверительный интервал в одном из них составлял от минус 3 процентов до 48 процентов (p, по расчетам авторов комментария, равное 0,091, то есть результат не значим), а во втором — от 9 до 33 процентов (p=0,0003, то есть результат значим). Таким образом, считают авторы, хотя оба исследования указывают на то, что эффект, скорее всего, есть, одно из них можно использовать для безосновательного опровержения этого эффекта.

 

Ученые не призывают полностью отказаться от проверки уровня статистической значимости результата, но хотят, чтобы, во-первых, эта информация помещалась в более широкий контекст интерпретации выводов, а во-вторых, не расценивалась как стопроцентное подтверждение истинности того или иного утверждения, не оставляя пространства для естественной неопределенности в научном процессе.