Антология идей

В науке довольно много держится на конвенциях и часто к этим конвенциям обращаются, как для обоснования тех или иных решений, так и для упрощения каких-то практик в исследовательской работе. Наверное, самая известная и часто критикуемая в последнее время конвенция – это отклонение нулевой гипотезы, если p < 0.05.

При этом, конвенциональность периодически понимается очень вульгарно как нечто произвольно или случайно выбранное, что меня, конечно, раздражает. Сразу представляется нереалистичный образ нескольких старых белых пожилых мужчин, которые в начале XX века собрались на симпозиуме и договорились о случайно выбранном уровне альфа.

Альтернативный и более разумный вариант понимания конвенциональности отсылает нас к истории и социологии науки, в том числе статистики, и показывает, что исторически этот вариант возник не случайно и неслучайно закрепился.

Недавно как раз наткнулся на очень любопытную работу, в которой разбирается кусочек истории статистики и обсуждаются возможные причины, почему закрепилось пороговое значение равное 0.05. В частности:

- компьютеров в начале XX века не было и поэтому практики использовали специальные таблицы для статистических расчётов.

- некоторые из таких таблиц давали возможность рассчитывать только значения критерия (хи квадрата, t Стьюдента и т.д.) и сравнивать полученное значение с табличным, которое соответствовало пороговому уровню значимости при заданной степени свободы, то есть таблицы экономили силы и позволяли не рассчитывать вручную точное значение p value.

- само использование таких таблиц популяризировал Рональд Фишер, который описал подобный вариант в своей работе 1925 года «Statistical Methods for Research Workers», а затем стал секретарём Комитета по таблицам Британской ассоциации и использовал свою позицию, чтобы адаптировать чужие таблицы под собственный золотой стандарт.

- сам золотой стандарт таблиц опирался на уровень значимости 0.05, который Фишер привязывал к 5% вероятности получить экстремальные значения выше двух стандартных отклонений от среднего у нормально распределённой случайной величины.

В эпоху компьютеров и статистических пакетов про такие таблицы все уже забыли, но конвенции по инерции остались.

PubMed Central (PMC)

Before p < 0.05 to Beyond p < 0.05: Using History to Contextualize p-Values and Significance Testing

As statisticians and scientists consider a world beyond p < 0.05, it is important to not lose sight of how we got to this point. Although significance testing and p-values are often presented as prescriptive procedures, they came about through ...

www.tgoop.com/anthological/54

1.9K viewsNov 15, 2023 at 22:51

В науке довольно много держится на конвенциях и часто к этим конвенциям обращаются, как для обоснования тех или иных решений, так и для упрощения каких-то практик в исследовательской работе. Наверное, самая известная и часто критикуемая в последнее время конвенция – это отклонение нулевой гипотезы, если p < 0.05.

При этом, конвенциональность периодически понимается очень вульгарно как нечто произвольно или случайно выбранное, что меня, конечно, раздражает. Сразу представляется нереалистичный образ нескольких старых белых пожилых мужчин, которые в начале XX века собрались на симпозиуме и договорились о случайно выбранном уровне альфа.

Альтернативный и более разумный вариант понимания конвенциональности отсылает нас к истории и социологии науки, в том числе статистики, и показывает, что исторически этот вариант возник не случайно и неслучайно закрепился.

Недавно как раз наткнулся на очень любопытную работу, в которой разбирается кусочек истории статистики и обсуждаются возможные причины, почему закрепилось пороговое значение равное 0.05. В частности:

- компьютеров в начале XX века не было и поэтому практики использовали специальные таблицы для статистических расчётов.

- некоторые из таких таблиц давали возможность рассчитывать только значения критерия (хи квадрата, t Стьюдента и т.д.) и сравнивать полученное значение с табличным, которое соответствовало пороговому уровню значимости при заданной степени свободы, то есть таблицы экономили силы и позволяли не рассчитывать вручную точное значение p value.

- само использование таких таблиц популяризировал Рональд Фишер, который описал подобный вариант в своей работе 1925 года «Statistical Methods for Research Workers», а затем стал секретарём Комитета по таблицам Британской ассоциации и использовал свою позицию, чтобы адаптировать чужие таблицы под собственный золотой стандарт.

- сам золотой стандарт таблиц опирался на уровень значимости 0.05, который Фишер привязывал к 5% вероятности получить экстремальные значения выше двух стандартных отклонений от среднего у нормально распределённой случайной величины.

В эпоху компьютеров и статистических пакетов про такие таблицы все уже забыли, но конвенции по инерции остались.

BY Антология идей