Статистика и R в науке и аналитике

Обращайте внимание на проблему множественных сравнений! Даже в моем примере обнаружились статистические значимые различия там, где их не должно быть, в двух строках (2 и 14). Различий быть не должно, поскольку и "контрольная" и "экспериментальная" группы генерируются из одного распределения (стандартного нормального со средним 0 и стандартным отклонением 1). Следовательно, мы совершили ошибку первого рода, когда нашли различия там, где их нет.
Я сталкивалась с исследованиями у медиков, где они собирали как можно больше анализов, измеряли как можно больше антропометрических данных (рост, вес, толщина плеча, отношение толщины плеча к толщину предплечья), чтобы все-таки найти значимые отличия хоть где-нибудь. И ведь находили! Но на самом деле вопросы даже не к самим студентам или ординаторам, а к их научным руководителям, которые не ставили четкую гипотезу и дизайн эксперимента, и к комиссии, где без заветного p-value < 0.05 можно и не получить диплом.

Мораль такая, что измерить больше параметров не значит лучше, нужно формулировать гипотезу ДО начала эксперимента, чтобы не получилось слишком много сравнений, поскольку после применения поправки на множественное тестирование может пропасть вся значимость.
Поэтому уметь сделать много тестов Стьюдента за раз - это хорошо, а еще лучше понимать, нужно ли это делать, и может быть сделать есть смысл сделать только несколько самых важных тестов.

Так что рекомендую всем подписчикам, формулируйте гипотезы заранее, остерегайтесь проблем с множественным тестированием и помните, что p-value > 0.05 - тоже результат!

#R #stats #tidyverse

www.tgoop.com/stats_for_science/68

3.9K viewsMay 16, 2023 at 05:31

Обращайте внимание на проблему множественных сравнений! Даже в моем примере обнаружились статистические значимые различия там, где их не должно быть, в двух строках (2 и 14). Различий быть не должно, поскольку и "контрольная" и "экспериментальная" группы генерируются из одного распределения (стандартного нормального со средним 0 и стандартным отклонением 1). Следовательно, мы совершили ошибку первого рода, когда нашли различия там, где их нет.
Я сталкивалась с исследованиями у медиков, где они собирали как можно больше анализов, измеряли как можно больше антропометрических данных (рост, вес, толщина плеча, отношение толщины плеча к толщину предплечья), чтобы все-таки найти значимые отличия хоть где-нибудь. И ведь находили! Но на самом деле вопросы даже не к самим студентам или ординаторам, а к их научным руководителям, которые не ставили четкую гипотезу и дизайн эксперимента, и к комиссии, где без заветного p-value < 0.05 можно и не получить диплом.

Мораль такая, что измерить больше параметров не значит лучше, нужно формулировать гипотезу ДО начала эксперимента, чтобы не получилось слишком много сравнений, поскольку после применения поправки на множественное тестирование может пропасть вся значимость.
Поэтому уметь сделать много тестов Стьюдента за раз - это хорошо, а еще лучше понимать, нужно ли это делать, и может быть сделать есть смысл сделать только несколько самых важных тестов.

Так что рекомендую всем подписчикам, формулируйте гипотезы заранее, остерегайтесь проблем с множественным тестированием и помните, что p-value > 0.05 - тоже результат!

#R #stats #tidyverse

BY Статистика и R в науке и аналитике