🎯Можно ли доказать, что эффекта нет? Почему байесовские факторы нередко вводят в заблуждение
🐈⬛ В публикациях всё чаще встречается утверждение: «Байесовский фактор показал, что эффекта нет». Звучит уже привычно, но с научной точки зрения — некорректно.
📌Факт: ни один статистический показатель — ни p-значения, ни доверительные интервалы, ни байесовские факторы (BF) — не способен доказать, что эффект точно отсутствует. Он лишь может предоставить оценку того, насколько данные совместимы с определёнными моделями, заданными заранее.
🔍Что такое байесовский фактор и где подвох?
BF — это отношение правдоподобий двух гипотез:
H₀: эффекта нет
H₁: эффект есть (задан через распределение вероятностей — априорное распределение)
Если BF < 1, это трактуется как «в пользу H₀». Но на деле это означает лишь, что данные хуже согласуются с конкретной H₁, чем с H₀. Проблема в том, какую именно H₁ вы задали.
⚠️ Как BF "ошибается" – проблема априорного распределения:
Во многих исследованиях H₁ задаётся автоматически: например, с помощью широкого распределения Коши (0, 1), что предполагает ожидание крупных эффектов (напр., d > 0.70).
Но если реальный эффект скромный (напр., d = 0.20, что нормально), BF будет "наказывать" H₁ за чрезмерные ожидания и ошибочно предпочтёт нуль — даже если данные вполне совместимы с этим эффектом.
💉Можно смоделировать клиническое исследование: 40 пациентов в каждой группе, лёгкое улучшение от терапии (эффект d = 0.20), тогда:
🔴p < .05 — в 14% случаев
🔴BF > 3 в пользу H₀ — в 47% (!) случаев
🔴BF > 3 в пользу H₁ — в 7%
То есть почти в половине случаев BF «решает», что терапия неэффективна, хотя на деле эффект есть — просто слабый. Эта ошибка критична в контексте, где реальные эффекты зачастую малы, но стабильны и кумулятивны.
🧠Что об этом говорит философия науки?
🤓 Эффект — это не "вещь в мире", а паттерн в данных, зависящий от:
🔴конструкции исследования,
🔴уровня анализа (индивид / группа / популяция),
🔴теоретических допущений,
🔴используемой модели (включая априорное распределение).
📣 Эффект — это не "есть или нет". Это то, как данные структурированы нашим инструментом.
❗️Байесовские факторы:
🟣предполагают заранее заданную H₁, которая часто не соответствует реальному эффекту
🟣требуют явной теоретической модели для априорного распределения, которой часто нет
🟣используются без достаточного контроля над допущениями априорного распределения (напр., настройки по умолчанию в статистических пакетах Коши с масштабом 0.707), что приводит к ложной уверенности в "нуле".
📌Частотные методы при этом:
🟠не требуют априорного распределения,
🟠дают диапазон возможных эффектов,
🟠предоставляют возможность задать зону клинической или практической эквивалентности
✔️Что делать?
✅Не полагаться на BF как на абсолютный критерий отсутствия эффекта
✅Оценивать доверительные интервалы
✅Использовать тест эквивалентности (TOST), чтобы честно исключать практически значимые эффекты
✅Всегда осмысленно задавать априорное распределение, если всё же используется BF
✅Не делать выводов «эффекта нет»
🧭Итого
🟣BF не доказывает, что эффекта нет — он показывает, насколько данные согласуются с конкретной H₁
🟣Если априорное распределение на эффект задано неправдоподобно, BF может ввести в заблуждение
🟣Эффект — это структурное соотношение в данных, а не объективное свойство «в мире»
🟣Малые эффекты — норма, а не артефакт, их нельзя просто «объявить нулевыми»
🎯Можно ли доказать, что эффекта нет? Почему байесовские факторы нередко вводят в заблуждение
🐈⬛ В публикациях всё чаще встречается утверждение: «Байесовский фактор показал, что эффекта нет». Звучит уже привычно, но с научной точки зрения — некорректно.
📌Факт: ни один статистический показатель — ни p-значения, ни доверительные интервалы, ни байесовские факторы (BF) — не способен доказать, что эффект точно отсутствует. Он лишь может предоставить оценку того, насколько данные совместимы с определёнными моделями, заданными заранее.
🔍Что такое байесовский фактор и где подвох?
BF — это отношение правдоподобий двух гипотез:
H₀: эффекта нет
H₁: эффект есть (задан через распределение вероятностей — априорное распределение)
Если BF < 1, это трактуется как «в пользу H₀». Но на деле это означает лишь, что данные хуже согласуются с конкретной H₁, чем с H₀. Проблема в том, какую именно H₁ вы задали.
⚠️ Как BF "ошибается" – проблема априорного распределения:
Во многих исследованиях H₁ задаётся автоматически: например, с помощью широкого распределения Коши (0, 1), что предполагает ожидание крупных эффектов (напр., d > 0.70).
Но если реальный эффект скромный (напр., d = 0.20, что нормально), BF будет "наказывать" H₁ за чрезмерные ожидания и ошибочно предпочтёт нуль — даже если данные вполне совместимы с этим эффектом.
💉Можно смоделировать клиническое исследование: 40 пациентов в каждой группе, лёгкое улучшение от терапии (эффект d = 0.20), тогда:
🔴p < .05 — в 14% случаев
🔴BF > 3 в пользу H₀ — в 47% (!) случаев
🔴BF > 3 в пользу H₁ — в 7%
То есть почти в половине случаев BF «решает», что терапия неэффективна, хотя на деле эффект есть — просто слабый. Эта ошибка критична в контексте, где реальные эффекты зачастую малы, но стабильны и кумулятивны.
🧠Что об этом говорит философия науки?
🤓 Эффект — это не "вещь в мире", а паттерн в данных, зависящий от:
🔴конструкции исследования,
🔴уровня анализа (индивид / группа / популяция),
🔴теоретических допущений,
🔴используемой модели (включая априорное распределение).
📣 Эффект — это не "есть или нет". Это то, как данные структурированы нашим инструментом.
❗️Байесовские факторы:
🟣предполагают заранее заданную H₁, которая часто не соответствует реальному эффекту
🟣требуют явной теоретической модели для априорного распределения, которой часто нет
🟣используются без достаточного контроля над допущениями априорного распределения (напр., настройки по умолчанию в статистических пакетах Коши с масштабом 0.707), что приводит к ложной уверенности в "нуле".
📌Частотные методы при этом:
🟠не требуют априорного распределения,
🟠дают диапазон возможных эффектов,
🟠предоставляют возможность задать зону клинической или практической эквивалентности
✔️Что делать?
✅Не полагаться на BF как на абсолютный критерий отсутствия эффекта
✅Оценивать доверительные интервалы
✅Использовать тест эквивалентности (TOST), чтобы честно исключать практически значимые эффекты
✅Всегда осмысленно задавать априорное распределение, если всё же используется BF
✅Не делать выводов «эффекта нет»
🧭Итого
🟣BF не доказывает, что эффекта нет — он показывает, насколько данные согласуются с конкретной H₁
🟣Если априорное распределение на эффект задано неправдоподобно, BF может ввести в заблуждение
🟣Эффект — это структурное соотношение в данных, а не объективное свойство «в мире»
🟣Малые эффекты — норма, а не артефакт, их нельзя просто «объявить нулевыми»
Hui said the time period and nature of some offences “overlapped” and thus their prison terms could be served concurrently. The judge ordered Ng to be jailed for a total of six years and six months. You can invite up to 200 people from your contacts to join your channel as the next step. Select the users you want to add and click “Invite.” You can skip this step altogether. How to Create a Private or Public Channel on Telegram? Over 33,000 people sent out over 1,000 doxxing messages in the group. Although the administrators tried to delete all of the messages, the posting speed was far too much for them to keep up. Telegram desktop app: In the upper left corner, click the Menu icon (the one with three lines). Select “New Channel” from the drop-down menu.
from us
