​​Ловушка больших данных и корреляций
#metascience #statistics

"Всё со всем связано".

В статистическом смысле это означает, что в реалистичных сценариях практически невозможно обнаружить две переменные, взаимодействия между которыми будут характеризоваться нулевым коэффициентом корреляции. Ненулевые же статистически значимые корреляции будут сохраняться и с увеличением выборки.

В связи с данным феноменом был введён термин 'crud-фактор' или – более нейтрально – "окружающий шум" (ambient noise). Несмотря на отсутствие чёткой формализации, под crud-фактором подразумевают среднее значение всех коэффициентов корреляции между всеми возможными парами переменных.

Пример численного значения crud-фактора можно обнаружить в анализе ~ 15 000 корреляций из ~ 260 исследований, опубликованных в трёх журналах, связанных с социологией и психологией: Administrative Science Quarterly, Academy of Management Journal и Journal of Applied Psychology. На графике представлены три распределения коэффициентов корреляции, соответствующие трём журналам. Заметна их схожесть, достаточно большое стандартное отклонение и выделяющийся пик около коэффициента корреляции 0.1, что и возможно обозначить как crud-фактор. Таким образом, мы наблюдаем, что, вопреки нулевой гипотезе, вовсе не нулевая корреляция является "дефолтным" значением для такого числа сопоставляемых переменных.

Каковы следствия такого наблюдения?

1. Психологические и социальные науки во многом базируются на нулевых гипотезах. Существование crud-фактора указывает на то, что едва ли не любая нулевая гипотеза, фиксирующая коэффициент корреляции в нуле, неизбежно будет опровергнута с увеличением выборки. Получается, что более оптимальным вариантом было бы рассматривать только те корреляции, которые не попадают в диапазон, скажем, одного стандартного отклонения от значения ненулевого crud-фактора.

2. Имеет смысл уделять внимание каузальному сетевому анализу, потому что эмпирически наблюдаемые ненулевые корреляции между концептуально отличными переменными могут указывать на наличие дополнительных латентных факторов, опосредованно влияющих на взаимодействие этих переменных (достаточно вспомнить влияние генотипа на некоторые психологические характеристики).

3. С учётом наблюдаемого crud-фактора обнаружение переменных, которые, напротив, не коррелируют с большинством других переменных, может указывать на их "бессмысленность", проблемы со сбором данных или дополнительные искажения, в частности:
- парадокс Симпсона, в котором значимые тренды, присутствующие в нескольких группах, уничтожаются при их объединении;
- или влияние так называемой константы ящера (lizardman constant), обозначающей процент респондентов, нарочно заполняющих опросники неверно.

Как исследователи могут себя полностью обезопасить от crud-фактора, пока не вполне очевидно. Путь к решению должен включать в себя и более точное понимание механизмов, порождающих ненулевые корреляции, и реструктуризацию статистических основ для тестирования гипотез.

P. S. В качестве снижения градуса серьёзности оставляю ссылку на сайт c примерами абсурдных корреляций. Так вы сможете узнать, что число разводов в некоторых штатах США коррелирует с потреблением маргарина, а годовое число людей, утонувших в бассейне, коррелирует с числом фильмов, в которых снимался Николас Кейдж.