tgoop.com/cryptovalerii/578
Last Update:
Прочитал хорошую обзорная статью от пацанов и Кохави - Statistical Challenges in Online Controlled Experiments: A Review of A/B Testing Methodology
Статья приятна тем, что она: а) понятная (главный критерий хорошей статьи для меня) б) по ней можно быстро пройтись и найти нужные вещи в) большинство вещей плюс/минус применимо
В очередной раз задумался, почему я не пишу статьи на архив, такую статью я наверное смог бы выдать
Основные вещи которые рассматривают
1. Sensitivity and Small Treatment Effects - классическая история, нам бы побыстрее, да поточнее
2. Triggered Analysis - а что если оценивать не всех пользователей, а только тех, кого задело? Классический случай репрезентативность vs релевантность
3. Heterogeneous Treatment Effects - fancy описание когортного анализа, чтобы оценить перфоманс разных групп в рамках а/б тест, отличии от простого колоритного анализа в том, что добавляется модель, которая изолирует остальные эффекты (на которые у нее есть фичи), в целом кажется работает если группы недостаточно большие или нету случайного ассайнмента на уровне когорты. Напоминает стратификацию
4. Long-Term Effects - тут вспоминается веселый фермер, не будет вашего итальянского сыра. Xa-xa-xa!
5. Optional stopping - иногда нужно вовремя остнановится
6. Interference - вмешательство различных нетворк эффектов и как от них изолироваться
В целом хороший обзор
#ArticleReview
BY Время Валеры
Share with your friend now:
tgoop.com/cryptovalerii/578