Продакты не нужны

Лупа за пупу

Есть очень простой алгоритм, который позволяет понять, даёт ли что-то ваш запуск. Запомните эту последовательность (можно даже сделать себе такую татуировку, чтобы точно не забыть):

1. Проводите новый эксперимент с перекрашиванием кнопок.
2. Просите аналитика посчитать результаты эксперимента.
3. Если аналитик говорит, что на глаз явно виден кратный рост метрики, переходите к пункту 6. Если говорит, что нужно посчитать доверительный интервал с лупой посильнее, переходите к пункту 4.
4. Проверяете, что вы не Амазон.
5. Убиваете этот эксперимент, переходите к пункту 1.
6. Открываете шампанское и празднуете кратный рост.

Если для оценки эксперимента нужен калькулятор статистической значимости и ваш DAU не исчисляется десятками миллионов, значит это вопрос времени, когда эффект от эксперимента затухнет или вы выкатите изменение, которое просадит метрику на те же 0,078%, что вы получили в этом эксперименте.

www.tgoop.com/betternotworse/743

14.3K viewsNov 28, 2024 at 05:55

Лупа за пупу

Есть очень простой алгоритм, который позволяет понять, даёт ли что-то ваш запуск. Запомните эту последовательность (можно даже сделать себе такую татуировку, чтобы точно не забыть):

1. Проводите новый эксперимент с перекрашиванием кнопок.
2. Просите аналитика посчитать результаты эксперимента.
3. Если аналитик говорит, что на глаз явно виден кратный рост метрики, переходите к пункту 6. Если говорит, что нужно посчитать доверительный интервал с лупой посильнее, переходите к пункту 4.
4. Проверяете, что вы не Амазон.
5. Убиваете этот эксперимент, переходите к пункту 1.
6. Открываете шампанское и празднуете кратный рост.

Если для оценки эксперимента нужен калькулятор статистической значимости и ваш DAU не исчисляется десятками миллионов, значит это вопрос времени, когда эффект от эксперимента затухнет или вы выкатите изменение, которое просадит метрику на те же 0,078%, что вы получили в этом эксперименте.

BY Продакты не нужны