Моя не любимая часть работы аналитиком😑

Я очень не люблю ковыряться и настраивать всякое окружение и библиотеки, т.к. не вижу в этом аналитической ценности.

Т.е. как инструмент они конечно же мне нужны, но вот все танцы с бубнами вокруг настройки ПО не доставляют удовольствия. Если бы мне это нравилось я бы наверное пошел в сис админы.

Еще веселее становится, когда это дело надо настроить на корп сервере где у тебя нет прав на инсталл того что тебе надо и ты должен идти в ТП и просить чтобы тебе завезли нужные пакеты, а потом оказывается, что какие-то из этих пакетов не совместимы и тебе нужны другие и тебе нужно снова идти в ТП.

Попутно идешь читать статьи про то как пофиксить проблему, а там предлагают изменить какой-то системный файл, на редактирование которого у тебя также нет прав😥

У меня все, просто пост аналитического бомбежа с утра🤬🤯😡

Делитесь в комментах вашими историями о том что бесит вас⤵️

Давайте увеличим трафик на период проведения эксперимента?📈

Каждый АБ тестер рано или поздно сталкивается с ситуацией, что для того чтобы проверить гипотезу на определенном уровне MDE у него недостаточно трафика или его нужно собирать очень-очень долго.

В такие моменты появляется идея, а давайте на период эксперимента увеличим трафик, попросим рекламщиков закупить больше трафика на нужные нам страницы или повесим баннер на главной в нашем приложении.

Так мы увеличим число пользователей, которые смогут попасть в эксперимент. Вроде на первый взгляд хорошая идея, но у неё есть риски.

Представим что у вас есть страничка на сайте где вы хотите провести АБ тест. Вы попросили закупить на неё больше трафика чтобы сократить время эксперимента, а после отдел рекламы отключит дополнительный трафик.

Важно понимать, что трафик не однороден. Внутри трафика есть разные сегменты с разными потребностями, с разной степенью готовности к целевому действию.

Одно из важных условий чтобы мы могли экстраполировать выводы по АБ тесту на всю совокупность это репрезентативность. В нашем случае под совокупностью я имею всех тех кто сможет потенциально попасть под экспериментальное воздействие придя в наш продукт.

Когда мы запускаем АБ тест на одной структуре трафика, а потом резко меняем структуру трафика, отключая дополнительные источники трафика, после экспа, то мы сильно рискуем, что эффект после раскатки не сохранится или изменится.

Т.к. по сути мы тестировали изменение на одной аудитории, а работать это изменение будет на другой аудитории, где уже не будет определенного большого сегмента. Такой вот неочевидный момент, который важно держать в уме при планировании эксперимента.

А что ты сделал для хип-хопа АБ тестов? 👨‍💻

Сегодня вспомнил, что ровно год как я пришел в Альфа-Банк. Решил по рефлексировать, а что за это время удалось сделать для развития АБ тестирования в банке?

🔸 1. Пересобрал процесс АБ тестирования для команды сайта и скорректировал методологию

🔸 2. Провел около 80 консультаций для коллег по вопросам АБ тестов

🔸 3. Провел аудит работы двух АБ платформ

🔸 4. Подготовил 6 обучающих видео про АБ тесты и около 10 разборов частых вопросов

🔸 5. С коллегами организовали внутри банка митап по АБ тестам

🔸 6. В alfa digital news выпустил серию постов про АБ тесты и провели конкурс

🔸 7. Выступил на Матемаркетинге от лица банка с докладом про ошибки в АБ

В целом я доволен, но не стоит останавливаться, на самом деле есть много моментов которые можно развивать. Это и развитие платформ АБ и развитие методологии и проведение более глубоких предэкспериментальных исследований.

Кроме этого также важно заниматься просветительской работой внутри компании по вопросам экспериментов, а также работать над PR составляющей во вне, через организацию митапов и участие в конференциях.