Не AБы какие тесты

Привет, товарищи статистики!

С праздником труда, товарищи! (но, надеюсь, без труда на сегодня)

Недавно в аналитических чатах, - рабочих и публичных, - скидывали ссылку на курс по прикладной статистике от Авито. Ребята из Авито заслуженно считаются одними из ведущих аналитиков в РФ; время от времени перечитываю статьи их ведущего аб-тестера, Димы Лунина, что и вам советую. В общем, не мог не ознакомиться с курсом, так как:

а) интересно, как ту или иную тему подают коллеги по цеху, как выстроена подача, а главное - логика повествования
б) интересно найти новые определения (с неожиданной стороны) известного

Надо понимать, что ни я, ни ребята не придумывали статистику; мы когда-то сами впервые открывали учебники, статьи, видеоуроки. Теперь настало наше время передавать свой опыт, а передавать мы его будет с учетом не только, как нам это подавали, но и как мы это осмысливали и как практиковали. За подачей я вижу практику и решаемые проблемы, это же переложимо и для ребят из Авито. Итак, впечатления:

Во-первых, хочется сказать, это то, что я полностью согласен с тем, что они написали на лендинге:
"90% - применение наиболее частых критериев; 5% - критериев, которые не на слуху; 5% - кастомной жести". Так оно и есть!

Во-вторых, скорее всего неспроста после вводной части про критерий и мощность переходят на биномиальный тест и его апроксимацию. Мне это говорит о том, что путь промышленной проверки стат. гипотез у Авито начинался не с A/B-тестов, а мониторинга метрик: вероятно, они следили за поведением всяких CR'ов в регистрации, оплаты и пр. в рамках некоторого временного окна соотнося с предпериодом, который служил историческими данными, наблюдали отклонения. А первые же A/B были на тоталах по CR (как и у всех без сырья по юзерам).

Интересно! Отдельно бы отметил простую подачу поправки Ейтса и упоминание про дов.интервалы Вилсона: что еще раз говорит о фокусе Авито.

В-третьих, Тимур (ведущий) рассказывал все с большим энтузиазмом, видно, что ему по душе это, нескучно + лично меня мотивирует!

Но кому я мог бы его порекомендовать?

1) Точно не новичкам.
- Ребята полуакадемичны, сразу идут с тяжелых фигур и с тем, которые волнуют именно их, это заметно (но в этом есть плюс, о нем ниже), а потому у вас должно быть на входе сразу базовый мат. аппарат с пониманием, например, что такое биномиальное распределение; они объясняют, но видят в аудитории не новичков; они прямо говорят на лендинге, что делать, если возникнут вопросы: "Подать заявку на поступление в Академию Аналитиков Авито =)"

- используют питон, подчеркивая, что ключевой навык будет такой: "студент умеет использовать специализированные библиотеки Python для решения статистических задач". Отмечу, что для решения стат. задач надо понимать статистику и то, что представляют собой все эти критерии, при этом весьма досконально. Библиотеки же являются просто удобным инструментом; сами по себе роли не играют.

Итого, требования на входе: крепкая мат.база + питон. Новички или те, кто не первый месяц ломает зубы о статистику, проходите мимо, я серьезно, может демотивировать.

2) Курс скорее подходит как доп. материал по темам статистики сильным джунам-аналитикам и выше по грейду.

3) НО! По-настоящему он может быть вам полезен, если... вы хотите работать в Авито. Если вы уделите внимание тестам, про которые они рассказывают, - особенно связанными с метриками отношения (как есть и в агреггированом виде), - и не постесняетесь взять их слова себе в уста, то у вас будет больше шансов на успех в собеседовании с ними. Темы курса - это то, что они будут спрашивать с особой тщательностью (я б так точно бы сделал); не удивлюсь, если этот курс пополнит рекомендованных список тем для кандидатов в их HR-секции.

Напоследок, надо сказать ребятам из Авито большое спасибо за вклад в образование! 👏

P.S. Их материал в том числе сказался на моем курсе, что тут скажешь, еще +1 лекция, хорошо-хорошо, убедили, биномиальное и Ко теперь в базе. Ох, я уж и забыл, что такое весь выходной потратить на презентацию.

www.tgoop.com/abba_testing/65

646 viewsedited  May 1, 2024 at 07:55

Привет, товарищи статистики!

С праздником труда, товарищи! (но, надеюсь, без труда на сегодня)

Недавно в аналитических чатах, - рабочих и публичных, - скидывали ссылку на курс по прикладной статистике от Авито. Ребята из Авито заслуженно считаются одними из ведущих аналитиков в РФ; время от времени перечитываю статьи их ведущего аб-тестера, Димы Лунина, что и вам советую. В общем, не мог не ознакомиться с курсом, так как:

а) интересно, как ту или иную тему подают коллеги по цеху, как выстроена подача, а главное - логика повествования
б) интересно найти новые определения (с неожиданной стороны) известного

Надо понимать, что ни я, ни ребята не придумывали статистику; мы когда-то сами впервые открывали учебники, статьи, видеоуроки. Теперь настало наше время передавать свой опыт, а передавать мы его будет с учетом не только, как нам это подавали, но и как мы это осмысливали и как практиковали. За подачей я вижу практику и решаемые проблемы, это же переложимо и для ребят из Авито. Итак, впечатления:

Во-первых, хочется сказать, это то, что я полностью согласен с тем, что они написали на лендинге:
"90% - применение наиболее частых критериев; 5% - критериев, которые не на слуху; 5% - кастомной жести". Так оно и есть!

Во-вторых, скорее всего неспроста после вводной части про критерий и мощность переходят на биномиальный тест и его апроксимацию. Мне это говорит о том, что путь промышленной проверки стат. гипотез у Авито начинался не с A/B-тестов, а мониторинга метрик: вероятно, они следили за поведением всяких CR'ов в регистрации, оплаты и пр. в рамках некоторого временного окна соотнося с предпериодом, который служил историческими данными, наблюдали отклонения. А первые же A/B были на тоталах по CR (как и у всех без сырья по юзерам).

Интересно! Отдельно бы отметил простую подачу поправки Ейтса и упоминание про дов.интервалы Вилсона: что еще раз говорит о фокусе Авито.

В-третьих, Тимур (ведущий) рассказывал все с большим энтузиазмом, видно, что ему по душе это, нескучно + лично меня мотивирует!

Но кому я мог бы его порекомендовать?

1) Точно не новичкам.
- Ребята полуакадемичны, сразу идут с тяжелых фигур и с тем, которые волнуют именно их, это заметно (но в этом есть плюс, о нем ниже), а потому у вас должно быть на входе сразу базовый мат. аппарат с пониманием, например, что такое биномиальное распределение; они объясняют, но видят в аудитории не новичков; они прямо говорят на лендинге, что делать, если возникнут вопросы: "Подать заявку на поступление в Академию Аналитиков Авито =)"

- используют питон, подчеркивая, что ключевой навык будет такой: "студент умеет использовать специализированные библиотеки Python для решения статистических задач". Отмечу, что для решения стат. задач надо понимать статистику и то, что представляют собой все эти критерии, при этом весьма досконально. Библиотеки же являются просто удобным инструментом; сами по себе роли не играют.

Итого, требования на входе: крепкая мат.база + питон. Новички или те, кто не первый месяц ломает зубы о статистику, проходите мимо, я серьезно, может демотивировать.

2) Курс скорее подходит как доп. материал по темам статистики сильным джунам-аналитикам и выше по грейду.

3) НО! По-настоящему он может быть вам полезен, если... вы хотите работать в Авито. Если вы уделите внимание тестам, про которые они рассказывают, - особенно связанными с метриками отношения (как есть и в агреггированом виде), - и не постесняетесь взять их слова себе в уста, то у вас будет больше шансов на успех в собеседовании с ними. Темы курса - это то, что они будут спрашивать с особой тщательностью (я б так точно бы сделал); не удивлюсь, если этот курс пополнит рекомендованных список тем для кандидатов в их HR-секции.

Напоследок, надо сказать ребятам из Авито большое спасибо за вклад в образование! 👏

P.S. Их материал в том числе сказался на моем курсе, что тут скажешь, еще +1 лекция, хорошо-хорошо, убедили, биномиальное и Ко теперь в базе. Ох, я уж и забыл, что такое весь выходной потратить на презентацию.

BY Не AБы какие тесты