Привет, товарищи-статистики!
Я, наконец-то, дописал статью про мета-анализ, о котором менее строго писал ранее в канале.
https://habr.com/ru/companies/X5Tech/articles/862202/
Что важно:
- в статье есть обещанный разбор тестирования зависимых гипотез.
- формализованный вывод метода Фишера через преобразование случайной величины
- рассмотрены еще ряд статистик для независимых тестов
Постарался как и всегда дать это максимально просто, надеюсь, получилось.
Статья большая, не меньше, чем я написал про Mann-Whitney, но должна быть максимально исчерпывающей.
P.S. Аналитик из Gett - это Дима, @DVars, спасибо и тебе за мотивацию написать эту простыню)
Я, наконец-то, дописал статью про мета-анализ, о котором менее строго писал ранее в канале.
https://habr.com/ru/companies/X5Tech/articles/862202/
Что важно:
- в статье есть обещанный разбор тестирования зависимых гипотез.
- формализованный вывод метода Фишера через преобразование случайной величины
- рассмотрены еще ряд статистик для независимых тестов
Постарался как и всегда дать это максимально просто, надеюсь, получилось.
Статья большая, не меньше, чем я написал про Mann-Whitney, но должна быть максимально исчерпывающей.
P.S. Аналитик из Gett - это Дима, @DVars, спасибо и тебе за мотивацию написать эту простыню)
Хабр
Гайд по мета-анализу результатов тестов
Привет! На связи команда аналитиков «Пятёрочки» X5 Tech. Подсчитать и проанализировать можно не только A/B, но также подвергнуть анализу ряд тестов с общей нулевой гипотезой. Другими словами,...
❤19🔥9
Привет, товарищи-статистики!
На днях вышла статья коллег из X5: “Diff-in-diff: жизнь за пределами идеального эксперимента”, о том, как метод Diff-in-Diff помогает бороться со смещенным отбором (selection bias). Крайне рекомендую к прочтению, так как написано со всеми необходимыми вводными и, - что я очень люблю, - интуицией метода. А так как метод использует линейные модели, то ребята наглядно (что тоже люблю) показали, что будет, если не учитывать смещение отбора или/и тренд как со стороны оценки эффекта, так и со стороны ошибок 1-го рода.
Единственное, что я добавлю от себя, это попробую чуть больше рассказать про ковариационную матрицу в контексте гомоскедастичности ошибок регрессии, чтобы постараться сделать статью нагляднее (при всем уважении к ребятам).
Читать далее про ковариационную матрицу.
На днях вышла статья коллег из X5: “Diff-in-diff: жизнь за пределами идеального эксперимента”, о том, как метод Diff-in-Diff помогает бороться со смещенным отбором (selection bias). Крайне рекомендую к прочтению, так как написано со всеми необходимыми вводными и, - что я очень люблю, - интуицией метода. А так как метод использует линейные модели, то ребята наглядно (что тоже люблю) показали, что будет, если не учитывать смещение отбора или/и тренд как со стороны оценки эффекта, так и со стороны ошибок 1-го рода.
Единственное, что я добавлю от себя, это попробую чуть больше рассказать про ковариационную матрицу в контексте гомоскедастичности ошибок регрессии, чтобы постараться сделать статью нагляднее (при всем уважении к ребятам).
Читать далее про ковариационную матрицу.
Telegraph
Ковариационная матрица для оценки гомоскедастичности ошибок регрессии
Давайте рассмотрим некоторого школьника “111” и его результаты 10 проверочных работ по одному и тому же предмету. [81, 80, 79, 72, 72, 70, 69, 77, 77, 76] Результаты записаны последовательно, перед нами условная временная линия: На графике зеленым выделена…
🔥12👍1
Привет, товарищи-статистики!
Сегодня пост про одно из мои важных достижений, которые не касаются работы (итоги года может завтра подведу). Я получил свидетельство частного пилота, теперь пилот значит.
На самом деле бумажка у меня на руках еще с октября, мне казалось, что я быстро напишу пост по мотивам, но в итоге написал пока первую часть, вторую попозже.
Вот, делюсь впечатлениями, каково оно учиться нынче пилотировать однодвигательный летательный, надеюсь, вам будет интересно:
Читать про причастие к небу, часть-1
Сегодня пост про одно из мои важных достижений, которые не касаются работы (итоги года может завтра подведу). Я получил свидетельство частного пилота, теперь пилот значит.
На самом деле бумажка у меня на руках еще с октября, мне казалось, что я быстро напишу пост по мотивам, но в итоге написал пока первую часть, вторую попозже.
Вот, делюсь впечатлениями, каково оно учиться нынче пилотировать однодвигательный летательный, надеюсь, вам будет интересно:
Читать про причастие к небу, часть-1
🔥39👍1
И, конечно, хочу выразить пожелания всем вам в Новом Году, дорогие товарищи-статистики!
Во-первых, я бы хотел, чтобы каждый из вас следовал своим мечтам и желаниям, не сходите с курса те, кто на нем, ищите свой, кто ещё не нашелну и на мой заглядывайте :)
Во-вторых, вероятно, большая часть из нас тут рабочие люди, а потому желаю, чтобы если вы и будете менять работу в 25-м (и далее тоже), то по своей воле и своих условиях, а не по "обоюдному согласию".
В-третьих, всем, в том числе всем вашим близким, откуда вы ни были, любви, благополучия, мира и здоровья. Действительность показывает, что это сейчас уже давно в дефиците.
С наступающим Новым Годом, ребята!
Во-первых, я бы хотел, чтобы каждый из вас следовал своим мечтам и желаниям, не сходите с курса те, кто на нем, ищите свой, кто ещё не нашел
Во-вторых, вероятно, большая часть из нас тут рабочие люди, а потому желаю, чтобы если вы и будете менять работу в 25-м (и далее тоже), то по своей воле и своих условиях, а не по "обоюдному согласию".
В-третьих, всем, в том числе всем вашим близким, откуда вы ни были, любви, благополучия, мира и здоровья. Действительность показывает, что это сейчас уже давно в дефиците.
С наступающим Новым Годом, ребята!
👍17❤15💯2
Пока продолжение про полёты пишется, подведу свои итоги года, тем более Новый год на носу.
Достижения за год (по работе в целом):
- Как оказалось, курс в ноябре этого года отметил свой годик, а на текущий момент идет уже 7-ой поток, перевалили за базу! И за год я курс перелопатил прилично (при том, что горжусь и самым первым). Похоже, что в 8-ом потоке будет почти 30 встреч!
- Прочитал курс внутри X5 команде, а там ребята все мозговитые, накидывали вопросы по теории и математике без стеснения только так. Свои накинут похлеще всех прочих)
- Наша команда так-то вообще очень славно поработала в этом году. Мне кажется, мы сейчас в самом, как говорится, "ресурсном" состоянии. И это при прекрасной атмосфере. Ребят, если читаете это, вы молодцы и большое вам спасибо!
- Кажется выполнил цель по передаче всех знаний своему джуну Ване как минимум по A/B. Теперь он даст фору ОЧЕНЬ многим по A/B, в том числе сеньорам. Теперь A/B дизайнит/считает не глядя. Горжусь тобой, Ваня! Ну и кстати, передаю по секрету его слова про статистику: "действительно, надо именно понять, без этого хоть тысячу тестов сделай - не поймешь". А я что? "А я говорил" (c)
- Обо мне хорошо осведомлен департамент, который делает A/B в оффлайне и вообще вся методологи X5. Дизайны Вани хвалят, как по учебнику говорят. Ну а то!
- 3 статьи, две прям фундаментальные по базе: Мета-анализ и Mann-Whitney, последнюю писал год.
- Несколько внешних выступлений и уже 2-ое выступление вместе с Ваней на Матемаркетинге! Я бы рад и первому, но 2 это уже, имхо, весомо.
- Вообще, разделю утверждение Юры Борзило, о том, что нравится развивать культуру A/B, объяснять, рассказывать об этом, преподавать. Делал, получал удовольствие!
В 25-ом году есть мысли больше понять про LLM, RL. Точнее укрепить теор. базу, чтобы лучше понимать вектор департамента, у нас этим плотно занялись, хочется больше быть в контексте, ML-то так-то не особо интересен, скучновато. То ли дело применять в 100-ый раз t-test,всегда как в первый раз.
Ну и курс улучшать!
Из личного:
- Еще один прекрасный год с любимой и дорогой супругой. Кажется, ты, Вика, улыбалась в этом году больше, чем в прошлом)
- Съездили второй раз в жизни на Мальдивы. Пост напишу. Пока кратко скажу следующее: один раз туда точно съездить стоит, хотя бы на недельку. Это дорого, но стоит той дозы эндорфинов в глаза, сердце и душу.
- Получил, наконец, лицензию пилота. Конечно, я зелень зелёная, но и не в самом начале.
- Вместе с братом откапиталили гараж: честно, на него было страшно смотреть уже, а входить так вообще. Сейчас будто новый! Приятно.
- Добрался до последней фазы лечения зубов, правда, на самой дорогой. Однако путь был долгий. Закончу, поделюсь.
- На даче садили новые плодовые деревья, еще и виноград.
В новом году поехать бы в Японию (Влад, Артур, это все ваше влияние, засранцы): говорят, еда и проживание дешевле чем в Питере, а по атмосфере будто в будущее попал. Хотеть.
Что было не очень:
- У меня был выраженный дисбаланс в сторону работы. Мне нравится работать, но я понял, что стал согласен с фразой "жизнь по календарю это свобода", эх. Да, приходится планировать уже более чем на неделю далеко не только календарь X5.
- Из-за этого я меньше отдавал времени хобби, и мы меньше куда выбирались, больше все работа и работа. А ведь мне скучновато делать одно и тоже, хочется больше разнообразия. Тем более, что вылазки делают жизнь насыщеннее, она не так быстро пробегает! А так работаешь и раз, месяц прошёл. Wat!?
- В это лето ни разу не выехали с Викой на конные прогулки, чтоб в полях этих хитрых ссыкунов (при всей любви) пустить в галоп. И это при том, что мы нашли комфортную конюшню/
- На даче мало перегнали яблок и прочего, да и вообще как-то не шла жизнь деревенская этим летом.
- Скучал по тренажерному залу, а он там у меня ух какой: гири, штанги и прочие снаряды на любой вкус. С одной стороны сил не было ездить, а с другой я потянул ногу по своей глупости. Ну хоть дома есть пара снарядов)
Буду рефлексировать, благо есть время подумать.
Достижения за год (по работе в целом):
- Как оказалось, курс в ноябре этого года отметил свой годик, а на текущий момент идет уже 7-ой поток, перевалили за базу! И за год я курс перелопатил прилично (при том, что горжусь и самым первым). Похоже, что в 8-ом потоке будет почти 30 встреч!
- Прочитал курс внутри X5 команде, а там ребята все мозговитые, накидывали вопросы по теории и математике без стеснения только так. Свои накинут похлеще всех прочих)
- Наша команда так-то вообще очень славно поработала в этом году. Мне кажется, мы сейчас в самом, как говорится, "ресурсном" состоянии. И это при прекрасной атмосфере. Ребят, если читаете это, вы молодцы и большое вам спасибо!
- Кажется выполнил цель по передаче всех знаний своему джуну Ване как минимум по A/B. Теперь он даст фору ОЧЕНЬ многим по A/B, в том числе сеньорам. Теперь A/B дизайнит/считает не глядя. Горжусь тобой, Ваня! Ну и кстати, передаю по секрету его слова про статистику: "действительно, надо именно понять, без этого хоть тысячу тестов сделай - не поймешь". А я что? "А я говорил" (c)
- Обо мне хорошо осведомлен департамент, который делает A/B в оффлайне и вообще вся методологи X5. Дизайны Вани хвалят, как по учебнику говорят. Ну а то!
- 3 статьи, две прям фундаментальные по базе: Мета-анализ и Mann-Whitney, последнюю писал год.
- Несколько внешних выступлений и уже 2-ое выступление вместе с Ваней на Матемаркетинге! Я бы рад и первому, но 2 это уже, имхо, весомо.
- Вообще, разделю утверждение Юры Борзило, о том, что нравится развивать культуру A/B, объяснять, рассказывать об этом, преподавать. Делал, получал удовольствие!
В 25-ом году есть мысли больше понять про LLM, RL. Точнее укрепить теор. базу, чтобы лучше понимать вектор департамента, у нас этим плотно занялись, хочется больше быть в контексте, ML-то так-то не особо интересен, скучновато. То ли дело применять в 100-ый раз t-test,
Ну и курс улучшать!
Из личного:
- Еще один прекрасный год с любимой и дорогой супругой. Кажется, ты, Вика, улыбалась в этом году больше, чем в прошлом)
- Съездили второй раз в жизни на Мальдивы. Пост напишу. Пока кратко скажу следующее: один раз туда точно съездить стоит, хотя бы на недельку. Это дорого, но стоит той дозы эндорфинов в глаза, сердце и душу.
- Получил, наконец, лицензию пилота. Конечно, я зелень зелёная, но и не в самом начале.
- Вместе с братом откапиталили гараж: честно, на него было страшно смотреть уже, а входить так вообще. Сейчас будто новый! Приятно.
- Добрался до последней фазы лечения зубов, правда, на самой дорогой. Однако путь был долгий. Закончу, поделюсь.
- На даче садили новые плодовые деревья, еще и виноград.
В новом году поехать бы в Японию (Влад, Артур, это все ваше влияние, засранцы): говорят, еда и проживание дешевле чем в Питере, а по атмосфере будто в будущее попал. Хотеть.
Что было не очень:
- У меня был выраженный дисбаланс в сторону работы. Мне нравится работать, но я понял, что стал согласен с фразой "жизнь по календарю это свобода", эх. Да, приходится планировать уже более чем на неделю далеко не только календарь X5.
- Из-за этого я меньше отдавал времени хобби, и мы меньше куда выбирались, больше все работа и работа. А ведь мне скучновато делать одно и тоже, хочется больше разнообразия. Тем более, что вылазки делают жизнь насыщеннее, она не так быстро пробегает! А так работаешь и раз, месяц прошёл. Wat!?
- В это лето ни разу не выехали с Викой на конные прогулки, чтоб в полях этих хитрых ссыкунов (при всей любви) пустить в галоп. И это при том, что мы нашли комфортную конюшню/
- На даче мало перегнали яблок и прочего, да и вообще как-то не шла жизнь деревенская этим летом.
- Скучал по тренажерному залу, а он там у меня ух какой: гири, штанги и прочие снаряды на любой вкус. С одной стороны сил не было ездить, а с другой я потянул ногу по своей глупости. Ну хоть дома есть пара снарядов)
Буду рефлексировать, благо есть время подумать.
❤16👍3
Привет, товарищи-статистики!
Прошло пару дней с наступления 25-го года, можно уже немного пошевелить мозгами, держите пост про фидуциальный вывод в статистике. Но пост будет больше как история, почти без математики, и не только потому, что ещё новогоднее настроение)
Сейчас в статистике превалируют два подхода:
- частотный (фреквенсистский) - некоторый параметр (среднее) неизвестен, но фиксирован, получаем данные, считаем точечное значение, строим доверительный интервал
- байесианский - есть некоторые предварительные (априорные) представления о параметре, - вероятности его значений, поэтому на основе данных мы обновляем (уточняем) наши представления, то есть получаем апостериорное распределение параметра.
И хотя если задать приор параметра в байесе максимально неопределенным, оба подхода в A/B сойдутся по результатам, превалирует все же частотный. Потому что любой приор параметра отличный от неопределенного сомнителен, так как субъективен: имея данные я могу по-разному задать априорное распределение, просто потому, что данные теряют актуальность с некоторым течением времени и истинное, например, Mu (среднее) также смещается, вопрос в том, какой период брать. Проблема-то в том, что разные приоры дают разные результаты при A/A тестах: один даст меньше ошибок 1-го рода, но больше 2-го рода, а чуть поменяешь его - наоборот, в общем так себе с контролем параметров. Поэтому-то частотники могут высказать о баейсианцах что-то вроде: “придумываете данные (приоры), а потом тесты свои проводите, получая каждый раз разное, фу!”. Подробнее критика A/B по Байесу тут.
...Но так ли далеко они друг от друга и, может, можно как-то подбирать “правильные” приоры? Думаю над этим.
Ведь на самом деле стат. подходов аж четыре штуки, к предыдущим прибавляются следующие:
- лайклихудистский (likelihoodism) - тут он так, просто к слову, но вообще, он уже известен тем, кто использует последовательное тестирование (sequential testing), в рамках таких тестов как SPRT и mSPRT. Вообще это близкий родственники байесианского: приор дает распределение вероятности значений параметра, которые в свою очередь используются для оценки правдоподобия (likelihood), то есть что данные были получены с учетом конкретной значения параметра.
- фидуциальный (fides - вера, доверие) - увы, умершее дитя Фишера, основная суть которого в выводе на базе данных правдоподобного (которому можно “доверять”) распределения для параметра, например для среднего - его распределение в абсолютных величинах. И вот про это и поговорим подробнее. Но предупрежу: это больше рассказать про то, что стало историей, а не то, что имеет место на практике.
Ёмко о фидуциальном выводе читаем далее
Прошло пару дней с наступления 25-го года, можно уже немного пошевелить мозгами, держите пост про фидуциальный вывод в статистике. Но пост будет больше как история, почти без математики, и не только потому, что ещё новогоднее настроение)
Сейчас в статистике превалируют два подхода:
- частотный (фреквенсистский) - некоторый параметр (среднее) неизвестен, но фиксирован, получаем данные, считаем точечное значение, строим доверительный интервал
- байесианский - есть некоторые предварительные (априорные) представления о параметре, - вероятности его значений, поэтому на основе данных мы обновляем (уточняем) наши представления, то есть получаем апостериорное распределение параметра.
И хотя если задать приор параметра в байесе максимально неопределенным, оба подхода в A/B сойдутся по результатам, превалирует все же частотный. Потому что любой приор параметра отличный от неопределенного сомнителен, так как субъективен: имея данные я могу по-разному задать априорное распределение, просто потому, что данные теряют актуальность с некоторым течением времени и истинное, например, Mu (среднее) также смещается, вопрос в том, какой период брать. Проблема-то в том, что разные приоры дают разные результаты при A/A тестах: один даст меньше ошибок 1-го рода, но больше 2-го рода, а чуть поменяешь его - наоборот, в общем так себе с контролем параметров. Поэтому-то частотники могут высказать о баейсианцах что-то вроде: “придумываете данные (приоры), а потом тесты свои проводите, получая каждый раз разное, фу!”. Подробнее критика A/B по Байесу тут.
...Но так ли далеко они друг от друга и, может, можно как-то подбирать “правильные” приоры? Думаю над этим.
Ведь на самом деле стат. подходов аж четыре штуки, к предыдущим прибавляются следующие:
- лайклихудистский (likelihoodism) - тут он так, просто к слову, но вообще, он уже известен тем, кто использует последовательное тестирование (sequential testing), в рамках таких тестов как SPRT и mSPRT. Вообще это близкий родственники байесианского: приор дает распределение вероятности значений параметра, которые в свою очередь используются для оценки правдоподобия (likelihood), то есть что данные были получены с учетом конкретной значения параметра.
- фидуциальный (fides - вера, доверие) - увы, умершее дитя Фишера, основная суть которого в выводе на базе данных правдоподобного (которому можно “доверять”) распределения для параметра, например для среднего - его распределение в абсолютных величинах. И вот про это и поговорим подробнее. Но предупрежу: это больше рассказать про то, что стало историей, а не то, что имеет место на практике.
Ёмко о фидуциальном выводе читаем далее
👍13
Привет, товарищи-статистики.
Недавно впервые за много лет выиграл в розыгрыше призов, лицензию игры MFS 2024 (пруф - тут он тоже нужен, иначе еще за рекламу сочтёте) - это было неожиданно и приятно.
Чуть раньше писал о том, что получил лицензию частного пилота (продолжение рассказа еще пишу), так вот, есть у меня планы озадачиться VR-полётами. Поэтому одним из пунктов была покупка MFS 2024, подводные мне были известны: современная классика игрового рынка - сырой продукт, но летать по гугл-картам того стоит.
В связи с СВО Steam не только перестал пополняться обычными методами (благо сейчас есть сервисы), но и часть игр перестала быть доступной для покупки для российского регион. Надо было искать обходы, один из них оказался следующим: получение игры в подарок через предварительный перевод тем, кто это может подарить игру. Вопрос в том, а можно ли доверять тому, кому деньги отдаешь. В целом, биржи ок, но вот MSF штука дорогая, как-то не хотелось идти на риск, искал дальше. И поиск привел меня на группу FlyWithLeo, пролистал и добавился на будущее. В праздники увидел объявление о конкурсе, от участников ничего и не требовалось кроме как согласиться.
Ловко ввернём сюда любимую статистику: это должен быть рандомный отбор из +600 человек, то есть p~1/600. Дело не в том, как же повезло, нет, а в том, что я рекомендую относится к конкурсам такого рода по-самурайски: "вы уже проиграли". Поэтому добавились, поставили себе напоминалку на день итогов, что участвуете (т.к. если победитель не отзовётся, то будет выбор нового победителя) и... забыли. Потому что рандом безжалостен и в ваше положение не войдет) Собственно, почти, так и сделал, - забыл напоминалку себе поставить. И 7-го числа получил сообщение в ЛС от организатора Лео, мол, ты победил, а далее: kind of reminder поскорее выйти на связь, иначе тыква вместо приза! Честно, было очень неожиданно, к тому же розыгрыш был Deluxe издания, а тут он стоит весьма дорого и я его не планировал брать, стандарта вполне хватило бы.
Подарок в стиме от Лео получил, свои договорённости он выполнил: надеюсь, скоро опробуем с супругой. Но закину маленькую интригу, что это будет не просто абы какой VR, планы там приличные. А о том, почему вообще в целом я иду в VR, расскажу во втором посте про полёты.
P.S. Повторюсь, не реклама, я вообще не собираюсь тут что-то размещать"а тебе и не предлагают", чем сам не пользуюсь и не знаю, как работает. Просто делюсь личным опытом взаимодействия, вдруг тут тоже кто думает о покупке MFS 2024.
Недавно впервые за много лет выиграл в розыгрыше призов, лицензию игры MFS 2024 (пруф - тут он тоже нужен, иначе еще за рекламу сочтёте) - это было неожиданно и приятно.
Чуть раньше писал о том, что получил лицензию частного пилота (продолжение рассказа еще пишу), так вот, есть у меня планы озадачиться VR-полётами. Поэтому одним из пунктов была покупка MFS 2024, подводные мне были известны: современная классика игрового рынка - сырой продукт, но летать по гугл-картам того стоит.
В связи с СВО Steam не только перестал пополняться обычными методами (благо сейчас есть сервисы), но и часть игр перестала быть доступной для покупки для российского регион. Надо было искать обходы, один из них оказался следующим: получение игры в подарок через предварительный перевод тем, кто это может подарить игру. Вопрос в том, а можно ли доверять тому, кому деньги отдаешь. В целом, биржи ок, но вот MSF штука дорогая, как-то не хотелось идти на риск, искал дальше. И поиск привел меня на группу FlyWithLeo, пролистал и добавился на будущее. В праздники увидел объявление о конкурсе, от участников ничего и не требовалось кроме как согласиться.
Ловко ввернём сюда любимую статистику: это должен быть рандомный отбор из +600 человек, то есть p~1/600. Дело не в том, как же повезло, нет, а в том, что я рекомендую относится к конкурсам такого рода по-самурайски: "вы уже проиграли". Поэтому добавились, поставили себе напоминалку на день итогов, что участвуете (т.к. если победитель не отзовётся, то будет выбор нового победителя) и... забыли. Потому что рандом безжалостен и в ваше положение не войдет) Собственно, почти, так и сделал, - забыл напоминалку себе поставить. И 7-го числа получил сообщение в ЛС от организатора Лео, мол, ты победил, а далее: kind of reminder поскорее выйти на связь, иначе тыква вместо приза! Честно, было очень неожиданно, к тому же розыгрыш был Deluxe издания, а тут он стоит весьма дорого и я его не планировал брать, стандарта вполне хватило бы.
Подарок в стиме от Лео получил, свои договорённости он выполнил: надеюсь, скоро опробуем с супругой. Но закину маленькую интригу, что это будет не просто абы какой VR, планы там приличные. А о том, почему вообще в целом я иду в VR, расскажу во втором посте про полёты.
P.S. Повторюсь, не реклама, я вообще не собираюсь тут что-то размещать
👍7❤1
Привет, comrades-статистики,
По мотивам поста Лены (всячески рекомендую ее канал).
О генерации гипотез.
Последние несколько лет в моде быть продуктовым аналитиком, об этой роли пишут много красивых слов, хотя по мне так, как показывает практика и ожидания заказчиков, это дата-аналитик с фокусом на некоторой части бизнеса: в основном, всё сужается до приложения (самая частая вотчина просто), а точнее даже некоторой его части, за которую отвечает продакт и к кому определяется этот аналитик в помощь.
То есть существует специализация - анализировать данные именно на приложении, все прочее рынок пока что за продуктовое не принимает (и зря!). Чтобы делать это успешно, нужно разбираться с трекерами (AppMetrica, Amplitude пр.), которые будут поставлять вам логи событий, а также исследовать пути пользователя и дизайнить-считать A/B.
Это-то и отличает продуктового от прочих. Продолжение.
По мотивам поста Лены (всячески рекомендую ее канал).
О генерации гипотез.
Последние несколько лет в моде быть продуктовым аналитиком, об этой роли пишут много красивых слов, хотя по мне так, как показывает практика и ожидания заказчиков, это дата-аналитик с фокусом на некоторой части бизнеса: в основном, всё сужается до приложения (самая частая вотчина просто), а точнее даже некоторой его части, за которую отвечает продакт и к кому определяется этот аналитик в помощь.
То есть существует специализация - анализировать данные именно на приложении, все прочее рынок пока что за продуктовое не принимает (и зря!). Чтобы делать это успешно, нужно разбираться с трекерами (AppMetrica, Amplitude пр.), которые будут поставлять вам логи событий, а также исследовать пути пользователя и дизайнить-считать A/B.
Это-то и отличает продуктового от прочих. Продолжение.
🔥8
Привет, мои дорогие товарищи-статистики,
Возлагаешь на PO ответственность (пост выше) - помогай.
У гипотез в рамках конечности бюджета есть одно неприятное свойство: не все из них будут успешны, а времени и бюджет отнимут. И вроде это очевидно, но из этой конструкции всегда выбивается человеческий фактор.
Вот представьте, что у вас есть стратегия выигрыша у казино. Однако это стратегия допускает с ненулевой вероятностью, что, условно, десять ваших ставок подряд могут оказаться проигрышными. То есть по идее мы должны придерживаться стратегии и дальше, если игра будет “10 из 10”. Но насколько хватит у вас _морали_ следовать ей после 5-и проигрышей подряд? После 7-го? К 9-ому?
А если не вы игрок, а тот, кому вы ее посоветовали (=бизнес) - насколько его хватит? И вот ты объясняешь бизнесу, что да, такое может быть, но надо “просто продолжать”: вопрос не в том, усидит ли он на пятой точке ровно, нет, вопрос в том усидите ли вы на ней или будете выкинуты за борт?.. Особенно если рядом подпевают из какой-нибудь платформы Индус-3000 про автоматический успешный успех нажатием кнопки, только согласись контрактик подписать.
Отсюда при приоритизации фичей неплохо было бы учитывать вероятность успеха каждой из них для возможности провести "стат. тест" а-ля вероятность, что n гипотез будут неудачны.
Приоритизация по PIE, где P - Probability
Возлагаешь на PO ответственность (пост выше) - помогай.
У гипотез в рамках конечности бюджета есть одно неприятное свойство: не все из них будут успешны, а времени и бюджет отнимут. И вроде это очевидно, но из этой конструкции всегда выбивается человеческий фактор.
Вот представьте, что у вас есть стратегия выигрыша у казино. Однако это стратегия допускает с ненулевой вероятностью, что, условно, десять ваших ставок подряд могут оказаться проигрышными. То есть по идее мы должны придерживаться стратегии и дальше, если игра будет “10 из 10”. Но насколько хватит у вас _морали_ следовать ей после 5-и проигрышей подряд? После 7-го? К 9-ому?
А если не вы игрок, а тот, кому вы ее посоветовали (=бизнес) - насколько его хватит? И вот ты объясняешь бизнесу, что да, такое может быть, но надо “просто продолжать”: вопрос не в том, усидит ли он на пятой точке ровно, нет, вопрос в том усидите ли вы на ней или будете выкинуты за борт?.. Особенно если рядом подпевают из какой-нибудь платформы Индус-3000 про автоматический успешный успех нажатием кнопки, только согласись контрактик подписать.
Отсюда при приоритизации фичей неплохо было бы учитывать вероятность успеха каждой из них для возможности провести "стат. тест" а-ля вероятность, что n гипотез будут неудачны.
Приоритизация по PIE, где P - Probability
Telegraph
Piece of PIE
Есть много подходов в приоритизации фичей, в основном они довольно простые, что в целом разумно для быстрого разбора бэклога. Но простота этих методов не позволяет применить наработки "предков" в виде той же теории принятия решений (decision theory), потому…
👍3
Привет, товарищи-шкодеры,
Пора поговорить о современных требованиях к хардам по части написанию кода и пр., то есть о том, что нужно уметь в Python/SQL и пр. для аналитики данных в целом. В конце я дам комментарий по поводу того, что я об этом всём думаю.
В общем, окончательно прошла эра “код работает и уже хорошо, а вообще только в основном SQL запросы писал”. Требования стали на порядок выше.
Все, что приведу ниже взято на базе практик в X5, в особенности ребят, с кем работаю (лучшей команде большой привет!), а также собеседований, опыта ребят из других крупных компаний типа Yandex, OZON и пр. Что-то из без того известно, но не делается, а что-то может быть и новеньким для вас:
Что нужно по Python, SQL и т.д.
Пора поговорить о современных требованиях к хардам по части написанию кода и пр., то есть о том, что нужно уметь в Python/SQL и пр. для аналитики данных в целом. В конце я дам комментарий по поводу того, что я об этом всём думаю.
В общем, окончательно прошла эра “код работает и уже хорошо, а вообще только в основном SQL запросы писал”. Требования стали на порядок выше.
Все, что приведу ниже взято на базе практик в X5, в особенности ребят, с кем работаю (лучшей команде большой привет!), а также собеседований, опыта ребят из других крупных компаний типа Yandex, OZON и пр. Что-то из без того известно, но не делается, а что-то может быть и новеньким для вас:
Что нужно по Python, SQL и т.д.
Telegraph
Требования к Python, SQL и пр. для аналитика данных в 2025
Начнем с Python: 0. Комментируйте, в особенности функции сразу после ее определения: что делает и пр. Просить комментировать это настолько избито, что сравнимо лишь с тем, насколько часто этого до сих пор не делают. 1. Неплохо бы познакомится получше со cтандартной…
👍18🔥8💯2
Привет, товарищи-статистики!
Новые свидетели A/B с нами: пару недель назад успешно дошёл до финала 7-ой поток, отзывы выше.
Все отзывы мне дороги, - большое спасибо за ваши слова!, - но позволю себе выделить три:
- первый от того, для кого это все либо вновинку (“вкат с нуля”),
- второй от того, кто “пытался раньше, но не вышло” (и нет острой потребности, так как человек Product Owner),
- а третий (он последний) от участника прошлого потока, который возвращался к материалу.
Первые два прошли не всё, но они прошли базу (примерно половина), а это значит, словами третьего, что “ты уже будешь понимать больше чем 70% аналитиков, я не шучу, я общался”.
Не обошлось без очередных обновлений:
1. Занятий и в этот раз стало больше, - теперь наше с вами статистическое путешествие будет длится не менее 3 месяцев!
Что нового:
- Стратификация и Variance Weighted Estimators
- Paired t-test и тест Welch’a
- Switchback тесты, Проблемы конечной популяции
- Ошибки S/M, False Positive Risk
- Погружение в комбинаторику для вывода формулы Хи-Квадрат (честно, мне просто в какой-то момент надоело “вот так из воздуха” предоставлять формулу этого теста)
- Тест Колмогорова-Смирнова
В материалах про множественное тестирование переработал тему про A/B и много-много метрик: там разобрана Non-Parametric Combination и то, на что меня навел статистик Матвей Славенко (рекомендую его канал душно про дату) - поправка Хоторна-Бретца-Вестфалла. А в теме про FDR рассмотрена поправка Benjamini-Krieger-Yekutieli.
Ребят с прошлых потоков - посмотрите, пожалуйста, оно того стоит.
Да, последние темы теперь это уже прям более сложные штуки, но все так организовано, чтобы вы привыкли к этому времени к математике (а она будет): к моменту вывода формулы в n-слайдах вы уже будете оперировать свойствами дисперсии, ожидаемого значения, корреляции и ковариации. И все это будет приправлено школьной алгеброй.
Для следующего потока я уже разбил 4-ую встречу про Conf. Intervals и Z-тест на две; про Хи-Квадрат будет аж целых 3, иначе получается слишком много даже за две встречи.
К всякими временным рядам пока всё-таки не созрел, разве что может быть начну готовить материал про A/B Байесу.
2. Материал каждой лекции я пересматриваю перед встречей, поэтому он в очередной раз был переработан в сторону большей детализации. И будет перерабатываться и впредь, поток за потоком: это уже обычное дело. И всё же фидбек был и в этот раз тем же - быстровато)) Пытаюсь понять, как это поправить.
Также дополнил и то, что пишу до и после встреч - теперь заготовки занимают более 100 страниц A4) Напомню, для меня обычное дело в тексте повспоминать школьный курс алгебры а-ля возведения в степень и взятия логарифма: как-то это, что это и пр.
3. Запросы на “посмотреть бы в коде” также поступали, но тут пока без изменений - ничего нет :(. И всё же я слышу вас, буду что-то делать в этом направлении. Пока же хочу сделать обновляющийся mindmap, на который меня натолкнул участник 7-ого потока, Константин (спасибо!). Кажется, это перспективнее.
4. Google Meet меня подводит чаще обычного в этом потоке, думаю над тем, чем можно его заменить.
Продолжение далее.
Новые свидетели A/B с нами: пару недель назад успешно дошёл до финала 7-ой поток, отзывы выше.
Все отзывы мне дороги, - большое спасибо за ваши слова!, - но позволю себе выделить три:
- первый от того, для кого это все либо вновинку (“вкат с нуля”),
- второй от того, кто “пытался раньше, но не вышло” (и нет острой потребности, так как человек Product Owner),
- а третий (он последний) от участника прошлого потока, который возвращался к материалу.
Первые два прошли не всё, но они прошли базу (примерно половина), а это значит, словами третьего, что “ты уже будешь понимать больше чем 70% аналитиков, я не шучу, я общался”.
Не обошлось без очередных обновлений:
1. Занятий и в этот раз стало больше, - теперь наше с вами статистическое путешествие будет длится не менее 3 месяцев!
Что нового:
- Стратификация и Variance Weighted Estimators
- Paired t-test и тест Welch’a
- Switchback тесты, Проблемы конечной популяции
- Ошибки S/M, False Positive Risk
- Погружение в комбинаторику для вывода формулы Хи-Квадрат (честно, мне просто в какой-то момент надоело “вот так из воздуха” предоставлять формулу этого теста)
- Тест Колмогорова-Смирнова
В материалах про множественное тестирование переработал тему про A/B и много-много метрик: там разобрана Non-Parametric Combination и то, на что меня навел статистик Матвей Славенко (рекомендую его канал душно про дату) - поправка Хоторна-Бретца-Вестфалла. А в теме про FDR рассмотрена поправка Benjamini-Krieger-Yekutieli.
Ребят с прошлых потоков - посмотрите, пожалуйста, оно того стоит.
Да, последние темы теперь это уже прям более сложные штуки, но все так организовано, чтобы вы привыкли к этому времени к математике (а она будет): к моменту вывода формулы в n-слайдах вы уже будете оперировать свойствами дисперсии, ожидаемого значения, корреляции и ковариации. И все это будет приправлено школьной алгеброй.
Для следующего потока я уже разбил 4-ую встречу про Conf. Intervals и Z-тест на две; про Хи-Квадрат будет аж целых 3, иначе получается слишком много даже за две встречи.
К всякими временным рядам пока всё-таки не созрел, разве что может быть начну готовить материал про A/B Байесу.
2. Материал каждой лекции я пересматриваю перед встречей, поэтому он в очередной раз был переработан в сторону большей детализации. И будет перерабатываться и впредь, поток за потоком: это уже обычное дело. И всё же фидбек был и в этот раз тем же - быстровато)) Пытаюсь понять, как это поправить.
Также дополнил и то, что пишу до и после встреч - теперь заготовки занимают более 100 страниц A4) Напомню, для меня обычное дело в тексте повспоминать школьный курс алгебры а-ля возведения в степень и взятия логарифма: как-то это, что это и пр.
3. Запросы на “посмотреть бы в коде” также поступали, но тут пока без изменений - ничего нет :(. И всё же я слышу вас, буду что-то делать в этом направлении. Пока же хочу сделать обновляющийся mindmap, на который меня натолкнул участник 7-ого потока, Константин (спасибо!). Кажется, это перспективнее.
4. Google Meet меня подводит чаще обычного в этом потоке, думаю над тем, чем можно его заменить.
Продолжение далее.
🔥8❤5👍1
Запуск нового потока!
Начинаю неспешный набор на 8-ой поток "Наглядное АB-тестирование: от основ до современных стандартов",
Старт примерно в начале апреля, мне вновь надо время на отдых, расписание пока составляю, но оно точно будет с небольшими перерывами.
Обучение идет по вечерам, в 19 по Мск, 2-3 раза в неделю, не менее 3-х месяцев.
Список актуальных тем на скрине, о чем они - тут.
Цена теперь - 40к, и будет точно расти, но и материала стало больше! А вот условия всё те же: "каждый поток веду лично, оказывая максимальное сопровождение по материалу; веду с удовольствием, в душе педагог; подача такая, будто надо объяснить детям, чтобы они могли объяснить это другим детям"
Желающие приобщиться к делу Госсета и Фишера, смелее пишите мне в ЛС @smatrosov :) По курсу общаться только со мной.
Отзывы в посте выше.
P.S. Те, кто писал ранее - о вас помню, вы записаны, свяжусь.
Начинаю неспешный набор на 8-ой поток "Наглядное АB-тестирование: от основ до современных стандартов",
Старт примерно в начале апреля, мне вновь надо время на отдых, расписание пока составляю, но оно точно будет с небольшими перерывами.
Обучение идет по вечерам, в 19 по Мск, 2-3 раза в неделю, не менее 3-х месяцев.
Список актуальных тем на скрине, о чем они - тут.
Цена теперь - 40к, и будет точно расти, но и материала стало больше! А вот условия всё те же: "каждый поток веду лично, оказывая максимальное сопровождение по материалу; веду с удовольствием, в душе педагог; подача такая, будто надо объяснить детям, чтобы они могли объяснить это другим детям"
Желающие приобщиться к делу Госсета и Фишера, смелее пишите мне в ЛС @smatrosov :) По курсу общаться только со мной.
Отзывы в посте выше.
P.S. Те, кто писал ранее - о вас помню, вы записаны, свяжусь.
🔥14❤5👍1
Привет, товарищи-статистики!
На днях очень крутой чел, Саша Сахнов, глава стат. анализа в X5, выпустил полезное видео про t-test и мифы вокруг него. Я сразу отправлю на таймкод, который хотел бы прояснить исключительно в моменте, когда Саша будет показывать пример про логнормальное распределение. Хочется верить, я не окажу медвежью услугу коллеге)
Сначала посмотрите аккурат вместе с разбором примера с выборками до 30к из логнормального распределения, где проверка идет через кумулятив p-value (ожидается равномерное, так как верна H0). Посмотрели? Прекрасно, у Саши пример корректен, но если вы подумали, что "ага, y ну всё, вижу логнормальное - t-test не принимаю", то вы неправы.
Почему? Сейчас объясню
На днях очень крутой чел, Саша Сахнов, глава стат. анализа в X5, выпустил полезное видео про t-test и мифы вокруг него. Я сразу отправлю на таймкод, который хотел бы прояснить исключительно в моменте, когда Саша будет показывать пример про логнормальное распределение. Хочется верить, я не окажу медвежью услугу коллеге)
Сначала посмотрите аккурат вместе с разбором примера с выборками до 30к из логнормального распределения, где проверка идет через кумулятив p-value (ожидается равномерное, так как верна H0). Посмотрели? Прекрасно, у Саши пример корректен, но если вы подумали, что "ага, y ну всё, вижу логнормальное - t-test не принимаю", то вы неправы.
Почему? Сейчас объясню
Telegraph
Почему логнормальное распределение иногда нам не "бро" ?
Во-первых, Саша намекает, мол, посмотрите самостоятельно, что это такое за распределение. Во-вторых, говорит, что в _среднем_ это распределение “не наш бро”. А не вообще всегда! Почему в примере даже при 30к выборках ничего не работает? Ведь, казалось бы…
❤14👍4
Хабр
Welch's test: он вам не замена Т-test'a
Привет! С вами команда аналитиков "Пятёрочки" X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике – тест Уэлча (Welch’s Test). Постараемся максимально раскрыть, когда и...
Привет, товарищи-статистики!
Рад представить вам новую статью, уже 4-ую статью на Хабре, про Welch's test.
https://habr.com/ru/companies/X5Tech/articles/896182/
Писал я порядочно по времени; по ощущения ментально она меня опустошила не меньше, чем Mann-Whitney, и честно сказать, местами я еще сомневаюсь в некоторых частях, кроме, пожалуй, вывода оценки d, degrees of freedom.
Что вас ждет:
- Ряд сравнений с t-test'ом и то, где Welch может быть полезен.
- Разбор того, с чем на самом деле вы имеете дело, когда имеете дело со статистикой Welch'a
- Вывод корректировки d. Это будет долго, но я все постарался разжевать и сделать увлекательным
- Обзор литературы, который касается как предварительных тестов, так и о предположении изменчивости дисперсии
Вышло, как всегда, много: достойный соперник Mann-Whitney и Мета-анализу :)
Рад представить вам новую статью, уже 4-ую статью на Хабре, про Welch's test.
https://habr.com/ru/companies/X5Tech/articles/896182/
Писал я порядочно по времени; по ощущения ментально она меня опустошила не меньше, чем Mann-Whitney, и честно сказать, местами я еще сомневаюсь в некоторых частях, кроме, пожалуй, вывода оценки d, degrees of freedom.
Что вас ждет:
- Ряд сравнений с t-test'ом и то, где Welch может быть полезен.
- Разбор того, с чем на самом деле вы имеете дело, когда имеете дело со статистикой Welch'a
- Вывод корректировки d. Это будет долго, но я все постарался разжевать и сделать увлекательным
- Обзор литературы, который касается как предварительных тестов, так и о предположении изменчивости дисперсии
Вышло, как всегда, много: достойный соперник Mann-Whitney и Мета-анализу :)
❤23🔥10