В начале года я писал, что неожиданно для самого себя попал в рейтинг телеграм-каналов по аналитике, хотя каналу было всего 2 месяца.

Этот рейтинг составляли ребята из NewHR, а вместе с ним они проводили и большой опрос аналитиков. И сейчас они запустили новое исследование!

Это огромная и очень полезная работа, потому что по итогам независимого опроса мы с вами получим самую актуальную информацию, которая нужна для обучения и построения карьеры: рейтинг компаний для работы, тренды в скиллсете, форматы занятости, текущие зарплатные вилки и много другое.

Пройти опрос ➡️

Если еще не проходили опрос - постарайтесь поучаствовать. Чем больше голосов, тем более статзначимый результат.

А если этот пост соберет 150 разных реакций, то как только выйдет исследование - я напишу его обзор с самыми важными и полезными для вас пунктами!

Опережающие и отстающие метрики 🤑

Хочу затронуть очень важную тему - опережающие и отстающие метрики.

Давайте коротко. Отстающая метрика - это когда ты понимаешь, что все плохо, когда уже все случилось. Пример - выручка. В конце месяца ты понял, что не выполнил план, хотя надеялся до последнего. Опережающая метрика - это некий показатель, по которому ты заранее можешь увидеть, что winter is coming ситуация портится. Пример - оценка качества продукта. Если продукт испортился, какое-то время его еще будут покупать, но со временем сарафана/повторных платежей станет мало, а плохих отзывов - много, что снизит выручку.

И в чем прикол - почти на всех дашбордах выведены отстающие метрики. Выручка, прибыль, средний чек и прочее. Прогноз выручки - тоже не опережающая метрика, потому что она хоть и заранее считает результат будущего периода, но делает это на основании исторических данных. Значит, если что-то начало портиться только сегодня, то на прогноз это повлияет не скоро.

А в идеале всей команде смотреть и в опережающие метрики тоже (а точней даже в них больше)! Опережающие метрики надо контролить каждый день, потому что они показывают моментальное состояние бизнеса и на него можно повлиять почти сразу.

Вот несколько дополнительных примеров опережающих метрик: количество лидов (падение видно моментально), уровень удовлетворенности продуктом (плохие отзывы прилетают сразу), % жалоб от всех пользователей, n-day retention по свежим когортам, open rate писем (не открывают = снижается лояльность к бренду) и так далее.

Еще интересно, что некоторые метрики могут быть одновременно и опережающими, и запаздывающими, в зависимости от контекста. Например, распределение продаж по тарифам (по сути, средний чек). Если распределение сдвинулось в сторону более дешевых тарифов, то мы почти моментально можем заметить это и исправить - за счет этого выручка не упадет сильно. В данном случае это опережающая метрика. Однако сам факт падения среднего чека можно рассматривать как запаздывающую метрику - это ведь уже случилось, но это можно было отследить заранее (хоть и иногда сложно). Например, отслеживая - на какие тарифы люди оставляют заявки, какой сегмент лидов у приходящих заявок и так далее.

Надо сказать, что мы и сами сильно сейчас ориентированы на запаздывающие метрики. Будим чинить)

Давайте подытожим. Если вы по бизнесовой части - скорее смещайте свой фокус на опережающие метрики. Если вы аналитик - посмотрите свои дашборды и предложите новый подход тем, кто ваши дашборды смотрит. А если только учитесь - это отличная идея для уникального проекта в портфолио 😉

Нас всех заменит GPT 😈

В среду выступал на конференции GCONF, которую организовали Дима Мацкевич и Леша Хахунов. Рассказывал, как можно использовать AI для решения прикладных задач. И так вдохновился, что решил написать для вас пост, как решать аналитические задачи с помощью ChatGPT!

Спойлер: GPT нас всех не заменит, но жить становится сильно проще.

Я не большой фанат использования ИИ в работе (почему - подробно описал в этом посте). Однако стоит признать: ChatGPT отлично может выполнять роль вашего ассистента-подавана и быстро решать те задачи, на которые у вас уйдет уйма времени.

За последние полгода чатик стал сильно умней и круто подходит для решения adhoc-задачек. Он читает таблицы или целые архивы с файлами, строит графики, пишет код и сразу же его запускает, размышляет и многое другое.

Чтобы вы сами могли посмотреть, как это работает, я подготовил для вас пример - загрузил в чатик набор данных об активности пользователей и начал с ним решать аналитические задачки: делать когортный анализ n-day retention, строить барчарт активности по месяцам и так далее.

Обратите внимание на качество графиков - просто топ!

Чтобы посмотреть наш с ним диалог, просто перейдите по ссылке (да, теперь в ChatGPT можно шерить диалоги): https://chatgpt.com/share/6712030f-a878-8006-ab98-7c20252a69fb

К сожалению, картинки и файлы пошерить нельзя, поэтому прикреплю их в комментарии к этому посту.

Чтобы качественно работать с ChatGPT, нужно руководствоваться рядом важных метапринципов - как строить диалог, как нагружать его задачами, как давать обратную связь и прочее. Если интересно узнать про это подробнее - накидайте реакций, сделаю про это отдельный большой пост.

ANDRON ALEXANYAN

Большой датасет с временными рядами + блокнот с заготовкой

Давно не писал в канал - завалило рабочими задачами, делаем много классных штук, скоро начну про них рассказывать. А сегодня подготовил для вас максимально полезный пост, достойный ваших сохраненок.

Короче, я как-то писал, что занимаюсь ресерчем в области time series processing. И в своих исследованиях я наткнулся на чуть ли не самый большой датасет с временными рядами для тестирования моделей классификации, кластеризации, прогнозирования, интерполяции и других штук - UCR Time Series Classification Archive. Теперь кручу его со всех сторон.

Надо сказать, что раздобыть этот датасет не так-то просто - авторы знатные шутники. Сначала ты должен найти их сайт. Затем скачать архив. Потом открыть pdf-ку с описанием. Затем дочитать ее до конца, чтобы понять, какой пароль от архива. А чтобы узнать пароль от архива, ты должен найти в интернете статью одного из авторов и найти там фразу «every item that we ... » - и вот продолжение этой фразы и является паролем 🤡

В общем, ребята - большие красавчики, но я все же сэкономлю вам немного времени. Пароль от архива - attempt to classify (в одно слово).

А чтобы вам было еще полезней - сделал для вас блокнот в Google Colab, где показал, как работать с этим датасетом. Там, кстати, много прикольных фишек:

- Как с помощью Python разархивировать архив с паролем
- Как запустить функцию в отдельном потоке, чтобы она работала в фоновом режиме
- Несколько фокусов работы с Matplotlib

Если вам такой контент полезен - поставьте реакцию! А когда наберем 250 разных реакций, я выложу еще один блокнот, где покажу - как на этом датасете можно сравнивать эффективность моделей для обработки временных рядов!

Сегодня особенный день.

Во-первых, нечасто встречаешь дату, из которой можно собрать сразу два покерных фул хауса! Кто не играет в покер - снизу будет расшифровка 😅

А, во-вторых, сегодня провожу большущий вебинар, на котором разберу тестовое задание на позицию junior-аналитика в Самокат. Посмотрим, пройду ли я отсев!

Будем проводить аналитику продаж с помощью SQL и даже соберем мини-дашборд в Metabase! Все разберем по шагам, вам точно зайдет)

А еще подготовил для вас бомбический бонус. Без шуток - бонус реально очень крутой, а не какая-то шляпа. Для нас это большой вызов, поэтому даем его только в лайве и только самым лояльным. Подробности - на эфире, регистрируйтесь 👇

Зарегистрироваться на сей бомбический эфир

Расшифровка шутки про покер: фул хаус - когда 2 карты одного номинала и еще 3 другого. В нашем случае: 12112024 и 12112024. Ставь мужика-ржомбу 😂, если тоже любишь гиковские шутки (иногда).

Через меня проходит много пет-проектов, и я выделил топ-5 ошибок, которые встречаются практически в каждом. Проверьте себя - нет ли таких грешков в ваших проектах?)

Где размещать проект

Кто-то присылает ссылку на google colab, кто-то блокнот ipynb, кто-то архив, кто-то py-файл... Короче, кто во что горазд.

Есть только единственный вменяемый способ поделиться проектом - публичный репозиторий на Github. Если мне нужно сделать что-то кроме git clone ... - значит такой проект можно дальше не смотреть.

Необходимые библиотеки

Если вы используете специализированные библиотеки в своем коде, то обязательно создавайте в корне проекта файлик requirements.txt со списком актуальных библиотек и их версий. Это очень легко можно сделать, если перед пушем проекта на гит выполнить команду pip freeze > requirements.txt (только нужно делать это, активировав виртуальное окружение).

Это нужно, потому что любой проект я разверну так:

git clone https://github.com/...
cd projectname
python -m venv venv
./venv/scripts/activate
pip install -r requirements.txt

Склонил репозиторий - перешел в папку - создал виртуальное окружение - активировал его - установил зависимости. После этого ваш скрипт у меня запустится без проблем.

Мусор в репозитории

Есть ребята, кто размещают проекты на Github, но там много мусора. Запомните - в репе не должно быть папок venv, .idea, __pycache__ и прочих прелестей. Это все должно добавляться в .gitignore.

Описание, как работает проект

Сделайте хотя бы минимальный readme-файл. Минимальные системные требования (не все библиотеки работают на всех ОС + есть ограничения по версиям питона), как запустить код, где лежат данные, какие входные аргументы, как их менять и что они значат, что вообще код делает. В общем, простой мануал для тех, кто первый раз видит ваш проект.

Хардкодинг пути до файла

Частая история - у автора кода на домашнем компьютере файлик лежит в папке C:/Desktop/pussycat/data.txt. И именно этот путь он зашивает в код. А у меня на компьютере может не быть диска C и уж точно папки pussycat.

Хорошая практика - делать путь относительным, в формате «файл data.txt на одном уровне с текущим файлом с кодом» .Это делается с помощью того же модуля os.

Если кому-то эта инфа актуальна сейчас - обязательно поделитесь этим постом, чтобы в мире стало больше хорошо оформленных проектов 🎶

ANDRON ALEXANYAN

Около 6 лет назад я участвовал в создании прикольного сервиса на основе ML. Мы делали облако для матчинга фотографий с мероприятий и участников этих мероприятий.

Работало это так: компания загружала пачку фотографий с мероприятий (например, корпоративов или конференций), а участникам на основании их аватарок подгружались только те фотографии, на которых они присутствуют.

Прикольно, что сейчас такой функционал есть практически в любом хранилище фото, но тогда это было диковинкой.

Давайте рассмотрим, как это работало под капотом:

1/ Компания загружала фотографии, которые с помощью opencv и numpy превращались в матрицы и тензоры с числами.
2/ Далее на каждой фотографии мы искали лица с помощью dlib или аналогичных библиотек.
3/ После этого каждое найденное лицо подавалось на вход сверточной нейронной сети (как сейчас помню - я использовал SphereFace CNN) и на выходе получался уникальный вектор-эмбеддинг из 512 чисел.
4/ Далее мы снижали размерность получившегося вектора с помощью метода главных компонент PCA, чтобы с ним было проще работать.
5/ Шаги 1-4 мы проделывали и с аватарками пользователей.
6/ Далее мы решали задачу многоклассовой классификации. 1 пользователь = 1 аватарка = 1 класс. Нам нужно каждое найденное лицо отнести к конкретному классу. Это будет эквивалентно «о, этот чувак нашелся на этой фотографии!».

Алгоритм классификации мы придумали свой, модифицировали классический KNN. Метрики качества были стандартные - ROC/AUC, F1, precision и прочее.

В итоге такая цепочка «фотографии → обработка CNN → снижение размерности PCA → многоклассовая классификация» позволяла участникам мероприятий заходить в кабинет и сразу после регистрации видеть свои фотографии. Причем мы добились очень высокого качества!

Это живая иллюстрация применения ML в обычной жизни. Поэтому, когда в следующий раз в ВК увидите уведомление «кажется, мы нашли вас на этой фотографии» - знайте, под капотом там работает примерно такая же штука.

И, пользуясь случаем, делаюсь радостной новостью - мы запустили новый курс «Инженер машинного обучения». Если вы хотите освоить профессию ML-щика или освоить новые скиллы - обязательно записывайтесь, вам точно понравится! 🤘

А для подписчиков моего канала братский подгон - дополнительная скидка 5% (помимо early birds цен на первый поток). Скидка по промокоду andron5 действует до пятницы, 20 дек.

P.S. Пока писал пост, решил, что я точно проведу для студентов мастер-класс, где мы прям разберем решение этого кейса. Открыл свой код, захотелось снова в нем поковыряться)

P.P.S. Мы не только курс новый запустили, но и дизайн лендинга обновили, зацените!

Ранее я писал, что всегда нужно проверять репрезентативность выборки. Вы собрали более 200 реакций на тот пост, поэтому сегодня мы поговорим - а как, собственно, это проверять.

Есть несколько способов. Рассмотрим на примере посещений сайта - будем выяснять, почему упала конверсия CR1.

0. Просто из соображений адекватности

Если вы невооруженным взглядом видите, что большинство посетителей за последнюю неделю - девушки 20-25 лет из Казахстана, то очевидно неверным будет вывод, что лендинг плохо конвертит на всех посетителей сайта. Ваша выборка сильно смещена.

1. Сравнение описательных статистик

Обычно ситуация не такая очевидная. И первое, что можно сделать - сравнить описательные статистики между текущей выборкой и генеральной совокупностью. Например, среднее, медиану, моду, квантили и т.д.

Получить точное значение для генеральной совокупности вы, конечно, не сможете (т.к. для этого нужно загнать на ваш сайт все население страны). Однако оценить его с неким доверительным интервалом на основании исторических данных, которые вы считаете достаточно репрезентативными - можно. И если посчитанные статистики попадают в эти доверительные интервалы - значит выборка репрезентативна.

Однако тут не забываем про квартет Энскомба. Иногда описательные статистики могут быть одинаковыми, а реальные выборки ох как отличаться.

2. Расчет размера выборки

Вы можете задать уровень доверия (обычно 95%) и на основании этого посчитать - какой выборки вам достаточно, чтобы сделать вывод. Такая выборка все еще может быть нерепрезентативна. Но если она еще и слишком маленькая, то это лишний аргумент не делать выводы на ее основе.

3. Оценка стратификации

Разделите свою выборку на страты (например, "пол", "возраст", "гео", "устройства" и т.д.). Оцените долю каждой страты в выборке. Потом сравните с долей этих страт в генеральной совокупности (опять же, либо как описано в п. 1 - через доверительные интервалы, либо из каких-то достоверных открытых исследований).

Если доли примерно совпадают - есть надежда, что ваша выборка репрезентативна.

4. Статистические тесты

Можно с помощью какого-нибудь Хи-квадрта сравнить распределение выборки и генеральной совокупности. Условно, если вы знаете, что к вам должно было зайти 20% от 20 до 25 лет, 25% от 25 до 30 лет и так далее (из какого-то открытого исследования), а также вам известно фактическая статистика заходов, вы можете это загрузить в хи-квадрат и посмотреть результат.

Кажется, что нужно раскрывать эту тему дальше! Давайте наберем 200 разных реакций на этот пост и я расскажу про проявление квартета Энскомба в реальной жизни + проведу конкретные расчеты, описанные выше 🤘

Ребята из NewHR выпустили обновленный рейтинг «За кем следят аналитики», который состоит из 2 частей:

1. Закрытое голосование - они предложили 15 авторов на выбор.
2. Открытое голосование - люди сами отмечали, кого они читают.

В закрытом опросе меня не было, зато в открытом голосовании мой канал занял 1 место 🔥

Каналу чуть больше года и уже такой результат. Спасибо вам за голоса! Ушел готовить новую порцию мясного контента 🫡

Мясной контент не заставил себя долго ждать!

Сегодня на одном из созвонов обсуждали когортный анализ. По себе знаю, что его достаточно сложно реализовать технически — что в SQL, что в Python, что в Excel, что в BI-системе.

Поэтому я подготовил для вас готовый шаблон в Google Colab с кодом для проведения когортного анализа с подробными комментариями. Сохраняйте себе — чтобы начать пользоваться у себя в компании, достаточно подать на вход другие данные! 🤘

ANDRON ALEXANYAN

В продолжение темы классных авторов — выложил большую подборку авторских тг-каналов по аналитике на Хабре ⭐️

Предыдущая подборка набрала более 50к просмотров, но уже изрядно потеряла актуальность. В новой статье — только самые свежие каналы, причем некоторые — наверняка вы раньше не встречали. Со всеми ребятами знаком лично, со многими делали совместные активности. В общем, хайли рекоменд!

Кстати, количество подписчиков в моем канале выросло, поэтому бустов хватает только до 1 уровня. А очень хочется использовать больше кастомных реакций на постах!

Если у вас Premium — закиньте бустов от души: https://www.tgoop.com/boost/andron_233 🤘

Подарок под Новый год

У меня конец года пока что слишком жаркий, чтобы подводить какие-то итоги и делать выводы - порефлексирую попозже, поделюсь.

А пока просто пришел сообщить радостную новость - заглянули сегодня под елочку и нашли там приказ о включении нас в состав резидентов Сколково.

Не переключайтесь и пристегнитесь, газуем дальше! 🚀

Полезный трюк для поиска взаимосвязей

В аналитике одна из самых частых штук, которую я использую – корреляции. Это самый быстрый и простой способ оценить – а взаимосвязаны ли две величины (например, время суток/кол-во заявок) и имеет ли смысл копать дальше.

И есть прием, который очень помогает находить неочевидные взаимосвязи – сдвиг ряда при расчете корреляции.

В чем соль: некоторые величины сильно друг на друга влияют, но эффект не моментальный. Например, если вам привалило много заявок, бум продаж может случится не через день, а через несколько недель (если цикл сделки долгий). Соответственно, если просто посчитать корреляцию двух рядов «кол-во заявок» и «кол-во продаж», они могут оказаться вообще некоррелированными.

Поэтому, чтобы полноценно проверить зависимость двух величин, посчитайте сразу несколько корреляций для разных временных лагов. Сделать это очень просто: один ряд «зафиксируйте», а второй сдвигайте на единичку. Обычно достаточно посмотреть сдвиг на пару-тройку дней, максимум – неделю. Больший срок – это уже экзотика, только если у вас действительно такая особенность (тот же длинный цикл сделки, например).

Подготовил для вас гугл-табличку с примером расчета: ссылка

Первый столбец – кол-во выкупов товара на маркетплейсе за день. Второй столбец – ранжирование этого товара по одному из запросов. Мы хотим проверить: влияет ли кол-во выкупов на ранжирование. Наша гипотеза: чем больше выкупов, тем выше ранжирование (то есть ближе к 1).

Видим, что коэффициент корреляции без сдвига показывает среднюю отрицательную корреляцию -76%. Нам повезло – уже по этому значению понятно, что некая связь есть, но -76% – все еще не очень много для корреляции.

Однако, на сдвиге в 4 дня мы видим корреляцию в 90%, а это уже прямой показатель наличия сильной связи. И что интересно: данные сгенерированы так, что именно через 4 дня после начала активных выкупов начинается рост ранжирования (выделено желтым). Поэтому, когда считаете корреляцию – не забывайте проверить несколько лагов: вдруг вы чего-то не заметили.

Ну что, пора врываться в 2025! Планирую много писать сюда – поделитесь в комментариях, какие темы и вопросы вам интересны, а я постараюсь их раскрыть в своих постах! 📊

7 важнейших принципов аналитики 🔥

Сегодня хочу поделиться несколькими важными принципами, которые будут полезны и аналитикам, и предпринимателям и вообще всем, кто хоть как-то работает с цифрами и отчетами.

📌 Если за метрикой не следить - она и не растет

Это золотое правило: если не следить за динамикой метрики, то хорошей динамики и не будет. Про эффект наблюдателя в квантовой физике слышали? Это же оно и есть: наблюдение за метрикой неизбежно влияет на нее.

📌 Отчеты нужно не просто делать - в них нужно смотреть

Некоторые люди тратят уйму времени на сбор данных, составление отчетов и даже их презентацию, но сами так и не удосуживаются в них посмотреть и вдуматься. Такие ситуации - это просто время, выброшенное в мусорку. Эффект наблюдателя в таком случае не срабатывает, потому что наблюдателя не было 🙂

Когда в отчет не смотрят это, кстати, всегда видно. Незаполненные значения, неправильные значения, неадекватные конверсии и прочее. Сами подумайте - вы смотрите отчет, а там конверсия в продажу 90% при обычных 20%. Наверняка вы бы сразу полезли перепроверять)

📌 Смотреть отчеты - нелегко, нужно себя заставлять

Смотреть отчеты - большая когнитивная нагрузка на мозг. Во-первых, вы должны копаться в потенциально неприятной для себя информации (как правило смотришь, чтобы понять, что и как можно улучшить). Во-вторых, это банально сложно - циферки считать. В третьих, чтобы смотреть вдумчиво, нужно сильно замедлиться, а это в эпоху рилсов, тиктоков и другого дешевого дофамина сделать крайне сложно.

Поэтому нужно под это выделять отдельное время и силой себя заставлять смотреть в каждую строчку и каждую цифру. Первые несколько дней это будет тупое смотрение в экран. Через пару дней - станет легче. Через недельку-две - начнете преисполняться, как Джон Нэш в Играх разума.

📌 Если отчеты в беспорядке, то и метрика расти не будет

Можете считать меня душным, но я не встречал НИ ОДНОГО кривого-косого отчета в компании, где аналитика драйвит рост. Во всех подобных компаниях таблички вылизаны до блеска - шрифты, цвета, форматирование значений, подписи - все идеально.

Ну невозможно навести порядок в бизнесе, если у тебя беспорядок в табличках/коде/графиках. Табличка - отражение личности ее автора. И если там хаос, ни о каком качественном исполнении задач не может идти и речи.

📌 Аналитика всегда должна идти сверху вниз

Процесс копания всегда должен начинаться сверху вниз. Сначала смотрим helicopter view, потом выбираем, куда копать, и только потом начинаем копать вглубь.

Пример: сначала смотрим динамику ROMI по когортам, видим просадку в когорте «фев. 2024» и начинаем искать, что с ней не так. Сразу смотреть конкретную когорту - неправильно. Может быть у вас везде хреновые показатели, а не только в этой когорте. Тогда это не аномалия, а ваша текущая норма, и копать надо не в когорту, а что у вас вообще происходит.

📌 Слишком сильная гранулярность данных вредит

Мало данных для аналитики - плохо. Но и много - тоже плохо, разбегаются глаза и сложно делать адекватные выводы.

Простой пример - если у вас сравнительно немного транзакций, а временную разбивку вы сделали поминутно, то вы можете упустить важные паттерны в более крупном масштабе - например, в часах.

Кстати, подробнее про гранулярность признаков я писал в этом посте.

📌 После просмотра любого отчета нужно сделать какой-то вывод

Всегда заканчивайте просмотр любого отчета/таблички/дашборда каким-то выводом. Пусть даже это будет вывод, который вы уже делали ранее или что-то незначительное. Но не формируйте у себя привычку смотреть в цифры просто так - подмечайте хоть что-то.

Даже если это операционный дашборд с основными метриками, всегда можно зацепиться за мелочь: «о, у нас средний чек чутка подрос, классно».

Эта мелкая деталь со временем выработает устойчивый рефлекс видеть что-то в местах, где другие ничего не видят.

Заключение

На самом деле, таких принципов сильно больше - они просто все не влезут в один пост, так что сделаю серию. Кстати, поделитесь в комментариях - какие из этих принципов вы уже соблюдаете, а какие из них для вас вновинку? 👇