Самая страшная ошибка в аналитике ☠️

Самая страшная ошибка в аналитике — построение фейковой аргументации. Это когда у нас есть некая проблема, а мы ее объясняем чем-то, что на самом деле причиной не является.

Вот несколько примеров из разных областей:

Проблема: Рекламируем вебинар с широкой темой, потратили несколько сотен тысяч рублей, начала расти стоимость лида.
Фейковая аргументация: Мы выжгли всю целевую аудиторию, нужно делать новый вебинар.
Почему фейк: Если вебинар с широкой темой, то целевая аудитория — сотни тысяч или даже миллионы человек. Такой объем охватить с указанным бюджетом невозможно, так что проблема явно не в выжигании аудитории, а настройках таргетинга/плейсментах.

Проблема: Упали заказы на маркетплейсе
Фейковая аргументация: Людям не нравится качество нашего товара, надо менять фасон/цвет/ткань.
Почему фейк: Заказы от этого никак не зависят. Если бы не нравился товар — упали бы выкупы.

Проблема: Вебинарные лиды с рекламы ВК не покупают с промо-оффера на вебинаре.
Фейковая аргументация: Вебинар недостаточно продающий, нужно его перезаписывать.
Почему фейк: Этот же вебинар отлично продает на лидов с рекламы в Яндексе. Значит дело не в вебинаре, а в нерелевантной аудитории (нужно менять настройки рекламы) или более холодной (им нужно больше времени для принятия решения или вообще другая воронка).

Почему ошибка фейковой аргументации — самая страшная? Я выделяю 2 основные причины:

1. Она создает ложное ощущение у команды, что все супер. Ну точней проблема есть, но у нас есть четкий план, который исправит ситуацию. Хотя по факту, когда мы этот план реализуем, ничего не поменяется. В долгосрочной перспективе это демотивирует — что-то делаешь, а ничего не меняется.

2. Реализация этого фейкового плана занимает время и деньги. Учитывая, что к результату это не приводит, это недополученная прибыль или даже прямой убыток компании.

Как бороться с этой ошибкой? Есть только один способ — задавать себе правильную череду вопросов, проверяя свои же выводы, и много практиковаться. Со временем эти логические цепочки будут выстраиваться в голове моментально без вашего участия.

❗️❗️❗️

А теперь важный анонс. В комментариях вы часто спрашиваете: как делать выводы, как строить аналитическую отчетность и т.д. Поэтому я решил сублимировать все свои знания и поделиться ими в авторском тренинге «Как делать аналитику» 🤘

Мы не будем учиться писать код, считать интегралы или строить дашборды. Этот тренинг о другом — о самых важных навыках в аналитике.

Цель этого тренинга — научить вас извлекать выводы из цифр, выстраивать аналитическую отчетность и общаться с бизнесом. А еще вы поймете, как вообще устроена data-инфраструктура в компаниях и как ее внедрять с нуля.

Тренинг стартует 19 февраля онлайн. Во всех лекциях и воркшопах можно участвовать вживую или посмотреть позже в записи. Полезно будет всем — даже если вы только начинаете погружаться в аналитику.

Это абсолютно новый для рынка продукт и не могу сказать — будет ли второй поток вообще, а если будет, то когда. Поэтому крайне рекомендую вписаться — к тому же до 31 января действуют early birds условия.

Записаться и узнать подробную информацию можно через тг-бота 👉 ссылка

Короче, если вы хотите прокачать тот самый «аналитический майндсет», научиться делать выводы и разобраться в построении аналитики во всех деталях — велком 🤘

Все аналитики ведут себя, как негативщики

В аналитике есть один незаметный парадокс, про который все молчат. А именно: почти все усилия направляются не на поиск сильных мест и масштабирование успеха, а на лечение слабого. Хотя деньги, как правило, в первом.

Да что далеко ходить — даже я в своем предыдущем посте рассказал про самую страшную ошибку аналитики именно в контексте анализа слабых, а не сильных сторон. Хотя тоже самое можно переформулировать из «построение фейковой аргументации» в «объяснение роста фейковыми аргументами».

Посудите сами: как часто вы слышите в «эфире» про поиск узких горлышек, про повышение retention, про снижение CAC и т.д. Почти всегда мы пытаемся сделать ситуацию лучше, чем она есть сейчас. И иногда забываем, что намного выгодней найти не «узкое горлышко», а «точку роста» и надавить туда. Да, ты будешь не до конца эффективным, но положительный эффект будет сильно больше отрицательного.

Недавно на конференции в одном из докладов услышал, что максимальный апсайд от внедрения рекомендательных систем в большой маркетплейс — 5% от выручки. Конечно, это немало, но всего 5%, а сколько возни, ресерча, сотрудников, инфраструктуры... А рекомендательные системы — как раз мера по улучшению текущей метрики (конверсии в заказ).

И один из инструментов поиска «точек роста» — работа с атрибуциями. Атрибуция — это способ определения, какое из касаний (или какой канал) привел пользователя к покупке.

Чаще всего смотрят, какой последний канал привел к покупке (например, «пришел с рекламы в Яндексе» или «перешел с наших соцсетей»). Это называется last-click атрибуция. Она полезна для понимания, какому специалисту какую премию заплатить и какой канал в текущем месяце у нас отработал эффективней всего в моменте. Однако, какие каналы приводят нам лидов, которые с течением времени покупают или какая череда активностей приводит к покупке — такое с помощью last-click понять мы не сможем.

Вот несколько манипуляций с атрибуциями, которые мы используем в своих проектах для решения этой задачи:

📌 Смотрим last-click не только по каналу, но и по активности (например, «Вебинар»)
📌 Смотрим first-click атрибуцию по каналу и по активности
📌 Строим карту пути клиента (CJM) на основании комбинаций активностей, которые он проходит, пока является нашим подписчиком. Это помогает выявлять прибыльные связки цепочки, которые часто приводят к покупке
📌 Конструируем кастомные атрибуции — например, с экспоненциально убывающими весами

На самом деле, это огромная тема — у меня мысли разбегаются, о чем вам рассказать в первую очередь. Если вам интересен этот вопрос — давайте наберем 100 разных реакций и я сделаю прям серию постов 🐱

Следующий пост планируем в следующую пятницу. А если у вас есть вопросы или что-то непонятно — сразу накидывайте в комментарии, разберем это!

А если вам интересно разобраться в аналитике еще глубже - приглашаю вас на свой тренинг «Как делать аналитику». У нас уже сформировалась хорошая группа, так что вы будете в классной компании! Записаться и узнать подробную информацию можно через бота.

Итоги 2024 → тренды 2025

Год назад я делал пост про то, какие тренды в аналитике я вижу на 2024 год и все пункты из этого списка оказались верными. Давайте сделаем короткую выжимку.

1. Постепенно фокус в аналитике будет смещаться с хард скиллов на продуктовое мышление - в сторону упрощения.

Этот пункт реализовался на 100%. Если 2 года назад мы крайне редко встречали продуктовые кейсы на собеседованиях, то теперь их дают чуть ли не на каждом втором собесе, а то и вообще хард скиллы не проверяют.

2. Нарастающий тренд — аналитика маркетплейсов.

Тут и говорить нечего. Выручка некоторых аналитических сервисов выросла х5 за этот год, а сам WB запустил продвинутую аналитику за платную подписку. При этом продвигаться на самих маркетплейсах без аналитики стало почти невозможно: первые 3 страницы поисковой выдачи — это чисто рекламный трафик.

Но 2024 позади, а что нас ждет в 2025? Вот несколько моих мыслей — через год проверим!

1. Переход от отчетов и дашбордов к конкретным выводам

Я думаю, компании все больше будут отходить от тонны отчетов/дашбордов и переходить сразу к обсуждению конкретных выводов и решений. Хорошим аналитикам давно известно — куда смотреть, если какая-то метрика падает, и что делать, если она уже упала.

Компании постепенно начнут внедрять лайв-формат общения с аналитиками. Это когда собирается команда и аналитик в формате презентации с основными цифрами/графиками показывает — какое сейчас положение дел по его проекту, в чем проблема и выносит на обсуждение предложения по решению. Так уже давно работают маркетологи и команды продукта — то же ждет и аналитиков.

Что делать: сразу рекомендую перестраивать свой майндсет. Часто слышу от начинающих аналитиков «делать маркетинговые предложения — не моя работа». Хотите быть на коне — отказывайтесь от такой установки. Прокачивайте продуктовое мышление и с засученными рукавами ныряйте в генерацию гипотез/выводов.

2. Повышенные требования к аналитикам

В ближайшие 5 лет аналитика станет «широкой профессией». Если ты инженер-ядерщик, ты должен глубоко разбираться в узкой теме. А если ты аналитик и хочешь быть коммерчески успешным, тебе нужно будет глубоко разбираться в чем-то одном и на достойном уровне знать еще кучу всего.

Еще 5 лет назад, чтобы войти в аналитику, нужно было знать SQL. Сейчас нужно обладать знаниями на уровне джун+ пятилетней давности. В ближайшие 5 лет нетривиальные штуки типа Docker, Airflow, базовый ML и прочее станут нормой для любого аналитика, вне зависимости от направления.

Объясняется это элементарно — зарплаты обходятся компаниям слишком дорого, поэтому дешевле нанять 1 мульти-скиллового джуна за 150к, чем 3 отдельных DE + BI + ML за 100к.

Что делать: не упирайтесь в какое-то узкое направление, типа «я только про A/B-тесты». Изучайте и визуализацию, и дата инжениринг, и продуктовую аналитику. Оно все вам пригодится.

3. Усиление внутренней и продуктовой аналитики

Повышенная ключевая ставка, дикая инфляция, кризис, пониженная покупательская способность... Все эти прекрасные штуки приводят к тому, что компании вынуждены смотреть «внутрь себя» и более эффективно работать с базой, наращивать повторные продажи, оптимизировать расходы и т.д. Не зря я все эти годы постоянно рассказывал вам про ABC/XYZ/RFM-анализ 😁

И сюда же — люди уже устали от говно-продуктов. В кризис такие компании сильно пострадают, потому что люди тщательно выбирают, куда потратить деньги. А значит продуктовая аналитика именно в контексте клиентского опыта будет активно развиваться (например, LX-аналитика).

Что делать: качайте продуктовое мышление и как можно больше практикуйтесь в различных анализах, связанных с улучшением продукта и качества.

💬

Кстати, напоминаю, что еще несколько дней действуют early birds цены на мой авторский тренинг «Как делать аналитику». Если вы чувствуете, что вам нужен «тренажер» для прокачки продуктового мышления и «мышцы делания выводов» — то записывайтесь, будем прокачивать!

А вы что думаете? Если согласны с этими трендами на 2025 - поставьте Гэндальфа 👍, а если нет - любую другую реакцию)

Про «успешный успех» и «путь»

В этом канале я много пишу про «экспертное». И вдруг подумал, что это со стороны может смотреться как налет «успешного успеха». А мне такого не хотелось бы, поэтому решил поделиться с вами мыслями по этому поводу.

Я вообще никогда особо не верил в концепцию «успешного успеха». А когда прогулялся по всем граблям собственными ногами и от всех граблей по несколько раз получил по щщам — не верю еще больше. Причем во всех проявлениях:

→ Найдешь прибыльную связку и быстро станешь супер богатым
→ Чуть-чуть поучишься/поработаешь и запрыгнешь вверх по карьере
→ Наймешь волшебного сотрудника и он сделает, чтобы все поперло
→ Недельку поотжимаешься и станешь, как Кристиан Бейл

Конечно, я лично знаю кейсы, когда человеку сильно везло с моментом выхода на рынок/нетворком/чередой событий, и это сильно катализировало его рост. Но, во-первых, это почти всегда сопровождалось большим количеством правильных усилий со стороны самого человека. А, во-вторых, почему-то он оказался в этом месте в это время, а ты нет — так везение ли это?...

Зато я верю в другие вещи. Они, возможно, не такие быстрые и «продающие», но зато на дистанции реально приносят стабильный результат со сложным процентом (т.е. завтра будет еще лучше, чем вчера). А именно:

1. Глубокое погружение

Не важно, изучаете вы дифференциальные уравнения, кодите на Python, строите отдел продаж или качаете продуктовое мышление. Чтобы тема навсегда вживилась в ваш мозг, ее надо изучить настолько глубоко, чтобы чувствовать ее на кончиках пальцев. Вы должны понимать даже мельчайшие взаимосвязи и детали — только тогда вы станете супер профи в теме.

Именно поэтому мы учим аналитиков не базовым вещам, а писать супер-сложные запросы, деплоить на сервера и делать другие штуки, которые вроде бы «я делать не должен». Поэтому же в своем бизнесе я понимаю, как работает любой коннектор и любая деталь - даже если сейчас это делают другие люди, однажды я руками прошел этот путь от и до.

Проверить глубину своего погружения легко. По любой теме задавайте себе вопрос «А как это устроено?» или «А что это значит?», пока не дойдете до самого нулевого уровня. Если на все вопросы смогли ответить — вы погрузились достаточно.

2. Hardworking

Мне нравится именно термин «hardworking» , хотя по-русски это «трудолюбие». Почему? Да потому что вы можете не любить трудиться, но должны уметь заставлять себя еб*шить.

Я, конечно, очень люблю работать. Но если под гипнозом спросить меня: «Андрон, в кайф тебе работать по 12-15 часов?» - что-то я не уверен, что скажу «да»... Но я просто знаю, что иногда нужно делать работу, даже если не хочется - тогда беру и делаю, не тратя время на душевные терзания.

Если фортуна не подкинула вам счастливый билет, то ваш сверх-результат будет обусловлен вашими сверх-усилиями. И чем быстрей вы перевалите за 10 000 часов, про которые писал Малкольм Гладуэлл в «Гениях и аутсайдерах», тем быстрей вы до этого результата добежите.

3. Дисциплина

Два предыдущих пункта будут работать, только если они стали вашей ежедневной нормой. Нет никакого смысла фигачить и глубоко погружаться 1 месяц, а потом забить. Или возвращаться к этому каждые 3 месяца, а потом опять забивать.

Если не получается — лучше тогда чуть снизить напор и требования к себе и начать внедрять привычку постепенно и помягче. Когда поймете, что вошли в тонус — начнете разгоняться.

Плюс всегда разделяйте — для более важных вещей ставьте более высокую планку, для менее важных — будьте снисходительней, тогда вы все равно достигнете результат, просто чуть медленней.

💬

Вот эти 3 вещи, как мне кажется, и есть залог успеха. Да, не продающе и не такие привлекательные, как «успешный успех». Зато жизненные и правдивые)

Поэтому, если у вас прямо сейчас что-то не получается, вам тяжело, вы прикладываете много усилий и пока получаете непропорционально маленький выхлоп — просто знайте, что это нормально. Это и есть путь, мы все где-то идем рядом по соседним тропинкам 💔

Комментарии под предыдущим постом вдохновили меня на доказательство новой теоремы, причем строгими математическими методами!

Итак, теорема 🏆

Большой результат = ежедневная усердная работа. Т.е. каждый отдельный день по ощущениям не приближает вас к результату, а совокупность таких дней — дает результат.

Доказательство 🏆

В математике есть такой раздел, как функциональный анализ. А там есть интеграл Лебега — некий аналог сложения, только для очень специфических случаев.

Теперь представим, что 1 день вашей жизни — это точка на большой бесконечной прямой. Есть и более мелкие деления — часы, минуты, секунды и т.д. На базово возьмем день. Тогда ваша жизнь — некий интервал на этой бесконечной прямой, например, [a, b].

Так вот с точки зрения функционального анализа, точка на прямой имеет меру ноль. В буквальном смысле — она настолько ни на что не влияет, что ее можно без проблем добавлять или отнимать, значение интеграла от этого вообще никак не изменится. В этом смысле тезис «каждый отдельный день по ощущениям не приближает вас к результату» доказан.

Однако интересная штука: несмотря на то, что каждая отдельная точка имеет меру ноль, интеграл Лебега вполне можно посчитать по множеству точек [a, b] — включая единичные деления (дни) и бесконечное кол-во промежуточных более мелких делений (часы, минуты, секунды и т.д.). Это доказанное свойство, поэтому тезис «совокупность таких дней — дает результат» тоже доказан.

Остается доказать последний важный момент: что работа должна быть ежедневной (но или хотя бы регулярной). Доказать это тоже очень просто: очень сильно осциллирующие функции (которые скачут то вверх, то вниз) не интегрируемы по Лебегу, если осцилляции со временем не утихают. Другими словами, если вы слишком часто будете то браться за дело, то опять бросать, и со временем вы не будете становиться более системным, то результата вы не достигните вообще (интеграл взять нельзя). А если злоупотреблять этим не будете или хотя бы со временем ситуация будет улучшаться — результат получите, но меньше, чем мог бы быть (интеграл взять можно, но значение его будет меньше за счет «проблемных интервалов»).

Вот такая математика, братья и сестры. Как вам? Пора уже в дурку подаваться на Филдсовскую премию?

Почему обычные атрибуции не работают. Кастомные атрибуции.

Как и обещал в прошлом посте — продолжаю серию постов про атрибуции. И сегодня хочу на конкретном примере разобрать — что такое кастомная атрибуция и зачем она нужна.

Давайте рассмотрим конкретный кейс — нашу онлайн-школу Simulative. Допустим, у нас есть задача: понять, какие маркетинговые активности нам стоит делать чаще и больше, чтобы люди покупали. Естественно, ориентироваться будем на исторические данные — какие активности в цепочке действий клиента приводили к покупкам.

На этом моменте сразу же возникает потребность выбрать атрибуцию — т.е. по какому алгоритму мы будем считать, что именно эта активность была причиной покупки. И стандартный подход — last-click атрибуция: просто смотрим, какая активность у клиента была последней перед покупкой, и засчитываем ей «+1».

И вроде все логично, но, если мы делаем не для галочки, а для реальных выводов, то мы сразу сталкиваемся с чередой вопросов:

1. А что, если человек принял решение о покупке не на последней активности, а на предыдущих, просто в итоге оплатил позже?
2. А что, если вебинары — самый частый конвертер в продажу по last-click просто потому что мы там показываем «товар лицом» и это классно мотивирует купить в моменте, но перед покупкой люди прогреваются на предыдущих активностях и на вебинар приходят уже «открытыми к покупке»?
3. А что, если самый частый конвертер в продажу — простая «Консультация» ?

Если не учесть эти моменты, на основании такой «аналитики» можно наворотить много гениальных решений. Например, отменить все активности, кроме вебинаров. Или тупо начать слать письма с call to action записаться на консультацию. И так далее — это только несколько примеров.

Короче, решение уже начинает вырисовываться: нам нужно придумать такой алгоритм атрибуции, который будет учитывать с каким-то высоким весом последнюю активность (как в last-click), но при этом и предыдущим активностям давать какой-то вес. Это интуитивно понятно — если человек купил и в череде его касаний была какая-то активность, то мы считаем, что она на его решение тоже повлияло.

Один из примеров, как можно построить такую атрибуцию:

* Если активность была менее года назад: 1 - (дата последнего касания - дата текущего касания) / 365.

При таком расчете «близкие» к последней активности касания будут близки по значению к 1, а чем дальше — тем ближе к 0. Для усиления можно еще возвести это в степень: тогда «близкие» активности будут давать еще больше вклада относительно «далеких».

* Если активность была более года назад: 0. То есть считаем, что старые активности не дают вклада вообще.

Это не какой-то стандартный способ — просто один из примеров, вы можете подбирать любой алгоритм расчета, который подойдет под вашу задачку.

Чтобы вам было более наглядно и удобно, я приготовил блокнот с кодом и расчетами. Вы можете посмотреть — какой результат дала last-click атрибуция, а какой — кастомная, описанная выше. Блокнот доступен по ссылке 👉 ссылка.

Обратите особое внимание на два момента:

1. В last-click атрибуции у нас всего 6 «важных» активностей. А кастомная атрибуция выводит несколько десятков активностей, просто с разной степенью важности (причем у многих степень важности большая).

2. Некоторые активности, которые по last-click вывелись среди «важных» в кастомной атрибуции получились не особо важными (например, активность 21 и 49).

На мой взгляд, для принятия продуктовых и управленческих решений нужно использовать только кастомные атрибуции — а простые подходят только для решение узких задачек, типа «поиск активности, которая лучше всего триггерит в продажу в моменте».

А если вам интересно погрузиться в аналитику глубже, разобраться в подобных деталях и прокачать продуктовое мышление — записывайтесь на мой тренинг «Как делать аналитику». Тем более еще несколько дней действуют цены для ранних пташек 🐣

Как прокачать самый главный навык аналитика? 💪

В этом канале я много пишу про:

* Как делать выводы из цифр, а не просто в них смотреть
* Как делать эти выводы правильными
* Как не совершать типовых ошибок — например, поверхностных выводов или фейковой аргументации
* Как превращать эти выводы в бизнес-решения и проверять их (желательно быстро и дешево)

Уверен на 100%, что именно эти навыки постепенно будут становиться основным требованием к аналитикам. На самом деле, это уже происходит прямо сейчас на рынке труда — работодатели на собеседованиях все больше дают продуктовых кейсов и тестовых заданий, которые проверяют «продуктовое мышление».

Это и ожидаемо — писать блестящий код на Python уже не так уж и сложно: с этой задачей неплохо поможет ChatGPT. А тут еще и DeepSeek с Qwen2.5-1M в спину дышат. А вот делать качественные выводы, которые приводят к результату — это задача куда более нетривиальная.

Это супер горячая тема — практически под каждым постом вы задаете про это разные классные вопросы. Поэтому завтра, в 19:00 Мск, я решил провести вебинар «Как прокачать самый главный навык аналитика». Поговорим о том, что все-таки из себя представляет самый главный навык аналитика и обсудим несколько способов, как его прокачать.

🔗 Ссылка на вебинар

В общем, приходите — уверен, заберете себе много полезного!)

Подмена причинно-следственной связи корреляцией

Вчера на вебинаре мы затронули тему — почему люди делают неправильные выводы. Про несколько ошибок, например, ошибку фейковой аргументации и поверхностных выводов я уже писал ранее. А сегодня расскажу про еще одну — подмену причинно-следственной связи корреляцией.

Давайте не будем рассматривать абстрактные примеры, а рассмотрим конкретный кейс из опыта нашей школы Simulative.

Около года назад мы внедрили экспериментальный формат «экскурсии»: человек оставлял заявку, чтобы посмотреть наш курс изнутри, и мы в формате часового видео-созвона (!) все подробно показывали. Конверсия в покупку с этого формата была отличная. Напрашивается логичный вывод:

Количество покупок напрямую зависит от количество лидов, которые мы приведем на экскурсию. Увеличится одно — будет расти и другое.

Другими словами, мы увидели «корреляцию» между двумя процессами — «экскурсия» и «покупка». И, действительно, статистическая связь между этими двумя явлениями существует: растет одно — растет и другое.

Однако, когда мы наблюдаем сильную связь между двумя процессами, может быть несколько сценариев:

1. Процессы друг с другом абсолютно не связаны и это чистая случайность.

Пример: в годы, когда рождается больше высоких людей, сборная по футболу играет лучше. Это чистое совпадение.

2. Процессы друг с другом связаны, но не напрямую, а есть какой-то внешний фактор, который одновременно их объясняет.

Пример: в годы, когда растет потребление мороженного, увеличивается количество пожаров. Вроде независимые события, но наверняка они объясняются аномальной жарой в эти годы. Жара является причиной для обоих фактов, но они друг на друга никак не влияют.

3. Один из процессов является причиной для другого.

И если первые два пункта все еще показывают корреляцию между процессами, то третий пункт свидетельствует о наличии причинно-следственной связи (ее еще называют «каузацией»).

И наш пример — как раз про это. На самом деле, зависимость конверсии в покупку с проведением экскурсий не случайно. Конверсия в покупку увеличивается потому что (!) на экскурсию приходят априори более теплые и прогретые лиды, которые готовы уделять целый час, так еще и в формате видео-созвона. Они так и так более склонны к покупке, чем остальные заявки — конверсия у них в любом случае была бы выше.

То есть здесь мы видим не просто взаимосвязь между двумя событиями, а что одно из них (повышение конверсии в продажу) происходит из-за другого (люди приходят на экскурсию, т.к. они более прогретые).

Как это использовать? Как минимум, можно не вляпаться в ошибку. Например, если не выявить каузацию достаточно рано, можно залить много денег в рекламный трафик, привлекая холодную аудиторию на экскурсию. Как итог — наша «корреляция» резко испариться и конверсия упадет. И это будет отличным маркером того, что это была не «корреляция», а «каузация». Но лучше определять это на берегу и заранее, чтобы не сливать деньги на такие тесты.

Кстати, если вы хотите прокачаться в том, как делать выводы на основании данных — залетайте на мой тренинг «Как делать аналитику». До завтра еще действуют цены для «ранних пташек», с февраля цена вырастет.

Как вам тема про корреляцию и каузацию? В ней еще много всего интересного — если хотите узнать подробней, накидайте реакций, сделаю еще серию постов 😘

Хотел накатать пятничный контентный пост, но поступила новая информация, так что делюсь!)

Наша школа Simulative вошла в рейтинг RB Choice — «100 перспективных стартапов 2024». Приятно)

Движемся дальше, не переключайтесь 💪

Приглашаю вас на классный ивент — в четверг (6 фев, 18:00 Мск) буду разгонять про аналитику на вебинаре в Ассоциации Аналитиков Армении 🇦🇲

Расскажу:

* Как работать с данными, чтобы извлекать из них максимум пользы
* Какие есть «мета-установки» про работу с данными
* Как и за счет чего принимать точные решения, а не тонуть в табличках с цифрами

Чтобы поучаствовать — просто заполните анкету ➡️ та самая анкета.

P.S. Если есть вопросы — накидывайте в комментарии!
P.P.S. Говорить буду на русском 😂
P.P.P.S. Подписывайтесь на канал Ассоциации, они такие ивенты проводят регулярно!

Шаг назад

Сейчас будет удивительный тезис для этого блога: аналитика нужна не всегда. Поясню. Обычно мы используем аналитику, чтобы:

* Найти слабое звено и «починить» его
* Найти сильное звено и сделать его еще лучше

Однако есть ситуация, когда ни то, ни другое вам делать не нужно. А именно: когда ваш продукт — говно.

Вот несколько примеров:

1/ Вы развиваете мобильную игру. Можно провести хоть 1000 A/B-тестов с разной монетизацией, вовлекательными триггерами и прочей лабудой, но если механика игры сама по себе скучная и наблюдается бешеный churn rate — в этом нет смысла. Еще меньше смысла искать классную маркетинговую связку и масштабировать ее — деньги полетят, как в прорву. Сначала надо сделать шаг назад и починить фундаментальные продуктовые ошибки.

2/ У вас бренд одежды. Можно бесконечно экспериментировать с акциями и анализировать CJM, пытаясь спасти падающую лояльность и снижение retention, но если качество пошива и тканей стремительно падает — может стоит сделать шаг назад и починить продукт, а не копаться в цифрах?

3/ У вас интернет-магазин. Можно оголтело пытаться увеличивать время пользователя на сайте (потому что фаундер выбрал это вашей North Star Metric), но ни на долю не увеличить конверсию в заказ. Растить метрики «для красоты» — глупая затея. Если вы встроите в интерфейс своего сайта бесплатный стриминг боев UFC — наверняка туда придет много пацанов и будет проводить на сайте очень много времени. Только вот на продажу косметики это не сильно повлияет :) Поэтому нужно сделать шаг назад и посмотреть — а над тем ли мы вообще работаем?

Такие ситуации происходят сплошь и рядом. Со стороны про них очень просто говорить, особенно на гиперболизированных примерах все кажется очевидным. Но в моменте цифры всегда более туманные, а твой взгляд изнутри очень предвзятый.

Поэтому подумайте прямо сейчас — может быть и вам стоит сделать «шаг назад» в каком-то вопросе? И я пойду подумаю 🧠

А если хотите глубже погрузиться в тему принятия решений на основе данных и когнитивных искажений в аналитике, записывайтесь на мой тренинг «Как делать аналитику». В начале следующей недели участники уже получат несколько бонусных лекций от меня, а следующий поток будет не скоро, так что залетайте!)

Data quality

Есть тема в аналитике, о которой не очень принято говорить, но именно она занимает до 50% рабочего времени и создает больше всего геморроя. Речь о качестве данных (data quality).

На моем опыте — большинство проблем с построением отчетов/дашбордов возникает именно из-за качества исходных данных. Написать запрос — несложно. Построить дашборд — тоже рядовая задача. А собрать воедино кучу грязных и разрозненных данных — задача практически нерешаемая, все равно упустите какие-то corner cases.

А самое ужасное, что низкий уровень data quality приводит к неправильным решениям.

Смотришь в отчет и видишь, что большинство клиентов покупает после вебинаров. А на самом деле покупает после чего-то еще, просто у тебя сделки «расклеиваются» и ты этого не видишь. У нас ушло очень много времени (и до сих пор ловим флешбеки), чтобы сметчить лог активностей наших лидов с уже купившими клиентами.

Вот небольшой чек-лист, который подойдет большинству компаний. Проверьте качество сбора хотя бы этих данных и ваша жизнь станет легче на 90%.

1/ Одинаковая маска для телефонов. Определитесь — либо везде «+7», либо «8», либо вообще без префикса. Сразу подумайте, что делать с зарубежными номерами.

2/ Все почты, имена и прочие важные текстовые поля сохранять в одном регистре. В некоторых БД поиск и сравнение регистрозависимое, поэтому андрон и Андрон — разные вещи.

3/ Все url-адреса сохранять по одному шаблону. Чтобы не было так: часть с «www» — часть без, часть с «https» — часть с «http», у части в конце слеш — у части нет, и так далее.

4/ Приводите дату и время к одному формату и одной таймзоне. К одному формату — чтобы на уровне БД потом эффективно работать с датой, без преобразований. К одной таймзоне — чтобы потом понять, во сколько человек реально оставил заявку и по Мск это или по Владивостоку.

5/ Периодически проверяйте базу на дубли. Например, сделки в CRM могут дублироваться, но почта одна и та же. Пробегайтесь раз в сутки автоматизированным скриптом и объединяйте такие сущности в мастер-записи.

6/ Номенклатуры/другие важные названия задавайте по одному паттерну. Например, чтобы группа товаров «Носки» иногда не превращалась в «Носочные изделия», а где-то — вообще в «Носки теплые». Любая витрина данных — это большое количество соединений разный таблиц, поэтому любые отличия, даже минимальные, приведут к «выпаданию» некоторых строк. А вы даже не увидите этого.

7/ Стандартизируйте паттерны. Например, договоритесь, что все UTM-метки задаются по строгой структуре, а разделитель — всегда нижнее подчеркивание или дефис. Такая жесткая стандартизация позволит в некоторых сложных ситуациях работать прям со значениями, сплитовать по разделителю, делать поиск с помощью регулярных выражений и прочие страшные штуки — иногда такое пригождается.

8/ Удаляйте все лишние пробельные символы. При сохранении в БД в начале/конце не должно быть никаких пробелов, табов и прочих штук — это сильно может усложнить жизнь.

9/ Удаляйте все лишние пробельные символы [2]. Только теперь не в начале, а вообще в строке. Если кто-то указал 3 пробела между именем и фамилией — перед записью в БД замените с помощью регулярки на один пробел.

10/ Правильные форматы данных. Не сохраняйте даты и числа — как строки и т.д.

Это минимальный набор правил, но он покрывает большинство проблем, которые я встречал в своей практике. Просто выполняйте все эти проверки/преобразования ДО записи в БД и ваши данные будут близки к идеальным.

Кстати, я тут подумал — давайте наберем 200 разных реакций на этот пост и я прям поделюсь некоторыми заготовками скриптов для очистки данных по этим пунктам 🔥

ANDRON ALEXANYAN

Самый главный навык вообще

Я часто пишу, что главный навык аналитика — делать правильные выводы. Но все больше размышляя про это, я прихожу к выводу, что это не главный навык аналитика, а главный навык вообще. И не только для аналитика, а для кого угодно. Сейчас объясню.

Давайте отвлечемся от аналитики и представим вполне себе бытовую ситуацию: вам нужно поднять что-то очень тяжелое. Ваши силы ограничены, поэтому единственный вариант это сделать «в полевых условиях» — использовать рычаг. Чем длиннее будет рычаг — чем проще вы решите свою задачу. То самое «Дайте мне точку опоры и я переверну Землю» — традиционные слова Архимеда по этому поводу.

Теперь возвращаемся в нашу реальность. Любое изменение в компании можно разложить на 2 составляющие: принятие решения и воплощение этого решения в жизнь (= работа).

Работа — ограниченная со всех сторон штука: временем, деньгами, количеством сотрудников и так далее. В каждой компании/отделе есть некая максимальное количество работы, которая может быть выполнена.

А вот решения — как раз почти ничем не ограничены. В этом смысле решения являются «рычагом» из нашего с вами примера. Чем качественней решение — тем длинней рычаг. А значит, тем значительней будет и результат!

Можно принять хорошее, но мелкое решение. Мы потратим мало сил, но за счет маленького рычага мы никуда особо не продвинемся. Это мелкий кипиш. Можно принять плохое решение и потратить на него много сил — тогда мы сильно вспотеем, пытаясь сдвинуть тяжесть с места, но короткий рычаг и ограниченная сила нам это не позволят сделать.

А можно нащупать классное решение, потратить на него оптимальное количество сил и получить супер-эффект. Буквально перевернуть Землю, но в масштабах отдельного отдела/компании/целого рынка!

🟠Плохая новость: нащупывать классные решения — очень сложно. И на уровне знаний/инструментов, и на уровне физиологии.

🟠Хорошая новость: нащупывать классные решения можно научиться.

🟠Просто отличная новость: если вы научитесь их нащупывать, вам это окупится многократно — круто бустанет по карьере / прокачаете свой отдел или компанию / сильно ускорите результаты, до которых бежали бы очень долго без этого навыка.

И обратите внимание — я нигде не сказал про «аналитиков». Да, аналитики много занимаются нащупыванием решений — это вообще их работа, по сути. Но это относится ко всем, кто так или иначе принимает решения, а это буквально ВСЕ: продакты, проджекты, менеджеры разных уровней, предприниматели, маркетологи и все-все вообще.

Поэтому, если вы хотите научиться находить сильные рычаги, нащупывать правильные решения и делать выводы на основании данных — приглашаю вас на свой авторский тренинг «Как делать аналитику».

🔗 Записаться

Поток стартует уже через неделю, но места еще есть, так что записывайтесь — буду рад всех видеть ❤️‍🔥

Retention — это, однозначно, метрика будущего. Но она же и одна из самых загадочных — ее чуть ли не сложней всего анализировать и принимать качественные решения.

Если всякие CAC, vCPL, ROMI и прочие приколы мы считать умеем с закрытыми глазами, то с retention как правило у людей (и компаний) большие проблемы:

1/ Часто retention просто не считают. Все уделяют внимание первой продаже, но мало кто всерьез работает над повторками.

2/ Если retention и считают, то делают это неправильно. Считают n-day вместо rolling (или наоборот) и не понимают потом, что с этим делать.

3/ Не умеют прогнозировать. Retention — метрика, которую мы никогда не знаем полностью, потому что потенциально «хвост» удержания может уходить в бесконечность. А значит, нужно уметь retention правильно моделировать.

4/ Не умеют тестировать. Тестировать влияние изменений на retention — это очень длинный путь. Нужно условно полгода/год или даже несколько лет, чтобы оценить изменение удержания на дальних этапах. Можно это сильно ускорить за счет прокси-метрик, но мало кто их использует.

5/ Не учитывают влияние некоторых факторов. Удержание — одна из самых «ветвистых» метрик с точки зрения того, как выглядит дерево гипотез для ответа на вопрос «почему упал retention». Приложение залагало — пользователь отвалился. Продавец нахамил — пользователь отвалился. И так далее — работа над retention-ом предполагает глубокое продуктово-аналитическое погружение.

И чем раньше мы научимся retention считать, тестировать и переводить в полезные для бизнеса решения, тем раньше мы будем на коне (как в рекламе OldSpice). Потому что стоимость привлечения дорожает с каждым днем, конкуренция во всех бизнесах тоже усиливается ежедневно, а значит экономика на первой продаже будет сходиться все хуже. А вот за счет длинного retention (и, соответственно, LTV) можно будет тащить.

Я планирую сделать целую серию постов про работу с retention — это большая тема, тут можно много сказать. Если у вас есть вопросы по этой теме — обязательно напишите в комментариях, постараюсь на них ответить в постах!

А если вы хотите прям глубоко на реальных кейсах погрузиться в работу с retention и удержанием — записывайтесь на мой авторский тренинг «Как делать аналитику». Там как раз будет несколько кейсов именно про аналитику retention и LTV.

🔗 Записаться

Поток стартует уже через неделю, но места еще есть, так что записывайтесь — будет мощно, выложусь на все 1000%! 🔥

Сегодня последний день, чтобы вписаться в тренинг «Как делать аналитику». Завтра уже стартуем первую лекцию 🤘🏻

Мы уже сформировали чатики, открыли бонусные материалы участникам и уже придумали несколько дополнительных активностей сверх того, что заявлено в программе)

Будет насыщенно:

1/ Научитесь общаться с бизнес-заказчиком так, чтобы незаметно для него самого вытаскивать из него боли с помощью адаптированного JTBD-фреймворка.
2/ Поймете, что не всегда нужно строить дашборды — разберетесь с аналитическими отчетами, алертами, выгрузками, крос-чеками и прочими важными вещами. Это база.
3/ На примере реальных кейсов из разных сфер бизнеса разберетесь — почему вы делаете неправильные выводы, как их не делать и как делать правильные.
4/ Разберем несколько бизнесов про то, как построить там аналитику с нуля — какие отчеты нужны, какие компетенции, какой стек технологий и т.д.

В общем, залетайте в последний вагон — завтра запрыгнуть уже нельзя будет)

🔗 Запрыгнуть по ссылке

Под моими постами частенько мелькают вопросы про A/B-тесты. Оно и понятно — тема, на самом деле, максимально горячая и актуальная + максимально непонятная и с кучей тонкостей. Сам всегда с интересом изучаю материалы по этой теме (прямо сейчас в соседней вкладке открыта статья про повышение чувствительности тестов — для небольших бизнесов это актуально).

Я лично особо про это ничего не пишу, потому что не занимаюсь этим на ежедневной основе и в больших масштабах, как это делают в бигтехе. Но с удовольствием готов вам рекомендовать других авторов, которые со знанием дела про это пишут.

Например, канал Юры Борзило. Обязательно подпишитесь и рекомендую сразу начать с этого поста — он собрал в одном месте 60 постов по A/B-тестам 💀 Просто прочитайте их все, выпишите — где у вас пробелы и проработайте эти темы. Это уже будет супер полезно.

Мы с Юрой, кстати, встречались на Матемаркетинге — рассчитываю, что на ближайшей конфе снова увидимся 🫂

P.S. А еще мы с Юрой планируем скоро провести совместный стрим — так что не пропустите анонс, будет очень необычная для меня тема))

Вчера затронули тему A/B-тестов — пожалуй, сделаю еще пару постов на эту тему)

Мы в Simulative прямо сейчас активно прорабатываем тему A/B-тестов в рамках нашей линейки курсов, поэтому я много изучаю вокруг этого вопроса. Общаюсь со студентами и уже действующими аналитиками, смотрю курсы на других платформах, читаю статьи по теме и т.д.

И обратил внимание, что один из самых волнующих вопросов (как со стороны новичков, так и со стороны опытных аналитиков) — «А как технически проводить A/B-тесты, чтобы не прострелить себе ногу»?

И реально — как-то всегда много внимания уделяется анализам результатов и принятию решений на основании A/B-тестов, но в то же время есть и другие важные вопросы — как сплитовать аудиторию, как контролировать результаты тестов и как вообще на этапе анализа одновременно посмотреть кучу метрик и ничего не упустить.

Кто-то использует готовые решения, кто-то костылит, а некоторые компании инвестируют много денег и времени в свои платформы. Например, на моих глазах ребята из Авито создавали свою внутреннюю A/B-платформу — лично знаком с аналитиками, которые принимали в этом участие + помню, сколько боли и итераций было сделано, чтобы это стало реально классным продуктом.

А недавно они выкатили ее в открытый доступ (кстати, называется Trisigma — кто шарит, понял прикол про три сигмы 😘). И теперь кто угодно может использовать платформу, разработанную ведущей компанией страны с точки зрения дата-культуры, для решения своих задач по A/B.

Рекомендую от души — кто давно подписан на меня, видели, что я периодически вкидываю рекомендашки про Авито)

В общем, если у вас в компании есть задачи, связанные с A/B-тестами и вы не знаете, как к ним подступиться/хотите улучшить их проведение — просто запросите демку. Я тоже записался, нам как раз сейчас актуально ✋

Кстати, мы сейчас обсуждаем с ребятами из Trisigma сделать крутую совместную активность — пока подробности не могу рассказать, но если получится, будет круть! Stay tuned!

Ворвусь к вам с пятничным контентом!

На днях ходил на подкаст к ребятам из Сравни (мы с ними давно и плотно сотрудничаем, а тут собрались в неформальной обстановке). И у нас случился очень интересный разговор вокруг аналитики:

1/ Зачем аналитика нужна в компаниях, причем не только аналитикам
2/ Почему мозг саботирует принятие верных решений
3/ Что вообще сейчас происходит с рынком труда — лавочка прикрыта или живем?

Да и в целом много классного было — рассказал пару своих факапов, про персональные данные поговорили, про ИИшку. Емко и по делу, рекомендую короче 😘

🔗 Youtube
🔗 VK Видео
🔗 Rutube
🔗 Яндекс Музыка

P.S. Попросили попозировать для обложки — сказал, что я серьезный парень и давайте возьмем серьезную фотку. Тем временем дизайнеры, которые просто вырезали какой-то упоротый момент из видео — 😂