Ключевые результаты Яндекс.Ridetech

— 2,4 млрд поездок
— 25% поездок уже не в России
— 20% оборота каршеринга - b2b
— Яндекс.Доставка перед новым годом (в декабре) делала в среднем 360 тыс доставок в день

Из поста Даниила Шулейко

Когда работа сама ищет аналитика? Когда у аналитика есть опыт!

Настоящий рабочий опыт можно получить всего за месяц на «Симуляторе аналитика» от KARPOVꓸCOURSES.

В чём суть Симулятора? Представьте, что вы устроились на работу в молодой стартап. Ваша задача — с нуля выстроить аналитические процессы под руководством ведущего аналитика Анатолия Карпова.

За 5 недель интенсивной практики вы научитесь:
▪️Строить realtime дашборды
▪️Автоматизировать поиск аномалий в данных
▪️Анализировать продуктовые метрики
▪️Планировать и запускать A/B-тесты

Важно: курс для тех, кто хотя бы на базовом уровне знает Python, SQL, Git и статистику.

Переходите по ссылке и записывайтесь на Симулятор до 25 февраля.

Есть такой аналитический сервис App Annie, который регулярно публикует отчёты о самых популярных предложениях, а для компаний продаёт доступ к данным о рыночных долях приложений и сервисов на мобильных платформах (iOS и Android): можно изучать, кто как быстро растёт, у кого сколько пользователей, оценивать, сколько нужно вложить денег в маркетинг, чтобы догнать и перегнать конкурента, успешен ли стартап или умирает и так далее. Данные у них в том числе от разных бесплатных VPN и других сервисов, которые в обмен на свою работу просят доступ к информации об установленных приложениях.

И есть сервис SimilarWeb, который позволял делать примерно то же самое, но в основном по десктопу. Они аппроксимировали заходы и переходы на сайты через доступ к статистике части сайтов, логов от интернет-провайдеров, всяких бесплатных расширениях для браузеров. То есть некоторые данные сами сайты предоставляют о себе, чтобы быть более точно представленными в рейтинге SimilarWeb, а большинство данных предоставляем мы сами, пользуясь каким-нибудь популярным блокировщиком рекламы и ограничителем трекинга (oh, the irony).

Короче, App Annie была королевой анализа мобилки, а SimilarWeb — десктопа. А теперь, похоже, рынок консолидировался.

App Annie объявила, что теперь она называется Data.ai и позиционирует себя как поставщик «объединённого стандарта данных». Для этого компания заключила партнёрство с SimilarWeb по перепродаже данных — как пишет Venture Beat, Similarweb поглотит данные Data.ai по рынку и мобильным приложениям (например, MAU, инсталлы и посещения) и воплотит доступ к этим данным в новом продукте, который позволит компаниям покупать аналитику от одного вендора.

Конечно, App Annie/Data.ai в своём обращении утверждает, что продолжит дополнять свои продукты новыми сегменты данных, но происходящее выглядит именно как консолидация в лице SimilarWeb. Похоже, что в рамках сделки SimilarWeb поглотил продукт App Annie и стал основным лидером веб и мобильной аналитики приложений. Как ещё объяснить то, что объединение произойдёт именно в их продукте, я не представляю.

#нестер
Шиза по поводу данных пользователя: отличие ЕС и России.

В начале года в ЕС случилось сразу два диковатых события, причиной которых стали законодатели.

В Австрии признали незаконным использование Google Analytics. И наказали за это не Гугл, а сайт. Мол, пользователя не спросили и передали его айпи-адрес (везде речь идёт про них, а не про cookie) американской компании на американские сервера.

А второй пример, в немецкой Баварии, ещё хлеще - сайт был признан виновным по суду и владельцу был назначен штраф за использование ШРИФТОВ. Да-да, бесплатных шрифтов Google Fonts, которые используют 50 миллионов сайтов по всему миру. Логика такая - страница сайта, пока подтягивала с американских серверов шрифты для отображения, передала айпи-адрес пользователя. А он на это разрешения не давал! И оштрафован снова сайт.

По-моему налицо попытка махать секирой правосудия не вникая в то, как устроен Интернет. Представьте, что 10-15 скриптов, от шрифтов до сервисов аналитики, на каждой странице будут каждый раз спрашивать у вас разрешения, как бы чего не вышло?

При этом, в ЕС повод для давления - передача данных пользователя без его разрешения. Дух закона о защите данных GDPR - это не про запреты, а про разрешение пользователя на каждую операцию с его данными.

А вот в России повод для давления на бигтех с 1 марта - отказ от передачи данных государственному счётчику. Что характерно, о разрешениях со стороны пользователей речи даже не идёт. Везде он - объект, а не субъект. Данные должны быть собраны в любом случае.

Но и то и другое - поспешное законотворчество людей, некомпетентных в технологиях. И оно долгосрочно несёт гораздо больше вреда, чем мифическая "угроза слежки бигтеха" или "влияния на население".

Какая метрика показывает процент полученных показов рекламной кампании от всего трафика в аукционах?

ROI? ДРР? Нет, SOI.

В Мастере отчетов в Яндекс.Директе появляется новый показатель — SOI (Share Of Impressions), то есть доля выигрышей в аукционах (процент полученных показов).

Какие проблемы решает SOI?
Можно посмотреть долю показов своих рекламных кампаний от всего трафика в аукционах и понять как и за счет чего можно увеличить свой трафик. Вы можете сравнить SOI своих объявлений с показателями других рекламодателей и понять, привлечёт ли больше пользователей увеличение ставки. В общем, метрика будет полезна в оценке эффективности кампаний.

SOI работает с учётом всех факторов, в том числе таргетинга, статусов, качества объявлений и временных ограничений работы кампании. Пока нельзя посмотреть долю выигрышей по нескольким кампаниям, делать это можно через менеджера.

Подробнее читайте на сайте

Мы сейчас проживаем ситуацию, анализ которой невозможен.

Старайтесь мыслить критически и не принимать на веру ничего. Мы сталкиваемся и будем сталкиваться с манипулированием общественным мнением, ложью и другими обязательными вещами, свойственными военному времени.

Здравый смысл поможет всем нам бороться с нарастающими трудностями 🙏

Жизнь резко перешла в режим hard...

Мы открываем все наши материалы всех лет. Надеюсь, кому-то это поможет отвлечься от новостей, кому-то заполнить пробелы в знаниях, кому-то познакомиться с кем-то.

На наших конференциях собирались люди из многих стран. И все они всегда могли найти точки соприкосновения.

Мы вернёмся к работе над конференциями в ближайшее время. Мы хотим в это верить, по крайней мере. А пока что не до конференций. Берегите себя и своих близких.

Матемаркетинг-18

Матемаркетинг-19

Матемаркетинг-20

Aha!'21 (new)

Матемаркетинг-21 (new)

Если что, пишите нам в почту [email protected]

Мир — очень связная штука. И именно сейчас мы наблюдаем его связность. Страны теперь очень быстро умеют вводить экономические санкции, компании и организации научились моментально блокировать всё что нужно, Илон Маск может перемещать группировки спутников Starlink по орбите, медиа и киберпространство позволяют все проверить и доказать на данных.

Мир — очень маленький и хрупкий. Особенно если мерять временем долета межконтинентальной ракеты. Но если речь идёт о конкретном человеке или даже стране, то он необъятно большой и очень сильный.

Технологии, знания, история, культура и наука людей всего мира объединялись сотни и тысячи лет, а XXI век подарил миру науку о данных, которая позволила упаковать разрозненные вековые знания в понятные системы, повысить уровень экономики всех стран, повысить уровень жизни во всех странах, наладить торговлю, логистику и так далее... За 2 года пандемии мир научился жить в формате "всё это включить, а всё это выключить одной кнопкой, чтоб на местах ничего не сломалось". И мир победил вирус очень быстро и вернулся к нормальной жизни без вируса.

За последние 30 лет жизнь человечества стала гораздо более комфортной и удобной. Даже в Африке и самых нищих странах Южной Америки и Азии. За последние 30 лет в мире накопилось огромное количество денег, часть которых мог получить любой адекватный стартап, играющий на связности мира и охвате людей. За последние 30 лет я много где побывал, многое видел и чувствовал и, кажется, кое-что понял о жизни.

Я против войн. Я не хочу реинкарнироваться через миллион лет и без штанов бегать за мамонтом. Я как и все (или почти все) хочу жить в удобном связном мире и пользоваться услугами глобальных компаний, выбирать из лучшего и не задумываться о том, что где-то в толще океана живёт подводная лодка, способная махом снести наш шарик с орбиты.

Договоритесь, пожалуйста! Если это произойдёт, то мы за свою жизнь ещё успеем заново сплести разорванные ниточки связности мира во имя своих детей и многих других поколений.

Очень хочется счастья всего человечества. Очень хочется относиться к этому человечеству.
Очень хочется успокоиться и всех успокоить.

P.S. Песни БГ стали иначе звучать

О санкциях компаний-поставщиков аналитического ПО и вариантах миграции

- Microsoft Power BI останавливают новые продажи в России Официальной информации об отключении облака (пока) нет, но многие компании уже начали из облака переходить на сервера. Продажи закрыты, в том числе через партнёров в РФ. Скорее всего, PBI можно будет так или иначе купить через третьи стороны, но обновления и сервис получить уже не удастся.

- Tableau прекращает продажу и поддержку продуктов (на русском тут) По моим данным, лицензии (даже крупным клиентам) продлены не будут.


Участники сообщества Матемаркетинга предлагают смотреть в сторону DataLens / ChartEditor / ChartWizard (ChartEditor и ChartWizard это внутренние инструменты яндекса) и пр. Это отечественные разработки, их точно никто не отключит, но их дистрибуция пока слабо развита на отечественном рынке В Яндексе есть замена SVN (arc+Arcadia), scheduler’ам типа Luigi/AirFlow/Jenkins/ и YT в качестве замены Hadoop. Это достаточно развитые на сегодняшний момент технологии.

Яндекс ожидает, что в DataLens перетечет часть юзеров других BI-систем. С точки зрения ресурсов они готовы в моменте принять около миллиона новых юзеров. Продукт продолжит развиваться, а команда разработки будет расти. Пересматривать тарифную политику пока не собираются - DataLens остается бесплатным.

OpenSource-решения могут также прямо или косвенно пострадать от санкций, но вероятность этого невысокая.
Из самых очевидных путей миграции - Apache Superset, Redash, Shiny, Metabase. Вместо Airflow потенциально можно использовать Dagster.

= = =
Мы собираем информацию об отечественном ПО и opensource решениях, которые могут облегчить жизнь аналитикам. Если вам есть что добавить или вы уже мигрировали на какой-то новый софт или просто можете быть полезными своей экспертизой, пишите мне в почту [email protected] или в телеграм @a_nikushin
= = =

Также предлагаю посмотреть доклад Пети Ермакова с Матемаркетинга о том, почему стоит выбрать Apache Superset. Смотреть можно бесплатно после регистрации.
В докладе доказывается почему стоит выбрать Apache Superset в качестве Open Source BI. Акцентируется внимание на ситуациях, когда цена и сложность некоторых BI инструментов является заградительным барьером для перехода к data-driven. Подробно рассматривается Apache Superset и другие инструменты.

Если честно, я не очень люблю Epic Growth - они порой опережают нас, частенько придумывают классные форматы и генерят много контента и при этом постоянно игнорируют нас и не общаются со мной. На то мы и конкуренты, чтобы не любить друг друга, но с оглядкой друг на друга стараться делать свои образовательные и информационные продукты лучше и качественнее.

В связи с санкциями Visa и Mastercard у ребят возникла проблема - их личный кабинет перестал принимать оплаты и пришлось быстро переезжать на другую платформу. Кажется, переезд удался, но продуктовая проблема глубже - нужно перепривязать карту.

Сегодня эпики прислали письмо с темой Сохранить Epic Growth и выложили пост примерно с таким же текстом - и речь здесь идет о сохранении компании, а не подписки. Они, так же как и Матемаркетинг, микробизнес. Поэтому, я думаю, что без регулярных оплат запас прочности будет совсем небольшой. Поэтому, подпишитесь на Эпиков, если вам интересен контент по менеджменту продуктов, UX, ecom и около этих сфер. Месячная подписка стоит 990 рублей, то 8 долларов, то есть это что-то около нуля. Но подписаться важно. Это позволит ребятам продолжать и это - самое главное.

Ссылка на регистрацию https://lk.epicgrowth.ru/choose-plan/?utm_source=matemarketing


P.S. Напомню, что мы вообще все свои материалы выложили в открытый доступ. У меня не поднялась рука повесить ценник и продавать в рассрочку.

Матемаркетинг тоже будет делать подписку. Другую. Иначе. Чуть позже. Как стихнут орудия. Конференции и образовательные ресурсы есть там, где есть проблемы, а проблемы у людей сейчас — охуительные. Нам (Матемаркетингу) важно сохранить рынок и конкуренцию. В темные времена нужно содействовать друг другу.

P.P.S. Я сам подписан на EG около года. Это больше профессиональный интерес, но с точки зрения получения доступа к контенту это хорошая инвестиция и хорошее сообщество, которое поможет найти решение, работу или поддержку.

Лирическое отступление.

…мы ведь сами почти успели к двадцатым числам февраля собрать нашу весеннюю конференцию Aha! Планировали что до 28 числа сформируем программу, а до 8 марта верифицируем бОльшую часть докладов.

Мы еще зимой поняли, что важно сосредоточиться на базовых задачах, решения которых часто пропускают в статьях и курсах, но при этом эти задачи приходится решать всем без исключения аналитикам рано или поздно.

Например, ранжирование и персонализация. Какой объект кому показать первым, а кому вторым? Это же нереальный пласт работы, которая постоянно должна совершенствоваться. Или например мэтчинг. Мэтчинг - это очень интересные задачи с точки зрения математики и ML и здорово бы было знать и понимать с чего начинается их решение.

От этих идей мы перешли к большой идее говорить именно о маркетплейсах. О доставке, такси, классифайдах и тому подобном. Там где с обеих сторон живые люди, которые ждут такси или пиццу, покупают или продают, снимают номер в отеле или бронируют автомобиль или покупают билет на самолет.
(помните, было такое время, когда можно было покупать билет на самолет, искать отель в России на букинге и вообще делать много разных приятных дел через смартфон?)


В итоге, в феврале мы успели собрать подтверждение участия от более чем 40 компаний. Все заметные компании России + порядка 15 ребят из Европы + США и другие континенты. Но события последней декады февраля все умножили на ноль…

Вы кстати можете посмотреть часть программы. Она вообще не похожа на Матемаркетинг. Мы были уверены, что нам удалось создать продукт, превосходящий по потенциалу Матемаркетинг. ”Счастье” было очень близко. Пара человек умудрились купить билет с неработающего сайта.

Мы нашли новую площадку, планировали длинные доклады (по 45-50 минут), отдельный день мастер-классов и отдельный онлайн-день… Это должен был быть фурор. Теплый весенний день, центр москвы, уютный лофт, ооооххх…

Сначала отвалились иностранцы. Мы даже не нашли аргументов, чтобы что-то сказать. До сих пор не нашли. Да и не ищем, если честно. Потом зафризилось все что было в РФ. Мы написали на сайте что мол не до конференций и решили что вся эта история перенесется на какой-то неопределенный срок. Потому что на самом деле сейчас не до этого.

Сайт тоже оставили без ссылок на покупку и оплату. Но он красивый в этот раз - вы только посмотрите.

https://aha.matemarketing.ru/

24 февраля я с семьей и друзьями фактически эвакуировался из Сочи на машине. Мы ехали по плохим трассам вглубь страны. Не по федеральной М4 Дон через Ростов, а по безымянным дорогам через Сальск, Волгодонск, Волгоград, Саратов до Самары.

Разумеется, мы стопнули всё (или оно само стопнулось): спонсорства, партнерства, аккаунтинг спикеров, отменили площадку и так далее и так далее. Я написал некоторым что мол сейчас мы все в состоянии жуткого стресса и непонимания, никаких решений принимать нельзя, давайте просто все отложим куда-то на потом. Конференция все-таки это явление сытой поры, а когда ситуация такова, что непонятно выживет ли Яндекс с Озоном или все же будет делистинг, то как-то даже отсвечивать не хочется.

12 марта у нас отключится Тайпформ. И будет неудобно собирать новые заявки на доклады. Их подавали здесь https://matemarketing.typeform.com/aha22 - тоже можете написать что-то приятное. Например, о том как сводите баланс своего маркетплейса в эту пору.


В общем, друзья, без конференции мы этой весной-летом. Ни оффлайна, ни онлайна, ничего. Дай бог к ноябрю все-таки что-то соберем похожее на конференцию. Может в Мсокве, может в Ереване. Может в онлайне.

А сейчас будем делать эфиры с российскими сервисами, которые придут на замену тех, кто отменился из-за санкций, с теми, кто использует опенсорс и так далее.

Может быть, поможем кому-то кого-то нанять, но я почему-то уверен, что в РФ сейчас будет рынок предложения, а не кандидата. А в большом мире и подавно. Чтобы резко найти работу где-то зарубежом, потребуется быть на 2-3 головы выше всех остальных.

Может быть сделаем пару-тройку рекламных интеграций.

И точно будем запускать подписку.

P.S. Костяк команды ММ сейчас немного пораскидало. Кто в Армении, кто в Испании, кто в Польше, кто в разных городах России. Мы очень сильно это все переживаем. Ника Гардаш - украинка, Илья Чухляев - работает в OWOX. Головной офис OWOX - в Днепропетровске. Также в нашей команде есть Юля Корогод и Алина Ляпич. Для них Украина не чужая. Моя супруга Саша - на половину украинка (по маме). Так что все эти ”спецоперации”… в общем, по-живому это всё. Я просто нутром ощущал и ощущаю как меня и всех окружающих отбрасывает во времена моего детства, когда на завтрак был черный хлеб с маргарином Rama и лимонад с рулетом за 16 рублей по большим праздникам…

Да, хочется надеяться на лучшее, ждать и верить что всё образуется. Но на это уйдут годы. Не два и даже не пять. Ловлю себя на ощущении что хочется заснуть, проснуться и словно бы это сон. Но я (слава богу) засыпаю, просыпаюсь и это не сон. А еще новости. Читаю их то со страхом, то с каким-то покорством, то с безразличием.

Ладно…что это я…Пойду спать. Доброй тихой ночи всем нам 🙏

Из России ушли IELTS и TOEFL. Только я собрался структурировать знания английского, как все накрылось. Теперь, чтобы сдать экзамен по английскому придётся договариваться с представительством British Council в третьей стране по телефону на английском и присылать им перед этим уйму материалов на английском. Кажется, что с таким подходом удастся сдать минимум на 7 баллов.

Из России ушли платёжные системы, разные хххPay и введены ограничения на операции с валютой. Теперь приходится разбираться в сортах криптобирж, web3, децентрализованных и централизованных технологиях, а также нужно разобраться с получением резидентства, открытия карты и счета в странах, куда ещё летают самолёты, понять условия аренды ячеек, ведения бухгалтерии, что-то про двойное налогообложение, открытия представительства или филиала компании, разобраться чем офшорная зона отличается от особой экономической, проверять возможности, которые дает digital nomad visa в конкретной стране и при всем при этом уметь отличать нормальных людей от мошенников.

Из России ушли самолёты. И если в ковидную эпоху я смеялся и в мечтах мысленно строил маршруты с пересадками куда угодно, учитывая необходимость ПЦР-теста, наличия вакцины Спутник V или Pfizer, то теперь не до шуток и построение маршрутов усложняется поиском билетов не на Авиасейлс, а в системах бронирования, визовой политикой, ограничениями и санкциями. И ещё здорово отслеживать самолёты, которые будет поддерживаться в летающем состоянии. Оказывается, есть целый реестр, в котором все это описано.

Из России ушёл интернет. Я скачал уйму VPN, psiphon, почти научился поднимать свой VPS-сервер и вернулся к временам, когда мониторил загрузку сети, качество трафика и доступность ресурсов. Я нормально ознакомился с Tor, сайтами в домене onion и ещё кучей новых технологий.

По вечерним вкладкам моего браузера, базам данных, пресс-релизам, новостным фидам и членству в новых чатах можно подумать, что я на ночь глядя пытаюсь совершить и спонсировать кибератаку на Пентагон или за крипту из под VPN купить благонадежный пассажирский самолет, имеющий возможность влетать в конкретные воздушные пространства.

Я всё это пишу с большой долей иронии, разумеется. Потому что весёлого и забавного в этом ничего нет. Это всё от нервов. Я бы мог продолжить свой пост тем, что с наступлением тепла придётся составить справочник соответствия всех деталей BMW китайским аналогам и справочник соответствия софта, но пожалуй не буду. Еще говорят, что Google Analytics не будет работать. Сразу утешу всех сочувствующих. У вас не будет такого количества каналов трафика, чтобы вам был необходим GA. Еще пара недель и достаточно будет utm-меток для обеспечения сквозной аналитики. Но теперь я уверен, что английский я точно сдам. Но не уверен, что выйду из этого Джуманжди...

Подборка свежих толковых бесплатных курсов.

Антон Жиянов @dangry запустил курс для тех, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.
Речь идет об импорте, анализе и экспорте данных, используемых типах данных в SQLite и работе с JSON. Курс пока что бесплатный
https://stepik.org/course/113615/promo

Глеб Михайлов @mikhaylovgleb опубликовал короткий бесплатный курс по созданию аналитических таблиц с помощью Pandas и SQL. Учит как привести данные к формату, с которым удобно делать отчеты, когортный анализ, анализ оттока, анализ LTV и тд и тп https://gleb.center/p/analytical-tables

Андрей Кармацкий напомнил о своем курсе по визуализации геоданных. Сегодня Андрей руководит аналитикой в беспилотниках Яндекса, а сам курс был записан еще 7 лет назад. Но за 7 лет базовые принципы визуализации не сильно поменялись. Поэтому, если вам интересны форматы, принципы и методы визуализации картографической информации, то курс Андрея будет полезным. https://github.com/minikarma/geotalk


+ бонус
LinkedIn запустил проект Future of Skills, в котором выявлены тенденции и динамика по навыкам, которые пользователи указывают в своих профилях, в разрезе локаций, должностей и тд и тп.
https://www.linkedin.com/business/talent/blog/talent-strategy/top-skills-for-almost-any-role-new-tool

@internetanalytics

Яндекс Практикум запустил бесплатный тренажёр по основам математики

С его помощью можно:
- повторить школьную программу
- освоить базовые математические навыки для работы продакт-менеджером, разработчиком, аналитиком или специалистом по Data Science.

5 модулей: «Числа», «Дроби», «Алгебра», «Множества и логика» и «Комбинаторика».

В каждом модуле от 15 до 20 уроков.
Длительность прохождения одного модуля — 20-30 часов.

Тренажер учит:
- быстро считать в уме, работать с пропорциями и процентами, решать уравнения и неравенства, совершать операции над множествами, использовать логические операторы, решать комбинаторные задачи и доказывать несложные теоремы;
- браться за задачи с несколькими переменными, корректно интерпретировать данные статистики, видеть ошибки в расчётах и понимать абстракции, которыми в работе оперируют разработчики и аналитики;
- решать задачи, с которыми менеджеры проектов, маркетологи, тестировщики, аналитики, разработчики и представители других цифровых профессий сталкиваются на работе.

Приступаем к прохождению здесь!

Google Analytics анонсировали закрытие GA3 в июле 2023

Все ресурсы Universal Analytics прекратят обработку новых обращений 1 июля 2023 г. Ресурсы Universal Analytics 360 получат дополнительные три месяца обработки новых обращений, которые закончатся 1 октября 2023 г.

Google Analytics 4 заточен на конфиденциальность, не полагается исключительно на файлы cookie и использует модель данных на основе событий.

Апдейты будут публиковаться здесь https://support.google.com/analytics/answer/11583528

Miro нанимает в Амстердам и Берлин лидов аналитики. Необходим опыт руководства продуктовой аналитикой более 3 лет, общий опыт работы с данными - более 6 лет.

Ожидания очень высокие. Идеальный портрет - менеджер менеджеров с блестящим английским (С1/С2) из топ tech компаний с подтвержденным опытом влияния на ключевый продуктовые решения.

Амстердам (Workflow): https://miro.com/careers/vacancy/5886062002/

Берлин (Core): https://miro.com/careers/vacancy/5220945002/

И ещё 17 data-шансов https://miro.com/careers/

Влияние санкций на App Store российских пользователей. По вертикали — абсолютное количество значений billing issues за неделю. На текущий момент времени количество неудачных списаний выросло на 47% (на самом деле будет выше).

Пожалуй, буду выкладывать сюда заметки, которые пишу по итогам тредов в чате аналитиков.

Возник вопрос о поиске хороших гайдов по дизайну метрик.

Сразу порекомендовали
1. Towards universal event analytics - building an event grammar от Snowplow (хотя это руководство больше про ивенты, чем про метрики)
2. Guide to product metrics от Mixpanel
3. Designing and evaluating metrics
4. Отслеживание роста продукта на длинном периоде и подходы к оценке устойчивости собраны в статье Data informed product building (главы 1-5) из блога Sequoia

Одна из целей дизайна метрик - определение NSM (North Star Metric) - главной стратегической метрики. Поэтому, был упомянут чеклист для NSM от Amplitude c оговоркой, что он довольно абстрактный.

1. It expresses value. We can see why it matters to customers.
2. It represents vision and strategy. Our company’s product and business
strategy are reflected in it.
3. It’s a leading indicator of success. It predicts future results, rather than reflecting past results.
4. It’s actionable. We can take action to influence it.
5. It’s understandable. It’s framed in plain language that non-technical
partners can understand.
6. It’s measurable. We can instrument our products to track it.
7. It’s not a vanity metric. When it changes we can be confident that the change is meaningful and valuable, rather than being something that doesn’t actually predict long-term success—even if it makes the team feel good about itself.

Для погружения в проблематику подходов к определению NSM, можно посмотреть лекцию Андрея Пушвинцева из Miro с прошлого Матемаркетинга (необходима регистрация), где он рассказывает о процессе внедрения NSM-framework для фокусирования компании на ценности для пользователей, а не на деньгах.

Важное замечание к ссылкам выше: любой гайд, в котором нет руководства про проверке метрик на надежность и чувствительность, не является полноценным и поэтому подход к имплементации и внедрению ”в лоб” довольно опасен и может скрывать множество подводных камней. О том, как искать прокси-метрики в продуктах хорошо рассказано здесь. При этом, важно учитывать, что чувствительно метрик и чувствительность KPI не совсем одно и тоже - с KPI сложнее и чувствительность низкая. Для погружения в тему можно изучить руководство по Measuring Metrics.

@internetanalytics