Читаю чат рисечеров (там в основном социологи и маркетинговые исследователи). С конца сентября взрывной рост запросов на исследователей и контакты агентств в Казахстане, Узбекистане и Армении. А в чате ResearchOps, где в преимущественно ux/cx-исследователи и продакты, запрос на рекрутинговые агентства в Латинской Америке, Азии и чуть-чуть в Европе. Любопытное разделение, конечно.
В российском геймдеве же продолжается Великий Исход и, как цитирует нам InGameDev слова руководителя Константина Сахнова, игрового продюсера и руководителя онлайн-магистратуры РАНХиГС и Skillbox, с 24 февраля по 21 сентября Россия потеряла около 15,000 игровых специалистов. Сколько уехало в октябре -- вопрос открытый, но одна из команд, с которой я работаю, почти наполовину мигрировала на юга.
Аналитики при этом сидят тихо и не отсвечивают. Как обычно.
В российском геймдеве же продолжается Великий Исход и, как цитирует нам InGameDev слова руководителя Константина Сахнова, игрового продюсера и руководителя онлайн-магистратуры РАНХиГС и Skillbox, с 24 февраля по 21 сентября Россия потеряла около 15,000 игровых специалистов. Сколько уехало в октябре -- вопрос открытый, но одна из команд, с которой я работаю, почти наполовину мигрировала на юга.
Аналитики при этом сидят тихо и не отсвечивают. Как обычно.
Ребята, чью статью про прогнозирование LTV я цитировал ранее, в четверг проводят вебинар на эту же тему.
https://tracker.my.com/promo/ltv-forecast-webinar
https://tracker.my.com/promo/ltv-forecast-webinar
MyTracker
Прогноз LTV: как выбрать модель и оценить результат | Вебинар 27 октября
🔥3
Посмотрел-послушал вебинар по предсказанию LTV от исследователей из MyTracker. Если коротко -- интересно с точки зрения идей. Из критически значимого, что, на мой взгляд, обесценивает весь материал -- в их примере используются только платящие. То есть все 95-97% неплатящих (как это обычно в f2p играх) и создаваемый ими дисбаланс классов игнорируются. Конечно, в других моделях это как-то решается. Но как -- нам уже не показали.
Из того, что еще показалось интересным --- предсказание по девайсами и введение в модель пользователей, для которых не прошло еще таргетное количество дней. Первое дает возможность использовать персональные характеристики, если получится их откуда-то найти. А второе, наверное, может повысить информативность модели / сгладить временной фактор.
UPD: https://www.youtube.com/watch?v=e8JKKAjWoqw
Из того, что еще показалось интересным --- предсказание по девайсами и введение в модель пользователей, для которых не прошло еще таргетное количество дней. Первое дает возможность использовать персональные характеристики, если получится их откуда-то найти. А второе, наверное, может повысить информативность модели / сгладить временной фактор.
UPD: https://www.youtube.com/watch?v=e8JKKAjWoqw
YouTube
Прогноз LTV: как выбрать модель и оценить результат
Вебинар от команды предиктивной аналитики MyTracker посвящен выбору подходящей модели прогноза LTV и метрик для оценки ее эффективности. Вы научитесь:
- выбирать модель под разные кейсы;
- правильно оценивать прогноз;
- понимать ограничения и критерии применимости…
- выбирать модель под разные кейсы;
- правильно оценивать прогноз;
- понимать ограничения и критерии применимости…
Играл я неторопливо в еще один низкобюджетный закос под героев (tinysoft все не успокоятся), а тут рекламные сетки принесли Wolf Game. Няшные волки, красивые картинки. Еще один, буквально новорожденный игрок в красном океане 4X. Появились в конце августа и за два месяца заработали около $4kk. При этом пик инсталлов был в первые пару недель, потом скатились на плато. А вот ревеню даже немного растет -- кажется, у проекта неплохо с удержанием и монетизацией в середине игры. Ближайший референс зарабатывает в пять раз больше, топы жанра -- почти в двадцать, но вдруг хвостатые осилят рынок.
Такое ощущение, что авторы Wolf Games сильно вдохновлялись The Ants, но решили использовать более благородные образы (волки это вам не муравьи) и добавить сюжетной истории, которую я честно пропустил. В остальном такой же набор, как орки и эльфы в современном фентези -- жесткий тутор с кучей шагов, стандартные постройки (ферма, склад, барак, лачуга строителей, клан-холл и т.д.), внешняя карта, прокачиваемые герои, которые дают определенные эффекты. На иконках ускорителей строительства заныли зубы от флешбеков многодневных таймеров.
Есть у меня определенная симпатия к 4X, еще с браузерной версии Four Kingdoms от Goodgame, так что мне регулярно подсовывают что-то такое. Люблю я 4X, на самом деле, за три вещи -- они на старте похожи на ситибилдеры, они учат агрессивной экономике грабежей (как и всякие Clash-like проекты) и именно в них я начал играть в кланы, общение с сокланами и так далее. И, кажется, именно аналитика кланов может быть той самой аналитической "изюминкой" проекта, типа кривых сложности в match3, карт контента в шутерах или же вилок выборов в интерактивных историях.
Такое ощущение, что авторы Wolf Games сильно вдохновлялись The Ants, но решили использовать более благородные образы (волки это вам не муравьи) и добавить сюжетной истории, которую я честно пропустил. В остальном такой же набор, как орки и эльфы в современном фентези -- жесткий тутор с кучей шагов, стандартные постройки (ферма, склад, барак, лачуга строителей, клан-холл и т.д.), внешняя карта, прокачиваемые герои, которые дают определенные эффекты. На иконках ускорителей строительства заныли зубы от флешбеков многодневных таймеров.
Есть у меня определенная симпатия к 4X, еще с браузерной версии Four Kingdoms от Goodgame, так что мне регулярно подсовывают что-то такое. Люблю я 4X, на самом деле, за три вещи -- они на старте похожи на ситибилдеры, они учат агрессивной экономике грабежей (как и всякие Clash-like проекты) и именно в них я начал играть в кланы, общение с сокланами и так далее. И, кажется, именно аналитика кланов может быть той самой аналитической "изюминкой" проекта, типа кривых сложности в match3, карт контента в шутерах или же вилок выборов в интерактивных историях.
Года полтора назад я общался с hr и лидом аналитики в Melsoft, тогда они еще завлекали словами "мы тут интересный проект к релизу готовим". Прошлой осенью их купили Moon Active (небезызвестный Coin Master). Сейчас Family Island на 65 строчке в top grossing с $13.4kk, обогнав даже Vizor.
Год назад на White Nights я опять встретился с Дарьей и она рассказала, что Moon Active им радикально перестроили процессы, в частности, команду аналитики. Во-первых, у них много аналитиков на проекте (на тот момент было восемь). А во-вторых, их аналитики более узко специализированы. Кто-то занимается дашбордами, кто-то монетизацией и так далее.
Не знаю, насколько их стремительный рост связан с изменившимися процессами. Мне всегда казалось, что многочисленные команды аналитики получаются из-за раздувания штата или проблем с поиском широкопрофильных специалистов. Но вот пару недель назад я обнаружил себя читающим описание вакансий на сайте King и подумал, что это, видимо, достаточно распространенная практика и в ней есть определенный смысл.
Год назад на White Nights я опять встретился с Дарьей и она рассказала, что Moon Active им радикально перестроили процессы, в частности, команду аналитики. Во-первых, у них много аналитиков на проекте (на тот момент было восемь). А во-вторых, их аналитики более узко специализированы. Кто-то занимается дашбордами, кто-то монетизацией и так далее.
Не знаю, насколько их стремительный рост связан с изменившимися процессами. Мне всегда казалось, что многочисленные команды аналитики получаются из-за раздувания штата или проблем с поиском широкопрофильных специалистов. Но вот пару недель назад я обнаружил себя читающим описание вакансий на сайте King и подумал, что это, видимо, достаточно распространенная практика и в ней есть определенный смысл.
Недавно досмотрел цикл курсов по продуктовой аналитике от devtodev / edvice: Basics, Acquisition & Engagement, User Monetization, User Interaction & Forecasting.
Содержание по программе симпатичное, внутри тоже неплохо: рассматривается широкий спектр тем, от дизайна событий до AB-тестов, анализа акций и сегментации пользователей. Я примерно из такого же набора исходил, когда продумывал программу факультета игровой аналитики GeekBrains. Впрочем, программа курсов не должна вводить в заблуждение -- все четыре курса больше похожи на прямое перечисление инструментов и их основных идей. В конце концов, мало что можно сказать про AB-тесты за 11 минут. То есть посмотреть и понять, хочется ли идти в эту область -- вполне годится. Научиться решать задачи, просмотрев этот курс -- точно нет. Опытным аналитикам курс может быть полезен скорее с точки зрения картирования областей, что вообще есть в инструментарии. Например, я не работаю с подписками и не очень активно использую ua-метрики, а в курсе они хотя бы перечислены.
Отдельно хорошо то, что практически все примеры касаются игровых практик и задач. В аннотациях курсов про игры не особо говорят, да и в материалах нередко встречаются примеры из неигровых областей, но истоки-то не спрячешь.
При этом стоит учитывать, что это курсы от devtodev, которые достаточно откровенно продают свою платформу. А это значит, что затронутые темы могут быть неточны или поверностны не только из-за ограничения формата, но и из-за ограничений самой платформы или опыта лекторов. Например, когортные метрики типа ARPU описываются, но ограничение по окну лайфтайма упоминается очень вскользь (так как, кажется, d2d это не очень умеет), проговаривания нюансов типа "есть события с клиента, а есть с сервера, и каждый из эмиттеров знает только свою часть данных" вообще не стоит ожидать. Зато расчет LTV представлен сразу несколькими формулами / подходами, с упором на ML-решение от devtodev.
В общем, если есть время -- то можно посмотреть. Или даже не смотреть, а просто полистать презентации и ссылки на доп.материалы. Новое там найти довольно сложно, а старое может быть с неточностями или очень поверхностно. Но в целом обзор получился весьма осмысленный.
К сожалению, на данный момент у сайта неудобная верстка. Левая панель с ссылками на разделы каждого курса у меня появилась только при масштабе 110%, на телефоне я вообще не смог смотреть курсы.
#courses
Содержание по программе симпатичное, внутри тоже неплохо: рассматривается широкий спектр тем, от дизайна событий до AB-тестов, анализа акций и сегментации пользователей. Я примерно из такого же набора исходил, когда продумывал программу факультета игровой аналитики GeekBrains. Впрочем, программа курсов не должна вводить в заблуждение -- все четыре курса больше похожи на прямое перечисление инструментов и их основных идей. В конце концов, мало что можно сказать про AB-тесты за 11 минут. То есть посмотреть и понять, хочется ли идти в эту область -- вполне годится. Научиться решать задачи, просмотрев этот курс -- точно нет. Опытным аналитикам курс может быть полезен скорее с точки зрения картирования областей, что вообще есть в инструментарии. Например, я не работаю с подписками и не очень активно использую ua-метрики, а в курсе они хотя бы перечислены.
Отдельно хорошо то, что практически все примеры касаются игровых практик и задач. В аннотациях курсов про игры не особо говорят, да и в материалах нередко встречаются примеры из неигровых областей, но истоки-то не спрячешь.
При этом стоит учитывать, что это курсы от devtodev, которые достаточно откровенно продают свою платформу. А это значит, что затронутые темы могут быть неточны или поверностны не только из-за ограничения формата, но и из-за ограничений самой платформы или опыта лекторов. Например, когортные метрики типа ARPU описываются, но ограничение по окну лайфтайма упоминается очень вскользь (так как, кажется, d2d это не очень умеет), проговаривания нюансов типа "есть события с клиента, а есть с сервера, и каждый из эмиттеров знает только свою часть данных" вообще не стоит ожидать. Зато расчет LTV представлен сразу несколькими формулами / подходами, с упором на ML-решение от devtodev.
В общем, если есть время -- то можно посмотреть. Или даже не смотреть, а просто полистать презентации и ссылки на доп.материалы. Новое там найти довольно сложно, а старое может быть с неточностями или очень поверхностно. Но в целом обзор получился весьма осмысленный.
К сожалению, на данный момент у сайта неудобная верстка. Левая панель с ссылками на разделы каждого курса у меня появилась только при масштабе 110%, на телефоне я вообще не смог смотреть курсы.
#courses
👍8
Ира Голощапова со своей командой проводит 17 декабря ODS-митап по A/B-тестам.
Звала еще и меня, но у меня лапки и до мэтров мне далеко. Все-таки у нас мало тестов и собственных наработок, а рассказывать классику про оценку выборки на основании анализа мощности и NHST — моветон, мне кажется. Впрочем, наши A/B-тесты это тема отдельного поста-размышления.
Из программы митапа мне особенно интересными показались доклады "Synthetic Control для AB тестов на малых размерах выборок" и "Планирование Байесовских АБ тестов", плюс еще рассказ об Ambrosia -- я ее видел, но внимательно не ковырял. Буду смотреть.
К слову, у Иры и ребят есть интересная серия постов по A/B-тестам, тоже стоит прочитать.
Звала еще и меня, но у меня лапки и до мэтров мне далеко. Все-таки у нас мало тестов и собственных наработок, а рассказывать классику про оценку выборки на основании анализа мощности и NHST — моветон, мне кажется. Впрочем, наши A/B-тесты это тема отдельного поста-размышления.
Из программы митапа мне особенно интересными показались доклады "Synthetic Control для AB тестов на малых размерах выборок" и "Планирование Байесовских АБ тестов", плюс еще рассказ об Ambrosia -- я ее видел, но внимательно не ковырял. Буду смотреть.
К слову, у Иры и ребят есть интересная серия постов по A/B-тестам, тоже стоит прочитать.
Telegram
Reliable ML
Митап ODS Reliable ML по АБ-тестированию и Causal Inference - 17 декабря
Анонсы докладов
Всем привет!
Не всё же читать про АБ-тесты, давайте про них говорить!
17 декабря мы с Димой приглашаем вас на митап по АБ-тестам от канала @Reliable ML и Open Data…
Анонсы докладов
Всем привет!
Не всё же читать про АБ-тесты, давайте про них говорить!
17 декабря мы с Димой приглашаем вас на митап по АБ-тестам от канала @Reliable ML и Open Data…
❤1
Долго молчавшие и работавшие непублично Playliner решили продолжить свою практику публикаций исследований по разным механикам. Помнится, я с большим удовольствием читал их обзор по механикам match3 (обзор по ссылке 2021 года, хотя я точно читал его примерно в 2018 году). Собственно этот обзор в свое время натолкнул меня на идею собрать библиотеку монетизационных механик и провести их деконстракт / экспериментальную проверку с точки зрения поведения и поведенческой экономики.
Так вот, сейчас Playliner каждые две недели дают демо-доступ к своим обзорам разных игр и их изменений. Например, сейчас это Angry Birds Dream Blast. Инструмент больше полезен, конечно, геймдизайнерам. Но и аналитики могут вытащить кое-что интересное для себя. Например, мне любопытно было посмотреть общий тренд изменений проекта, который уже давно в оперировании. И в Dream Blast это преимущественно ивенты, некоторые интерфейсные элементы и прочий тюнинг. Пару недель назад был другой проект, там я заметил эксперименты с ценами в банке. Впрочем, у меня есть подозрение, что ребята могут не улавливать какие-то более системные изменения, например скорости прогресса и/или кривые сложности. И даже сложно укорять их в этом, так как подобные изменения преимущественно статистикой и ловятся/контролируются.
Так вот, сейчас Playliner каждые две недели дают демо-доступ к своим обзорам разных игр и их изменений. Например, сейчас это Angry Birds Dream Blast. Инструмент больше полезен, конечно, геймдизайнерам. Но и аналитики могут вытащить кое-что интересное для себя. Например, мне любопытно было посмотреть общий тренд изменений проекта, который уже давно в оперировании. И в Dream Blast это преимущественно ивенты, некоторые интерфейсные элементы и прочий тюнинг. Пару недель назад был другой проект, там я заметил эксперименты с ценами в банке. Впрочем, у меня есть подозрение, что ребята могут не улавливать какие-то более системные изменения, например скорости прогресса и/или кривые сложности. И даже сложно укорять их в этом, так как подобные изменения преимущественно статистикой и ловятся/контролируются.
Закончил большой и муторный отчет. Дался очень тяжело. И даже не из-за конца года и наложившихся релизов. Зато чуть точнее и четче сформулировал для себя стратегию исследования продуктовых изменений, в которых мы как-то радикально влияем на поведение пользователей.
Например, мы хотим пошатать экономику и поэтому меняем важный параметр в мете (размер награды, таймеры, количество очков рейтинга, ТТК, скидки в офферах, что угодно). В идеале, если мы еще на этапе продумывания интервенции соберем курултай с ГД (или великий курултай с привлечением продюсера, пм и топов). И проговорим-пропишем, как поменяется поведение и промежуточные метрики пользователей, какие будут эффекты второго и третьего порядков.
Подобная интервенция похожа на бросок камня в воду -- действие одно, а волны идут во все стороны, затрагивают важные и не всегда очевидные процессы. Так, если мы увеличиваем размер награды, то одним из эффектов будет рост прокачки оружия и/или уменьшение покупок паков с хардой. Эффекты второго порядка -- изменение боевых статистик типа винрейта или kd. Третьего -- пользователи быстрее летят по уровню и быстрее оказываются в котле с более злыми противниками, где могут как отвалиться, так и заплатить. И так далее, но это все уже весьма измеримые вещи. А имея такую модель и набор ожидаемых эффектов, проще проверять, сработала ли наша интервенция и как.
Конечно, мастерство аналитика в том числе и заключается в способности генерировать и проверять гипотезы, что могло измениться, придумывать информативные прокси-метрики. Но лично мне тут все же не хватает какой-то формальности и эксплицитности, наличия проговоренной минимальной измеримой модели на старте. С ней и интервенция оказывается более осознанной и продуманной, и оценивать ее проще, и результаты всей команде понятнее.
Разумеется, конечной целью любых изменений является изменение бизнес-метрик проекта и это важная часть отчета, про которую не стоит забывать. В конце концов, отчет можно построить и в обратном порядке -- как изменились метрики и за счет кого и чего, подобное исследование тоже предполагает понимание логики интервенции. Это вполне валидный подход, просто, видимо, мне он не всегда подходит.
Например, мы хотим пошатать экономику и поэтому меняем важный параметр в мете (размер награды, таймеры, количество очков рейтинга, ТТК, скидки в офферах, что угодно). В идеале, если мы еще на этапе продумывания интервенции соберем курултай с ГД (или великий курултай с привлечением продюсера, пм и топов). И проговорим-пропишем, как поменяется поведение и промежуточные метрики пользователей, какие будут эффекты второго и третьего порядков.
Подобная интервенция похожа на бросок камня в воду -- действие одно, а волны идут во все стороны, затрагивают важные и не всегда очевидные процессы. Так, если мы увеличиваем размер награды, то одним из эффектов будет рост прокачки оружия и/или уменьшение покупок паков с хардой. Эффекты второго порядка -- изменение боевых статистик типа винрейта или kd. Третьего -- пользователи быстрее летят по уровню и быстрее оказываются в котле с более злыми противниками, где могут как отвалиться, так и заплатить. И так далее, но это все уже весьма измеримые вещи. А имея такую модель и набор ожидаемых эффектов, проще проверять, сработала ли наша интервенция и как.
Конечно, мастерство аналитика в том числе и заключается в способности генерировать и проверять гипотезы, что могло измениться, придумывать информативные прокси-метрики. Но лично мне тут все же не хватает какой-то формальности и эксплицитности, наличия проговоренной минимальной измеримой модели на старте. С ней и интервенция оказывается более осознанной и продуманной, и оценивать ее проще, и результаты всей команде понятнее.
Разумеется, конечной целью любых изменений является изменение бизнес-метрик проекта и это важная часть отчета, про которую не стоит забывать. В конце концов, отчет можно построить и в обратном порядке -- как изменились метрики и за счет кого и чего, подобное исследование тоже предполагает понимание логики интервенции. Это вполне валидный подход, просто, видимо, мне он не всегда подходит.
🔥5❤1
Помнится, первые эксперименты с "чистой группой", как я тогда это называл, мы начали делать в GI. Там на одном из новых проектов предлагались с самого старта чудовищные скидки в 70-90% и мне очень хотелось это дело несколько нормализовать. Сделали три группы: контроль, группу с порезанными скидками и "чистую" группу. Результат был в какой-то мере ожидаем -- уменьшение скидок привело к существенному снижению выручки, притом больше допустимого. Хотя пару полезных идей мы все же вытащили из этого, помимо просто результатов теста. Во-первых, когда пользователи на самом старте покупают что-то только по очень высоким скидкам, у проекта проблемы с формированием ценности контента/метагейма для пользователя. А во-вторых, оценили, насколько вообще система офферов работает, чистая группа как раз выступила бейслайном.
Так вот. Сейчас global control / holdout experiments вполне распространенная практика. Мне в посте, который напомнил про такой подход, понравилась идея квартальных блоков. Мы-то делали все на когортах новых пользователей и смотрели в лайфтайме, а это очень неудобный путь, особенно для старых проектов. Правда, помимо дизайна, остается самое сложное -- смириться с потерей какого-то количества денег от группы, которая в нормальных условиях видела бы офферы и нормально платила. Но это вечная история, надо просто четко формулировать цели и ожидания от таких экспериментов.
Так вот. Сейчас global control / holdout experiments вполне распространенная практика. Мне в посте, который напомнил про такой подход, понравилась идея квартальных блоков. Мы-то делали все на когортах новых пользователей и смотрели в лайфтайме, а это очень неудобный путь, особенно для старых проектов. Правда, помимо дизайна, остается самое сложное -- смириться с потерей какого-то количества денег от группы, которая в нормальных условиях видела бы офферы и нормально платила. Но это вечная история, надо просто четко формулировать цели и ожидания от таких экспериментов.
🔥1
Мда, ничего другого тут и не скажешь, кроме "ля ты крыыыса" (c).
Хотя истории последних лет, типа ухода Макса, намекают, что конец был немного предсказуем.
Если предаваться ностальгическим воспоминаниям, то в GI было весьма специфично с данными и культурой аналитики. Когда я пришел молодым-зеленым туда в 2015 году, данные были в виде полутора десятков реплик баз, без документации и внятного описания, что и где лежит. И задачи тогда были преимущественно маркетинговые. Потом был золотой период, когда мы строили централизованную систему сбора и хранения, подключали к ней студии, работали внутренним агентством, старались развивать продуктовую аналитику, регулярно ругались с d2d и так далее. Потом вся наша команда практически единомоментно ушла, бардак с данными нарастал, а пришедшие после нас больше работали с проектами, чем с инфраструктурно-организационным уровнем.
В GI, как говорил один из наших ведущих трафогонов, год за три идет. Я проработал там чуть больше трех лет, это было интересное время и в личном, и в профессиональном плане. Не люблю, когда уходят мамонты.
https://twitter.com/roadtoray/status/1613614353139535873
Вот тут оргинал поста
Хотя истории последних лет, типа ухода Макса, намекают, что конец был немного предсказуем.
Если предаваться ностальгическим воспоминаниям, то в GI было весьма специфично с данными и культурой аналитики. Когда я пришел молодым-зеленым туда в 2015 году, данные были в виде полутора десятков реплик баз, без документации и внятного описания, что и где лежит. И задачи тогда были преимущественно маркетинговые. Потом был золотой период, когда мы строили централизованную систему сбора и хранения, подключали к ней студии, работали внутренним агентством, старались развивать продуктовую аналитику, регулярно ругались с d2d и так далее. Потом вся наша команда практически единомоментно ушла, бардак с данными нарастал, а пришедшие после нас больше работали с проектами, чем с инфраструктурно-организационным уровнем.
В GI, как говорил один из наших ведущих трафогонов, год за три идет. Я проработал там чуть больше трех лет, это было интересное время и в личном, и в профессиональном плане. Не люблю, когда уходят мамонты.
https://twitter.com/roadtoray/status/1613614353139535873
Вот тут оргинал поста
X (formerly Twitter)
Vlad (@roadtoray) on X
Помните тему с уходом Game Insight из РФ? Сейчас вдохните поглубже и приготовьтесь читать многабукаф (и кричать), потому что это того стоит
На выходных закончил Freemium Economics: Leveraging Analytics and User Segmentation to Drive Revenue. Отличная книга, несмотря на то, что вышла аж в 2014 году. В ней даже есть упоминания Zynga и Candy Crush Saga, хоть и на web-платформах.
В содержании традиционная солянка: и описание бизнес-модели, и обзор основных стат.методов, и разговор про метрики, монетизацию и виральность. Автор (Eric Seufert) постарался раскрыть разные стороны фримиумной бизнес-модели, от просто экономической модели до продуктовых задач и особенностей развития и монетизации фримиумного продукта. В результате книга получилась, на мой взгляд, больше про продакт менеджмент, чем про продуктовую аналитику, и это вносит свои акценты.
По содержанию хорошая глава про метрики, весьма неплоха глава про LTV. Наши любимые и привычные DAU, ARPU, конверсии, когортные метрики и тому подобное. Как будто конспект собственного курса прочитал, право слово, те же самые темы и тезисы. Есть даже указание на то, что LTV можно считать очень по-разному и что измерение оттока дела неблагодарное из-за необходимости выбирать пороги, про что вообще не особо часто упоминается.
Но в самое кокоро меня поразили, конечно же, прагматизм и разумность, в которых прослеживается богатый опыт. Пара цитат:
"Building a freemium product is like hunting in a large river for a very rare fish". В контексте речь идет о маленькой доле платящих, но и к успешности фримиум-продукта эту фразу тоже можно отнести. Если учесть, что я уже себе "звездочки на фюзеляже" могу рисовать по количеству закрытых при мне проектов, очень отзывается. К слову, чуть позже идет реплика, что "Analytics is the heart, the foundation, of the freemium model", потому что именно аналитика помогает тонко работать с вовлеченными пользователями и растить продукт.
"The analyst should also conduct a “smell test” on the results, or a subjective evaluation of the feasibility of the results in the context of historical patterns". Всякие курсы по продуктовой аналитике старательно учат коду и метрикам, но не менее важно понимать свой продукт, формировать чутье на лажу.
Еще один тезис касается LTV, но это уже тема отдельного поста.
В общем, мне понравилось.
#books
В содержании традиционная солянка: и описание бизнес-модели, и обзор основных стат.методов, и разговор про метрики, монетизацию и виральность. Автор (Eric Seufert) постарался раскрыть разные стороны фримиумной бизнес-модели, от просто экономической модели до продуктовых задач и особенностей развития и монетизации фримиумного продукта. В результате книга получилась, на мой взгляд, больше про продакт менеджмент, чем про продуктовую аналитику, и это вносит свои акценты.
По содержанию хорошая глава про метрики, весьма неплоха глава про LTV. Наши любимые и привычные DAU, ARPU, конверсии, когортные метрики и тому подобное. Как будто конспект собственного курса прочитал, право слово, те же самые темы и тезисы. Есть даже указание на то, что LTV можно считать очень по-разному и что измерение оттока дела неблагодарное из-за необходимости выбирать пороги, про что вообще не особо часто упоминается.
Но в самое кокоро меня поразили, конечно же, прагматизм и разумность, в которых прослеживается богатый опыт. Пара цитат:
"Building a freemium product is like hunting in a large river for a very rare fish". В контексте речь идет о маленькой доле платящих, но и к успешности фримиум-продукта эту фразу тоже можно отнести. Если учесть, что я уже себе "звездочки на фюзеляже" могу рисовать по количеству закрытых при мне проектов, очень отзывается. К слову, чуть позже идет реплика, что "Analytics is the heart, the foundation, of the freemium model", потому что именно аналитика помогает тонко работать с вовлеченными пользователями и растить продукт.
"The analyst should also conduct a “smell test” on the results, or a subjective evaluation of the feasibility of the results in the context of historical patterns". Всякие курсы по продуктовой аналитике старательно учат коду и метрикам, но не менее важно понимать свой продукт, формировать чутье на лажу.
Еще один тезис касается LTV, но это уже тема отдельного поста.
В общем, мне понравилось.
#books
👍9
В продолжение интересных фраз из Freemium Economics. В главе про LTV наткнулся на такую формулировку: "LTV is primarily a decision-making tool".
Самое очевидное использование LTV, конечно, лежит в области маркетинговой аналитики, в задачах оценки эффективность рекламных кампаний. Тут ничего нового и неожиданного, разве что в подходах к предсказанию значений дальних дней или техническим особенностям определения инсталлов. Перформанс маркетинг как он есть, со всеми ужасами и кошмарами в своих темных водах. Собственно, в книге принятие решений с помощью LTV имеется в виду именно в маркетинговом смысле.
А вот с продуктовой точки зрения ситуация интереснее. В первую очередь это касается молодых проектов, которые только нащупывают свою модель меты и монетизации. Потому что для проектов в оперировании аб-тесты, тонкие сегментации пользователей и их поведение в динамике оказываются информативнее, чем LTV. Исследования на прототипах -- это всегда поиск, что сломалось (и это вполне прозачные задачи) и оценка, удалось ли нам сформировать у пользователей нужное нам поведение. Грубо говоря, работает ли наша мета так, как мы ожидаем.
И тут оценка LTV оказывается очень полезна. Точнее, не LTV как какая-то единая характеристика когорты, а кривая LTV / кумулятивного ARPU, отображение в динамике платежного поведения пользователей по ходу их продвижения в игре. Форма кривой дает нам сразу множество точек для исследований и интепретации. Например, если кривая ложится на плато на второй-третий день, то это может быть следствием багов в системе офферов. Чаще -- маркером, что у пользователей нет потребности играть в мету и делать повторные платежи, мета недостаточно формирует эту потребность. По переломам кривой мы можем оценивать, как работают наши пейволлы. Да даже когда мы пытаемся по первым дням прогнозировать дальние значения -- косвенно это демонстрирует нашу веру, что геймдизайнеры и ребята из монетизации будут также хороши в проектировании поздних этапов игры, как и в начале.
Во всех этих кейсах точные значения LTV не нужны или вторичны, в отличие от перформанс-маркетинга. Кривая LTV показывает нам, как работает наша мета на разных этапах. И уже на основе этого мы принимаем решения, как и где шатать экономику, как приоритизировать фичи и делать ребалансы. И именно поэтому я так зацепился за "decision-making tool".
Меж тем я вполне допускаю, что могут быть другие информативные инструменты, которые позволяют оценивать метагейм и модель монетизации. Просто я их на данный момент не знаю и был бы очень не против узнать.
#metrics
Самое очевидное использование LTV, конечно, лежит в области маркетинговой аналитики, в задачах оценки эффективность рекламных кампаний. Тут ничего нового и неожиданного, разве что в подходах к предсказанию значений дальних дней или техническим особенностям определения инсталлов. Перформанс маркетинг как он есть, со всеми ужасами и кошмарами в своих темных водах. Собственно, в книге принятие решений с помощью LTV имеется в виду именно в маркетинговом смысле.
А вот с продуктовой точки зрения ситуация интереснее. В первую очередь это касается молодых проектов, которые только нащупывают свою модель меты и монетизации. Потому что для проектов в оперировании аб-тесты, тонкие сегментации пользователей и их поведение в динамике оказываются информативнее, чем LTV. Исследования на прототипах -- это всегда поиск, что сломалось (и это вполне прозачные задачи) и оценка, удалось ли нам сформировать у пользователей нужное нам поведение. Грубо говоря, работает ли наша мета так, как мы ожидаем.
И тут оценка LTV оказывается очень полезна. Точнее, не LTV как какая-то единая характеристика когорты, а кривая LTV / кумулятивного ARPU, отображение в динамике платежного поведения пользователей по ходу их продвижения в игре. Форма кривой дает нам сразу множество точек для исследований и интепретации. Например, если кривая ложится на плато на второй-третий день, то это может быть следствием багов в системе офферов. Чаще -- маркером, что у пользователей нет потребности играть в мету и делать повторные платежи, мета недостаточно формирует эту потребность. По переломам кривой мы можем оценивать, как работают наши пейволлы. Да даже когда мы пытаемся по первым дням прогнозировать дальние значения -- косвенно это демонстрирует нашу веру, что геймдизайнеры и ребята из монетизации будут также хороши в проектировании поздних этапов игры, как и в начале.
Во всех этих кейсах точные значения LTV не нужны или вторичны, в отличие от перформанс-маркетинга. Кривая LTV показывает нам, как работает наша мета на разных этапах. И уже на основе этого мы принимаем решения, как и где шатать экономику, как приоритизировать фичи и делать ребалансы. И именно поэтому я так зацепился за "decision-making tool".
Меж тем я вполне допускаю, что могут быть другие информативные инструменты, которые позволяют оценивать метагейм и модель монетизации. Просто я их на данный момент не знаю и был бы очень не против узнать.
#metrics
👍8
На app2top вышла статья "Как работает R&D-департамент Belka Games. Процессы и лайфхаки". Так как я много работаю с прототипами, был весьма заинтригован. И потом разочарован. Вот удивительно, как можно, сказав много слов, умолчать про главное. Конечно, процессы всегда полезно и важно. Но процессы отдела в немалой части зависят от весьма локальных штук — как в целом работает компания, что за люди в отделе, что ранее получалось, а что нет, и так далее. При этом некоторые из упомянутых принципов, типа followup-ов, детального прописывания роадмапов или 1-1 с сотрудниками, и вовсе кажутся очевидными.
А вот самое интересное -- как происходит поиск идей, какого вида формулируются гипотезы, какими инструментами пользуются... всего этого в тексте нет. Впрочем, фраза в заключении "В R&D-департаменте Belka Games мы считаем, что главная ответственность за результат ложится на плечи PM-а" как раз хорошо все подытоживает. Для меня же остается вопрос, чем тогда отдел R&D отличается от просто опытной команды разработки, если вообще различается.
А вот самое интересное -- как происходит поиск идей, какого вида формулируются гипотезы, какими инструментами пользуются... всего этого в тексте нет. Впрочем, фраза в заключении "В R&D-департаменте Belka Games мы считаем, что главная ответственность за результат ложится на плечи PM-а" как раз хорошо все подытоживает. Для меня же остается вопрос, чем тогда отдел R&D отличается от просто опытной команды разработки, если вообще различается.
🔥5
Редкое событие на нашем рынке игровой аналитики — открытая позиция на джуна. Saber, конечно, любопытная с этой точки зрения контора. Насколько я знаю, они не только заниматся аутсорсом, но у них есть и свои мобильные игры.
Требования не совсем джуновские, конечно. С другой стороны, и требования знать особенности игровой аналитики тоже нет, чего обычно уже ждешь от миддлов и выше.
Требования не совсем джуновские, конечно. С другой стороны, и требования знать особенности игровой аналитики тоже нет, чего обычно уже ждешь от миддлов и выше.
Наконец-то добрался до статьи Илкки Паананена (гендир Supercell) о состоянии студии. Пересказ здесь, оригинал здесь.
Мне больше всего была интересна стратегическая часть — что и как делать дальше. Из наиболее важного — Supercell стремится к тому, чтобы делать хиты с большим вкладом в культуру, культурные феномены. Желание понятное, закономерное и амбициозное, конечно. При этом вполне подкрепленное, на мой взгляд, прагматическими соображениями: при разработке игр-середнячков соотношение прибыли и затрат на разработку может не удовлетворять бизнес-целям, да и сама разработка таких игр будет оттягивать ресурсы и тем самым уменьшать шанс создания хита. Однако разрабатывать хиты они собираются полагаясь на чутье команд разработки. И вот этот момент меня смущает, я немножко скептично отношусь к визионерским стратегиям. Особенно зная, сколько на самом деле маеты с метой и экономикой. При этом работа с данными не отвергается, но веры в то, что "following the data will lead to outlier successes" мало. И вот это уже интересно. Видимо, до недавного времени соблюдавшийся принцип "нанимаем людей с 10+ лет опыта в индустрии" дает какие-то дополнительные эффекты.
Второй момент, на который я обратил внимание — есть стремление создавать инновационные продукты, а не просто улучшать успешные игры других компаний. Это ведь уже даже не growth hacking. И требует, ко всему прочему, отработанных и эффективных практик креативного мышления. Я какое-то время назад думал над этим, но ни до чего серьезного кроме брейнштормов с гд по типу "скрести ужа с ежом и придумай к этому монетизацию" не дошел, потому что во всем своем далеком академическом прошлом темы креативности и мышления я обходил по очень большой дуге.
Вообще, по словам Паананена, Supercell создали пять хитов и закрыли около 30 игр. Я почему-то думал, что закрытых проектов будет больше. И теперь я в задумчивости, как же у них на самом деле построен процесс поиска концептов, экспериментирования и тестирования прототипов.
Мне больше всего была интересна стратегическая часть — что и как делать дальше. Из наиболее важного — Supercell стремится к тому, чтобы делать хиты с большим вкладом в культуру, культурные феномены. Желание понятное, закономерное и амбициозное, конечно. При этом вполне подкрепленное, на мой взгляд, прагматическими соображениями: при разработке игр-середнячков соотношение прибыли и затрат на разработку может не удовлетворять бизнес-целям, да и сама разработка таких игр будет оттягивать ресурсы и тем самым уменьшать шанс создания хита. Однако разрабатывать хиты они собираются полагаясь на чутье команд разработки. И вот этот момент меня смущает, я немножко скептично отношусь к визионерским стратегиям. Особенно зная, сколько на самом деле маеты с метой и экономикой. При этом работа с данными не отвергается, но веры в то, что "following the data will lead to outlier successes" мало. И вот это уже интересно. Видимо, до недавного времени соблюдавшийся принцип "нанимаем людей с 10+ лет опыта в индустрии" дает какие-то дополнительные эффекты.
Второй момент, на который я обратил внимание — есть стремление создавать инновационные продукты, а не просто улучшать успешные игры других компаний. Это ведь уже даже не growth hacking. И требует, ко всему прочему, отработанных и эффективных практик креативного мышления. Я какое-то время назад думал над этим, но ни до чего серьезного кроме брейнштормов с гд по типу "скрести ужа с ежом и придумай к этому монетизацию" не дошел, потому что во всем своем далеком академическом прошлом темы креативности и мышления я обходил по очень большой дуге.
Вообще, по словам Паананена, Supercell создали пять хитов и закрыли около 30 игр. Я почему-то думал, что закрытых проектов будет больше. И теперь я в задумчивости, как же у них на самом деле построен процесс поиска концептов, экспериментирования и тестирования прототипов.
🔥3
В очередном раунде скрининга новых игр мне достался Happy Hospital от гонконгских DragonPlus Game. Ничто не предвещало беды. Но это оказался тайм-менеджер (@yanapriestley, ты вроде любишь такое).
Поток пациентов, лимит на койки, врачей разных специальностей, несколько этапов лечения, одна медсестра, которая разносит лекарства, звезды на облагораживание госпиталя в Playrix-style...Тайм-менеджер. В целом сделано добротно, аж зависть берет. Мета развесистая, игра затягивает, сложность растет волнами и постепенно увеличивается. Как будто игра не осенью прошлого года вышла.
Никогда не понимал тайм-менеджеры. В Grand Hotel Mania меня хватило минут на десять. Надеюсь, ребята из Appmagic когда-нибудь сделают обзор и на этот жанр. Мы, конечно, посмотрим сами некоторые рыночные метрики, но это не совсем то.
Естественно, профдеформация тоже проявилась. Стал попутно думать, что и как я бы логировал. Какие были бы ключевые продуктовые метрики. Голова заболела, серьезно. После шутеров это какой-то совсем другой мир, кажется. Фермы и мерджи и то проще.
Поток пациентов, лимит на койки, врачей разных специальностей, несколько этапов лечения, одна медсестра, которая разносит лекарства, звезды на облагораживание госпиталя в Playrix-style...Тайм-менеджер. В целом сделано добротно, аж зависть берет. Мета развесистая, игра затягивает, сложность растет волнами и постепенно увеличивается. Как будто игра не осенью прошлого года вышла.
Никогда не понимал тайм-менеджеры. В Grand Hotel Mania меня хватило минут на десять. Надеюсь, ребята из Appmagic когда-нибудь сделают обзор и на этот жанр. Мы, конечно, посмотрим сами некоторые рыночные метрики, но это не совсем то.
Естественно, профдеформация тоже проявилась. Стал попутно думать, что и как я бы логировал. Какие были бы ключевые продуктовые метрики. Голова заболела, серьезно. После шутеров это какой-то совсем другой мир, кажется. Фермы и мерджи и то проще.
👍3❤1
Сегодня был деактивирован слак ODS. Кончилась эпоха в жизни русскоязычного сообщества датасаентистов. И, в какой-то мере, страница моей личной истории.
Я был в ODS с самых первых месяцев и вплоть до сегодняшнего дня числился админом. На самом деле у меня были скорее модераторско-технические функции — разбирал заявки, немножко волонтерил на датафестах, тормозил и чистил срачи, отвечал на жалобы и так далее. Естественно, было очень много личных контактов и общения, это был круг если не друзей, то очень хороших знакомых.
В жизни сообщества я активно участвовал примерно до 2018-2019 годов, потом стал все больше и больше отходить и в последнее время эпизодически присматривал за вымершим каналом #lang_r и чуть более активным #analytics.
Одна из причин моего ухода была в том, что я чем дальше, тем больше осознавал, что я не датасатанист. Помню, на какой-то из встреч, когда меня спросили, чем я занимаюсь, я ответил что-то вроде “анализирую по логам поведение пользователей”. Я тогда еще работал в Консультант+ и слов “продуктовая аналитика”, кажется, никто не знал, уж я точно.
Сейчас продуктовой аналитикой никого не удивишь, связность сообщества нарушена, но не потеряна. А я все больше в своей работе делаю акцент на поведении пользователей, чем на анализе.
Я был в ODS с самых первых месяцев и вплоть до сегодняшнего дня числился админом. На самом деле у меня были скорее модераторско-технические функции — разбирал заявки, немножко волонтерил на датафестах, тормозил и чистил срачи, отвечал на жалобы и так далее. Естественно, было очень много личных контактов и общения, это был круг если не друзей, то очень хороших знакомых.
В жизни сообщества я активно участвовал примерно до 2018-2019 годов, потом стал все больше и больше отходить и в последнее время эпизодически присматривал за вымершим каналом #lang_r и чуть более активным #analytics.
Одна из причин моего ухода была в том, что я чем дальше, тем больше осознавал, что я не датасатанист. Помню, на какой-то из встреч, когда меня спросили, чем я занимаюсь, я ответил что-то вроде “анализирую по логам поведение пользователей”. Я тогда еще работал в Консультант+ и слов “продуктовая аналитика”, кажется, никто не знал, уж я точно.
Сейчас продуктовой аналитикой никого не удивишь, связность сообщества нарушена, но не потеряна. А я все больше в своей работе делаю акцент на поведении пользователей, чем на анализе.
😢7❤6
В чате игровых аналитиков сегодня весь день обсуждаем нейронки для выдачи офферов (и в целом системы рекомендаций). Одна мысль мне показалась весьма интересной, процитирую здесь:
Одно из неожиданных для меня открытий, которое мы сделали при внедрении системы офферов - пользователю нельзя всегда показывать хорошие предложения. Наоборот, надо показывать обычно плохие, чтобы, увидев хороший, он его купил. И поэтому мы специально модифицировали систему, чтобы она показывала разные предложения. И в этом смысле простой рандом вообще то очень неплохо работает.
В монетизации, построенной на офферах, мы по умолчанию предполагаем, что цены за инапы в магазине (банке) — это своего рода бейслайн, относительно которого пользователи и определяют выгоду оффера. Однако меня всегда смущала мысль, что пользователи могут вообще не заходить в банк и закупаться сугубо по офферам, в результате у них нет сравнения. И в таком смысле неинтересные / невыгодные офферы как раз могут задавать более наглядный бейслайн. А попутно — показывать вариативность предложений, заставлять пользователей сравнивать и, в результате, формировать осознание ценности оффера.
Единственный минус всей идеи — пользователи не резиновые и количество офферов, которое им можно показать в единицу времени, ограничено. А план по выручке никто не отменяет. Но это все можно проверять аб-тестами, как и эффективность полностью случайного набора офферов.
Одно из неожиданных для меня открытий, которое мы сделали при внедрении системы офферов - пользователю нельзя всегда показывать хорошие предложения. Наоборот, надо показывать обычно плохие, чтобы, увидев хороший, он его купил. И поэтому мы специально модифицировали систему, чтобы она показывала разные предложения. И в этом смысле простой рандом вообще то очень неплохо работает.
В монетизации, построенной на офферах, мы по умолчанию предполагаем, что цены за инапы в магазине (банке) — это своего рода бейслайн, относительно которого пользователи и определяют выгоду оффера. Однако меня всегда смущала мысль, что пользователи могут вообще не заходить в банк и закупаться сугубо по офферам, в результате у них нет сравнения. И в таком смысле неинтересные / невыгодные офферы как раз могут задавать более наглядный бейслайн. А попутно — показывать вариативность предложений, заставлять пользователей сравнивать и, в результате, формировать осознание ценности оффера.
Единственный минус всей идеи — пользователи не резиновые и количество офферов, которое им можно показать в единицу времени, ограничено. А план по выручке никто не отменяет. Но это все можно проверять аб-тестами, как и эффективность полностью случайного набора офферов.
🔥13
Читаю отчет SensorTower (пересказ и файл отчета здесь и здесь). Достаточно много любопытного, например “Hybridcasual Is the New Casual” и My little Universe, в которую я залипал одно время. Меня заинтересовало другое наблюдение:
Players of mobile games featuring both Character Collection and Social Clans metas tend to spend more time in the game.
Притом страницей раньше показано, что топ игр по гроссу (все — мидкор) как раз имеют коллекционирование и/или кланы. А некоторые, типа Genshin Impact — сильную нарративную часть.
Попутно вспомнил, что пользователи в одном из наших опросов говорили, что лидерборды им не очень интересны. А также постоянное нытье пользователей “когда будут друзья/кланы в игре”, которое обычно игнорируется. И успех Among Us.
Все это приводит меня к осторожным мыслям, что социальные и кооперативные фичи становятся все более и более значимыми, вместо нагибания и соревновательности. Или соревнование переходит в том числе в коллекции. Что приводит уже к совсем крамоле вида “продавать power в мидкоре через некоторое время может быть уже не очень эффективно.”
Players of mobile games featuring both Character Collection and Social Clans metas tend to spend more time in the game.
Притом страницей раньше показано, что топ игр по гроссу (все — мидкор) как раз имеют коллекционирование и/или кланы. А некоторые, типа Genshin Impact — сильную нарративную часть.
Попутно вспомнил, что пользователи в одном из наших опросов говорили, что лидерборды им не очень интересны. А также постоянное нытье пользователей “когда будут друзья/кланы в игре”, которое обычно игнорируется. И успех Among Us.
Все это приводит меня к осторожным мыслям, что социальные и кооперативные фичи становятся все более и более значимыми, вместо нагибания и соревновательности. Или соревнование переходит в том числе в коллекции. Что приводит уже к совсем крамоле вида “продавать power в мидкоре через некоторое время может быть уже не очень эффективно.”
❤9