На выходных перечитал “Игру в цифры”. Впечатления, признаться, очень смешанные. С одной стороны, текст достаточно легкий, есть разные интересные наблюдения из отчетов или практики. С другой — на мой вкус, не очень выдержанный текст, сборная солянка всего “на тему”, по верхам, от отчетов десятилетней давности до демонстрации расчета метрик в экселе или описания, в каком порядке по стоимости могут быть инапы в банке.
Впрочем, почитать что-то от человека из индустрии всегда интересно. А то, как я регулярно говорю, аналитики в массе своей тихушники и нигде не светятся. Однако Василий Сабиров в введении пишет, что его главной задачей было “рассказать доступно и просто о том, как работает и для чего нужна игровая аналитика”. И, на мой взгляд, именно этой цели удалось достигнуть лишь частично.
Лично мне очень не хватило описания, как принимаются продуктовые решения, как в них участвует аналитика. В конце концов, посчитать метрики — не самая сложная часть анализа. Когда читал, в голове крутилась фраза-мем родом из GI, за авторством лида одной из студий — “надо просто увеличить ARPU”. То есть, недостаточно сказать, что какая-то метрика низкая/высокая. Надо понять, какие есть рычаги по ее изменению. И это, на мой взгляд, одна из самых сложных частей продуктовой аналитики.
Также мне не хватило некоторой продуктовой/поведенческой интерпретации метрик. Например, что рет1 мы обычно интерпретируем как заинтересованность в геймплее, а поздние дни — заинтересованность в мете. Что софт-валюта служит измерением опыта пользователя в игре, а хард-валюта — прокси к времени пользователя, которое он готов тратить. И так далее. Понимание и проговаривание подобных вещей, на мой взгляд, делает исследования более глубокими и осмысленными и как раз дает направление для изменений.
#books
Впрочем, почитать что-то от человека из индустрии всегда интересно. А то, как я регулярно говорю, аналитики в массе своей тихушники и нигде не светятся. Однако Василий Сабиров в введении пишет, что его главной задачей было “рассказать доступно и просто о том, как работает и для чего нужна игровая аналитика”. И, на мой взгляд, именно этой цели удалось достигнуть лишь частично.
Лично мне очень не хватило описания, как принимаются продуктовые решения, как в них участвует аналитика. В конце концов, посчитать метрики — не самая сложная часть анализа. Когда читал, в голове крутилась фраза-мем родом из GI, за авторством лида одной из студий — “надо просто увеличить ARPU”. То есть, недостаточно сказать, что какая-то метрика низкая/высокая. Надо понять, какие есть рычаги по ее изменению. И это, на мой взгляд, одна из самых сложных частей продуктовой аналитики.
Также мне не хватило некоторой продуктовой/поведенческой интерпретации метрик. Например, что рет1 мы обычно интерпретируем как заинтересованность в геймплее, а поздние дни — заинтересованность в мете. Что софт-валюта служит измерением опыта пользователя в игре, а хард-валюта — прокси к времени пользователя, которое он готов тратить. И так далее. Понимание и проговаривание подобных вещей, на мой взгляд, делает исследования более глубокими и осмысленными и как раз дает направление для изменений.
#books
❤9👍5
30 мая будет конференция Aha’23. Ее делает Алексей Никушин и его команда МатеМаркетинга. Программа неполная, но общее представление дает.
Из того, что я вижу — конференция получилась преимущественно про A/B-тесты, притом большинство докладчиков из Avito и Яндекса. На мой взгляд в геймдеве большая часть их опыта либо нерелевантна, либо не очень применима, однако послушать все же стоит. В первую очередь про проблемы и процессы.
Есть еще несколько докладов про ценообразование и оптимизацию скидок, и вот для меня они сейчас интереснее всего. Я чем дальше, тем больше думаю про ценообразование в условиях, когда реальную стоимость пользователь оценить не может, хочется немного поэкспериментировать. Офферы, куда ж без них.
Из того, что я вижу — конференция получилась преимущественно про A/B-тесты, притом большинство докладчиков из Avito и Яндекса. На мой взгляд в геймдеве большая часть их опыта либо нерелевантна, либо не очень применима, однако послушать все же стоит. В первую очередь про проблемы и процессы.
Есть еще несколько докладов про ценообразование и оптимизацию скидок, и вот для меня они сейчас интереснее всего. Я чем дальше, тем больше думаю про ценообразование в условиях, когда реальную стоимость пользователь оценить не может, хочется немного поэкспериментировать. Офферы, куда ж без них.
Вчера забрел на локальный геймдев-митап, поговорил про продуктовое мышление. Получилось вполне мило. А в кулуарном обсуждении услышал про себя “сразу видно опытного барыгу дофамином”.
Вообще, рад, что выбрался — чуток социализировался да вспомнил, как говорить на незнакомую аудиторию. Попутно сам для себя сформулировал ряд теоретических идей-тезисов про аналитику. Почему-то мне всегда лучше думается, когда надо кому-то что-то рассказать.
На самом деле мой доклад мне не особо нравится, он не согласован по блокам, а ключевые мысли слабо раскрыты. Да и в целом много личной картины мира, а аналитики в геймдеве обычно более приземленные ребята.
Записи митапа не было, но если кому интересно — вот тут текст моего выступления.
Вообще, рад, что выбрался — чуток социализировался да вспомнил, как говорить на незнакомую аудиторию. Попутно сам для себя сформулировал ряд теоретических идей-тезисов про аналитику. Почему-то мне всегда лучше думается, когда надо кому-то что-то рассказать.
На самом деле мой доклад мне не особо нравится, он не согласован по блокам, а ключевые мысли слабо раскрыты. Да и в целом много личной картины мира, а аналитики в геймдеве обычно более приземленные ребята.
Записи митапа не было, но если кому интересно — вот тут текст моего выступления.
🔥14❤3👍1
В последние дни на канал пришло достаточно много людей из сферы UX/СХ и продуктовых исследований. Потому, кажется, стоит хотя бы верхнеуровнево рассказать, что такое продуктовая аналитика в геймдеве (точнее, как я ее вижу), и как мы взаимодействуем с UX-задачами.
Первое и ключевое. Фокус продуктовых аналитиков на бизнес-задачах, а не на пользователе. Мы оцениваем внутри-игровую экономику и балансы, эффективность систем персональных предложений и скидок, как новые фичи влияют на метрики и т. д. То есть мы помогаем командам оперирования (продюсеру, геймдизайнерам, менеджерам монетизации) принимать решения по развитию продукта.
Второе — мы работаем с логами пользователей, с наблюдаемыми поведенческими актами. Как часто заходят, сколько играют, сколько сессий в день делают, что делают во время игры — прогрессия по уровням, количество и статистика по боям (если шутеры), выполненные квесты (в казуалках) и проч. Аналитики продумывают, что и как надо залогировать и ставят задачи командам разработки.
Основа нашей работы — мы проверяем гипотезы, почему у нас такие метрики, опираясь на то, что (не)сделал пользователь в игре. Это требует хорошего понимания того, как сконструирована игра и как может быть связано поведение пользователей в игре с нашими показателями.
Пример: “Видим, что в уровневой группе 10-20 увеличена доля отвалов”. Наша гипотеза — пользователю скучно. Операционализируем “скучно” как малое количество значимых событий (левелап, получение нового контента и т. д.) на единицу времени. Смотрим, как связана “скучность” с отвалами. Проверяем альтернативные гипотезы (например, резко выросла сложность и пользователи чаще проигрывают). Пишем рекомендации геймдизайнерам.
Про UX в следующем посте.
Первое и ключевое. Фокус продуктовых аналитиков на бизнес-задачах, а не на пользователе. Мы оцениваем внутри-игровую экономику и балансы, эффективность систем персональных предложений и скидок, как новые фичи влияют на метрики и т. д. То есть мы помогаем командам оперирования (продюсеру, геймдизайнерам, менеджерам монетизации) принимать решения по развитию продукта.
Второе — мы работаем с логами пользователей, с наблюдаемыми поведенческими актами. Как часто заходят, сколько играют, сколько сессий в день делают, что делают во время игры — прогрессия по уровням, количество и статистика по боям (если шутеры), выполненные квесты (в казуалках) и проч. Аналитики продумывают, что и как надо залогировать и ставят задачи командам разработки.
Основа нашей работы — мы проверяем гипотезы, почему у нас такие метрики, опираясь на то, что (не)сделал пользователь в игре. Это требует хорошего понимания того, как сконструирована игра и как может быть связано поведение пользователей в игре с нашими показателями.
Пример: “Видим, что в уровневой группе 10-20 увеличена доля отвалов”. Наша гипотеза — пользователю скучно. Операционализируем “скучно” как малое количество значимых событий (левелап, получение нового контента и т. д.) на единицу времени. Смотрим, как связана “скучность” с отвалами. Проверяем альтернативные гипотезы (например, резко выросла сложность и пользователи чаще проигрывают). Пишем рекомендации геймдизайнерам.
Про UX в следующем посте.
❤17👍12
Продолжая тему UX-исследований глазами аналитика. Как я уже говорил, продуктовая аналитика основана в первую очередь на данных о наблюдаемом поведении пользователей. Мы редко проводим исследования, которые предполагают какое-то активное взаимодействие с пользователями и интерес к его опыту, хотя их ценность не отрицается. (Я сейчас про f2p/GaaS, в pay-to-play другая атмосфера).
Причин этому, на мой взгляд, несколько. В частности это необходимость достаточно дорогой инфраструктуры (исследователи, рекрут) и не очень высокая скорость получения информации. Также для большинства задач бывает достаточно логов и опыта продуктовых аналитиков. И, в конце концов, подобные исследования редко дают сильный рычаг влияния на метрики.
Чаще всего проводят опросы пользователей — оценки фич релиза (в том числе и технические проблемы), узнаваемость бренда, интересы аудитории (для идей коллабов) и тому подобное. В редких случаях спрашиваем суперкитов, что они думают о последних изменениях. Опросы обычно проводят саппорт, коммьюнити-менеджеры, иногда аналитики. Если есть какие-то отделы маркетинга (не UA), то еще и они.
Второе направление исследований — (не)модерируемые плейтесты. И я в данном случае не про внутренние или friends&family плейтесты, а тесты на внешней набранной по критериям выборке. Такие плейтесты обычно используются при оценке прототипов (@Maria_DW наш рулевой), когда только обкатываем те или иные идеи, или не можем придумать проверяемые на логах гипотезы. Такие исследования делают UX-исследователи или отдаются на аутсорс, у продуктовых аналитиков фокус и навыки совсем другие.
Юзабилити-тесты как таковые отдельно практически не проводятся, потому что для них обычно хватает внутренних плейтестов на сотрудниках — все они активные геймеры с разнообразным опытом и насмотренностью.
В целом, результаты UX-исследований редко выступают единственным основанием для принятия решений. Обычно это лишь один из источников материалов для размышлений, которые все равно потом проверяются на выборке.
Причин этому, на мой взгляд, несколько. В частности это необходимость достаточно дорогой инфраструктуры (исследователи, рекрут) и не очень высокая скорость получения информации. Также для большинства задач бывает достаточно логов и опыта продуктовых аналитиков. И, в конце концов, подобные исследования редко дают сильный рычаг влияния на метрики.
Чаще всего проводят опросы пользователей — оценки фич релиза (в том числе и технические проблемы), узнаваемость бренда, интересы аудитории (для идей коллабов) и тому подобное. В редких случаях спрашиваем суперкитов, что они думают о последних изменениях. Опросы обычно проводят саппорт, коммьюнити-менеджеры, иногда аналитики. Если есть какие-то отделы маркетинга (не UA), то еще и они.
Второе направление исследований — (не)модерируемые плейтесты. И я в данном случае не про внутренние или friends&family плейтесты, а тесты на внешней набранной по критериям выборке. Такие плейтесты обычно используются при оценке прототипов (@Maria_DW наш рулевой), когда только обкатываем те или иные идеи, или не можем придумать проверяемые на логах гипотезы. Такие исследования делают UX-исследователи или отдаются на аутсорс, у продуктовых аналитиков фокус и навыки совсем другие.
Юзабилити-тесты как таковые отдельно практически не проводятся, потому что для них обычно хватает внутренних плейтестов на сотрудниках — все они активные геймеры с разнообразным опытом и насмотренностью.
В целом, результаты UX-исследований редко выступают единственным основанием для принятия решений. Обычно это лишь один из источников материалов для размышлений, которые все равно потом проверяются на выборке.
👍9👎3❤1
Пилим с ребятами прототипы. И в какой-то момент оказались в ситуации “на третий день индеец Зоркий Глаз заметил, что в тюрьме всего три стены”. В смысле, осознали, что оценивать прототип по удержанию первого дня можно, но для понимания “почему так” — недостаточно.
Ретеншен метрика инертная и малоинформативная. Поэтому с головой нырнули в FTUE (first time user experience), чем ранее не особо увлекались — в немалой части потому что воронки боев как прокси к ретеншену вполне хватало, а мороки с выделением сессий много. Притом конкретные вещи типа багов или “экономических самоубийств / дедлоков” (когда тратишь ресурсы не на то, что надо, и потом даже нагриндить не можешь) тут не так интересны, хочется выловить концептуальное, понравилась пользователю игра или нет.
Пока балуюсь с временем первой сессии и ее насыщенностью / общим временем и его структурой в день инсталла. Попутно тестирую heartbit-событие, когда приложение каждые N секунд отправляет состояние пользователя (аналогично user_engagement в Firebase). В первую очередь пытаюсь понять, насколько оно информативно и полезно может быть.
К слову, вот древняя, но достаточно интересная статья на тему первых десяти минут: Why the first ten minutes are crucial if you want to keep players coming back
Ретеншен метрика инертная и малоинформативная. Поэтому с головой нырнули в FTUE (first time user experience), чем ранее не особо увлекались — в немалой части потому что воронки боев как прокси к ретеншену вполне хватало, а мороки с выделением сессий много. Притом конкретные вещи типа багов или “экономических самоубийств / дедлоков” (когда тратишь ресурсы не на то, что надо, и потом даже нагриндить не можешь) тут не так интересны, хочется выловить концептуальное, понравилась пользователю игра или нет.
Пока балуюсь с временем первой сессии и ее насыщенностью / общим временем и его структурой в день инсталла. Попутно тестирую heartbit-событие, когда приложение каждые N секунд отправляет состояние пользователя (аналогично user_engagement в Firebase). В первую очередь пытаюсь понять, насколько оно информативно и полезно может быть.
К слову, вот древняя, но достаточно интересная статья на тему первых десяти минут: Why the first ten minutes are crucial if you want to keep players coming back
👍7❤2
Обнаружил, что у Appsflyer есть что-то вроде среза базовых метрик по разным жанрам. Несколько лет назад подобные отчеты делали GameAnalytics. Однако их последний отчет был в 2019 году и с тех пор много воды утекло.
Интереснее всего, конечно же, ретеншен. Хотя есть и другие метрики, запросы на которые я также слышал в последнее время — CPI, уровень фрода, конверсии в платящего за 30 дней и т.д.
Интереснее всего, конечно же, ретеншен. Хотя есть и другие метрики, запросы на которые я также слышал в последнее время — CPI, уровень фрода, конверсии в платящего за 30 дней и т.д.
Недавно во время одного из рабочих созвонов сформулировал ряд сомнений про офферы и концепции их формирования.
Допустим, у вас вся экономика и лайвопс стоят на офферах (предложениях купить со скидкой контент / ресурсы и т. д.). А покупки в банке если кто и делает, то это незначительная доля в структуре платежей (в отличие от тех же *scapes от Playrix, где, насколько я помню, преимущественно покупки харды в банке).
Я знаю две системы, какие офферы и когда мы показываем пользователю. Первая — триггерная. То есть у пользователя разлочился новый контент, и мы даем ему оффер с ним. Или пользователь проиграл / потратил энергию и мы даем ему в этом месте оффер. Эти офферы предполагают немедленную яркую потребность пользователя в контенте или ресурсах.
Вторая система — когда мы формируем и показываем какой-то набор предложений исходя из нашего представления о структуре аудитории, размерах скидок, модели дистрибуции контента и тому подобное. Условно, “надо показать оффер на $4.99, сейчас посмотрим, что в нем можно продать и с какой скидкой”. Насколько я понимаю, многие старые проекты рано или поздно приходят к такой модели, так как это позволяет лучше планировать и достигать поставленные цели по выручке.
Так вот. У меня есть подозрение, что на старте игры пользователю выгоднее показывать триггерные офферы, а персональные офферы — больше важны на поздних этапах, когда пользователи могут оценивать выгодность оффера и планировать долгосрочно. Но я не знаю, как можно это относительно легко проверить.
Также очень хочется скрестить обе модели. То есть давать оффер на необходимую сумму, но продавать в нем то, что пользователю нужно в этот момент. Или как сделать плавный переход от одной системы к другой. И тут тоже у меня нет какого-то простого и изящного решения, не знаю, как это можно хорошо сделать.
Если у вас есть примеры других систем офферов или опыт их оптимизации — расскажите, пожалуйста.
Допустим, у вас вся экономика и лайвопс стоят на офферах (предложениях купить со скидкой контент / ресурсы и т. д.). А покупки в банке если кто и делает, то это незначительная доля в структуре платежей (в отличие от тех же *scapes от Playrix, где, насколько я помню, преимущественно покупки харды в банке).
Я знаю две системы, какие офферы и когда мы показываем пользователю. Первая — триггерная. То есть у пользователя разлочился новый контент, и мы даем ему оффер с ним. Или пользователь проиграл / потратил энергию и мы даем ему в этом месте оффер. Эти офферы предполагают немедленную яркую потребность пользователя в контенте или ресурсах.
Вторая система — когда мы формируем и показываем какой-то набор предложений исходя из нашего представления о структуре аудитории, размерах скидок, модели дистрибуции контента и тому подобное. Условно, “надо показать оффер на $4.99, сейчас посмотрим, что в нем можно продать и с какой скидкой”. Насколько я понимаю, многие старые проекты рано или поздно приходят к такой модели, так как это позволяет лучше планировать и достигать поставленные цели по выручке.
Так вот. У меня есть подозрение, что на старте игры пользователю выгоднее показывать триггерные офферы, а персональные офферы — больше важны на поздних этапах, когда пользователи могут оценивать выгодность оффера и планировать долгосрочно. Но я не знаю, как можно это относительно легко проверить.
Также очень хочется скрестить обе модели. То есть давать оффер на необходимую сумму, но продавать в нем то, что пользователю нужно в этот момент. Или как сделать плавный переход от одной системы к другой. И тут тоже у меня нет какого-то простого и изящного решения, не знаю, как это можно хорошо сделать.
Если у вас есть примеры других систем офферов или опыт их оптимизации — расскажите, пожалуйста.
👍8
Dev2dev выпустили еще одну методичку, теперь по монетизации проектов. Внутри весьма обыденно — классическое перечисление метрик и их взаимосвязей, ничего про оперирование и принятие продуктовых решений на основе этих метрик. Несколько бестолковый блок по ARPU и привычная маета с разделением cumARPU и LTV (кажется, это вообще тема отдельного разговора). Плюс выделение Social LTV и фактора виральности, при этом нет про ad monetization.
Однако к методичке есть бонус (не знаю, был ли он раньше) — открытый доступ к демо-проекту в dev2dev. Тоже не предел мечтаний, но зато начинающие аналитики могут посмотреть, как организованы метрики, как они визуализируются, и так далее. Плюс разные сегменты и методы расчета метрик. В общем, для первого знакомства с продуктовыми дашбордами и инструментами верхнеуровневой и быстрой проверки гипотез вполне подойдет.
Однако к методичке есть бонус (не знаю, был ли он раньше) — открытый доступ к демо-проекту в dev2dev. Тоже не предел мечтаний, но зато начинающие аналитики могут посмотреть, как организованы метрики, как они визуализируются, и так далее. Плюс разные сегменты и методы расчета метрик. В общем, для первого знакомства с продуктовыми дашбордами и инструментами верхнеуровневой и быстрой проверки гипотез вполне подойдет.
❤11
На еще одном локальном митапе восхитительная Ева Иванова рассказывала, как у них в G5 построен процесс выбора проектов для прототипов. Они делают большое предварительное исследование (и на пользователях в качественных исследованиях, и с помощью различных сервисов) по аудитории, состоянии и перспективах рынка, о возможной маркетинговой упаковке продукта и т. д. И на основе этих данных продюсеры уже смотрят на свои концепты.
Мне кажется, что-то в таком подходе есть — каким бы ни был интересным концепт, игнорировать глобальные тренды или не очень четко очерчивать ЦА и ее потребности все же не стоит. Да и понимание рынка растет.
С другой стороны, все это разбивается о конструкцию метагейма и монетизации. Можно хорошо изучить аудиторию, придумать интересный концепт, но все равно не суметь выстроить монетизацию так, чтобы проект был успешен. И тут у меня появляются сомнения — стоит ли тратить много ресурсов на предварительные маркетинговые исследования.
В общем, не знаю. Будем пробовать, видимо.
Мне кажется, что-то в таком подходе есть — каким бы ни был интересным концепт, игнорировать глобальные тренды или не очень четко очерчивать ЦА и ее потребности все же не стоит. Да и понимание рынка растет.
С другой стороны, все это разбивается о конструкцию метагейма и монетизации. Можно хорошо изучить аудиторию, придумать интересный концепт, но все равно не суметь выстроить монетизацию так, чтобы проект был успешен. И тут у меня появляются сомнения — стоит ли тратить много ресурсов на предварительные маркетинговые исследования.
В общем, не знаю. Будем пробовать, видимо.
❤5
MyTracker выпустили методичку по многоруким бандитам. Внутри описание ключевой идеи, границ применимости, алгоритмов и, самое важное, примеры. Не сказать, что какая-то эксклюзивная информация, но мне методичка понравилась. Особенно интересными показалисль блок по оценке работы алгоритмов и практические советы.
Для желающих чуть глубже погрузиться в тему есть классическая статья Паши Нестерова на хабре, там формулы, куски кода, картинки и гифки. Ну и котики, конечно же.
Меня достаточно часто спрашивают, используем ли мы многоруких бандитов и почему нет. Мой ответ лежит в области общего подхода к A/B-тестам и тестированию гипотез — для меня A/B-тест это больше интервенция в сложное поведение пользователя, чем попытка оптимизировать одну определенную метрику. Поэтому в A/B-тестах мы смотрим не только метрику, которую хотели изменить, но и как в целом поменялось поведение пользователя и во время теста, и в каком-то интервале после.
Так что на применение многоруких бандитов в продуктовой аналитике (в геймдеве) я смотрю с некоторым скепсисом. Наверное, можно, но у меня нет такого опыта. Все это, впрочем, не отменяет ценности бандитов в маркетинге и привлечении пользователей — для тестирования креативов и т.д.
Для желающих чуть глубже погрузиться в тему есть классическая статья Паши Нестерова на хабре, там формулы, куски кода, картинки и гифки. Ну и котики, конечно же.
Меня достаточно часто спрашивают, используем ли мы многоруких бандитов и почему нет. Мой ответ лежит в области общего подхода к A/B-тестам и тестированию гипотез — для меня A/B-тест это больше интервенция в сложное поведение пользователя, чем попытка оптимизировать одну определенную метрику. Поэтому в A/B-тестах мы смотрим не только метрику, которую хотели изменить, но и как в целом поменялось поведение пользователя и во время теста, и в каком-то интервале после.
Так что на применение многоруких бандитов в продуктовой аналитике (в геймдеве) я смотрю с некоторым скепсисом. Наверное, можно, но у меня нет такого опыта. Все это, впрочем, не отменяет ценности бандитов в маркетинге и привлечении пользователей — для тестирования креативов и т.д.
👍7❤1
В чате по монетизации кто-то искал эксперта "по играм с успешными кейсами. Нужно помочь сформировать kpi для игр". Мой ответ местные умельцы сразу же засунули в генератор мемов. Впрочем, суть все равно та же — так или иначе, на мой взгляд, деньги и окупаемость и есть основной критерий успеха игры (особенно f2p). Собственно, это одна из причин, почему применение в геймдеве фреймворка north star метрик кажется мне сомнительной затеей.
👍2😁1
Сегодня в 18 по Лондону Валера Бабушкин и Стас Носуленко (AliExpress) будут разговаривать про Marketing Mix Modeling. Что это, зачем, какие подводные камни (а точнее рифы) могут быть и так далее.
Тема будет интересна больше маркетинговым аналитикам. Мы некоторое время назад смотрели на MMM, но до реального выведения в прод не дошли.
https://www.tgoop.com/cryptovalerii/445
UPD: запись встречи https://youtu.be/rSZFKDqH5eA
Тема будет интересна больше маркетинговым аналитикам. Мы некоторое время назад смотрели на MMM, но до реального выведения в прод не дошли.
https://www.tgoop.com/cryptovalerii/445
UPD: запись встречи https://youtu.be/rSZFKDqH5eA
👍4
Есть у меня один проект, на котором очень хочется оценить экономику. Побуждает ли игра платить пользователя, как работают те точки монетизации, которые заложили геймдизы и т. д. Хочется и аналитикам, и гд, и продюсерам.
Все бы хорошо, но есть нюанс. В проекте пока нет денег, не реализована платежка и еще долго не будет. А экономику надо хоть как-то начать проверять. Потому что выходить в бета-тест / глобал с совсем сырой метой — так себе идея.
В общем, самурайская задачка. Сижу вот, думаю над возможными решениями. Востребованность прокачки, предикт arpu немонетизационными метриками, утилизация жестко ограниченного количества выданной/нафармленной харды и так далее.
Притом все эти решения на самом деле плохие. Без денег нельзя оценить платежное поведение, к чему эти иллюзии. Придется строить какой-то комитет оценок, как бы это отвратно ни звучало, а потом бороться с миллионом спекуляций и натягиваний совы на глобус.
Все бы хорошо, но есть нюанс. В проекте пока нет денег, не реализована платежка и еще долго не будет. А экономику надо хоть как-то начать проверять. Потому что выходить в бета-тест / глобал с совсем сырой метой — так себе идея.
В общем, самурайская задачка. Сижу вот, думаю над возможными решениями. Востребованность прокачки, предикт arpu немонетизационными метриками, утилизация жестко ограниченного количества выданной/нафармленной харды и так далее.
Притом все эти решения на самом деле плохие. Без денег нельзя оценить платежное поведение, к чему эти иллюзии. Придется строить какой-то комитет оценок, как бы это отвратно ни звучало, а потом бороться с миллионом спекуляций и натягиваний совы на глобус.
❤6
Пока я болтался в отпуске, вышла книга собрата по потанинской песочнице Даниила Ханина “Юнит-экономика для стартапов и бизнеса”. У него было много статей, обучающих видео и прочего, и вот до книги дозрел.
Книга небольшая, но весьма плотная по количеству поданной информации. Внутри много знакомых терминов — конверсия, средний чек, CPA, знакомые ситуации и так далее. Правда, большая часть аббревиатур для меня оказалась непривычна. Ко всему прочему достаточно много внимания уделяется когортам и когортной логике.
Весьма симпатично и понятно через концепцию юнитов масштабирования и историю доткомов показана смена фокуса с товаров на пользователей. Что в свою очередь приводит к концепции когортных метрик и LTV. Мне самому не хватало такого теоретического контекста, будет хоть что студентам рассказать.
Даниил много работал со стартапами, поэтому книга не столько по юнит-экономике, сколько по построению фин.модели стартапа и поиску точек роста в ней. Притом стартапы в его примерах — не цифровые, поэтому некоторые нюансы будут непривычны тем, кто работает с цифровыми продуктами.
Несмотря на все достоинства книги, лично мне было очень тяжело читать. Но это, видимо, просто индивидуальная непереносимость стиля. Да и постоянно перекладывать термины и концепции на геймдев-аналитику тоже оказалось сложно.
#books
Книга небольшая, но весьма плотная по количеству поданной информации. Внутри много знакомых терминов — конверсия, средний чек, CPA, знакомые ситуации и так далее. Правда, большая часть аббревиатур для меня оказалась непривычна. Ко всему прочему достаточно много внимания уделяется когортам и когортной логике.
Весьма симпатично и понятно через концепцию юнитов масштабирования и историю доткомов показана смена фокуса с товаров на пользователей. Что в свою очередь приводит к концепции когортных метрик и LTV. Мне самому не хватало такого теоретического контекста, будет хоть что студентам рассказать.
Даниил много работал со стартапами, поэтому книга не столько по юнит-экономике, сколько по построению фин.модели стартапа и поиску точек роста в ней. Притом стартапы в его примерах — не цифровые, поэтому некоторые нюансы будут непривычны тем, кто работает с цифровыми продуктами.
Несмотря на все достоинства книги, лично мне было очень тяжело читать. Но это, видимо, просто индивидуальная непереносимость стиля. Да и постоянно перекладывать термины и концепции на геймдев-аналитику тоже оказалось сложно.
#books
👍12❤3
Признаться, я не люблю UI-аналитику. Мороки с ней много, а влияние на выручку сомнительное. Крупные косяки на плейтестах видно, а мелкие… раз они мелкие, то ими можно пренебречь или положить в бэклог и брать в работу, когда появляется свободное время.
Тем не менее мы кое-что собираем. Во-первых, это тапы пользователей по кнопкам, с трекингом на каком экране тап / откуда и куда переход. Эти данные крутят UI-дизайнеры, я лично их старательно избегаю. Во-вторых мы иногда трекаем поведение пользователя во время боя. Чаще всего это просто координаты смерти/убийства, потом для левел-дизайнеров рисуем хитмапы по ним. Но вот буквально недавно левел-дизайнеры запросили еще и перемещения по карте, чтобы выловить холодные места, по которым пользователи не ходят. Посмотрим, что за картинки получатся.
Помимо спорной (с точки зрения продуктовой аналитики) ценности UI-данных, есть еще одна особенность, которую приходится учитывать — количество этих данных. Когда мы несколько лет назад стали собирать тапы со всего DAU, команда DWH весьма горячо высказала нам свое неодобрение. Поэтому если дизайнить сбор UI-данных, надо сразу закладывать ограничение, чтобы данные собирались только по части аудитории. Да хотя бы примитивный фильтр встроить, типа sample(1:20, 1) == 1, или другой рубильник, который позволит открыть фичу только на часть аудитории. Глобальная связность данных пользователя тут необязательна, главное, чтобы в рамках сессии/боя они были целостны. Ну и хранить их дольше месяца вряд ли нужно.
Тем не менее мы кое-что собираем. Во-первых, это тапы пользователей по кнопкам, с трекингом на каком экране тап / откуда и куда переход. Эти данные крутят UI-дизайнеры, я лично их старательно избегаю. Во-вторых мы иногда трекаем поведение пользователя во время боя. Чаще всего это просто координаты смерти/убийства, потом для левел-дизайнеров рисуем хитмапы по ним. Но вот буквально недавно левел-дизайнеры запросили еще и перемещения по карте, чтобы выловить холодные места, по которым пользователи не ходят. Посмотрим, что за картинки получатся.
Помимо спорной (с точки зрения продуктовой аналитики) ценности UI-данных, есть еще одна особенность, которую приходится учитывать — количество этих данных. Когда мы несколько лет назад стали собирать тапы со всего DAU, команда DWH весьма горячо высказала нам свое неодобрение. Поэтому если дизайнить сбор UI-данных, надо сразу закладывать ограничение, чтобы данные собирались только по части аудитории. Да хотя бы примитивный фильтр встроить, типа sample(1:20, 1) == 1, или другой рубильник, который позволит открыть фичу только на часть аудитории. Глобальная связность данных пользователя тут необязательна, главное, чтобы в рамках сессии/боя они были целостны. Ну и хранить их дольше месяца вряд ли нужно.
🔥12
GoPractice написали короткую, но симпатичную статью про uplift-моделирование в предсказаниях оттока. Бизнес-смысл передан вполне доступно, а желающие технически подробностей могут посмотреть курс на ODS.
Вообще, предсказание оттока в геймдеве достаточно специфичная задача. Почему-то больше всего говорят о ней wannabe-аналитики и соискатели на собесах, когда рассказывают, какой бы ml они хотели делать. Лично в моей практике полезнее даже не исследования оттока, а более точечный анализ отвалов (на каком уровне/локации/лиге) на старте игры.
Прогнозирование оттока лояльной аудитории натыкается на сразу несколько критически важных моментов. Во-первых, в какой момент мы начинаем считать пользователя ушедшим. Во-вторых, обычно пользователь сам не знает, что он уже начал отваливаться и спрашивать его об этом бесполезно. В-третьих, нам в первую очередь важно поведение лояльной платящей аудитории, а ее не так чтобы много на самом деле. Все это затрудняет построение качественных моделей. Может быть, кто-то научился предсказывать отток хорошо, но я склонен считать неудачными и свои попытки, и попытки более опытных в ml коллег. А для uplift-моделирования желательно собрать две хорошие прогностические модели.
Есть еще и содержательная сложность — на мой взгляд, пытаться делать программы удержания отваливающихся лояльных пользователей практически бесполезно. Если пользователь долго играет и еще не платил, то горы харды его не спровоцируют на платеж. А если платящий пользователь решил уйти — причина его ухода лежит в игре и механические решения по удержанию будут по большей части паллиативными. И выгода от программ удержания в целом может быть ниже инфраструктурных издержек на создание ml-модели и ее поддержку.
Поэтому мне более интересным представляется исследование причин оттока — что изменилось, что говорят и думают киты об игре и недавних изменениях, как меняется поведение лояльной аудитории (а суперкиты в норме могут заходить каждый день) и т. д. Притом такое исследование может включать и построение прогностических моделей, но в них акцент надо делать больше на коэффициентах и предикторах, чем на качестве.
Вообще, предсказание оттока в геймдеве достаточно специфичная задача. Почему-то больше всего говорят о ней wannabe-аналитики и соискатели на собесах, когда рассказывают, какой бы ml они хотели делать. Лично в моей практике полезнее даже не исследования оттока, а более точечный анализ отвалов (на каком уровне/локации/лиге) на старте игры.
Прогнозирование оттока лояльной аудитории натыкается на сразу несколько критически важных моментов. Во-первых, в какой момент мы начинаем считать пользователя ушедшим. Во-вторых, обычно пользователь сам не знает, что он уже начал отваливаться и спрашивать его об этом бесполезно. В-третьих, нам в первую очередь важно поведение лояльной платящей аудитории, а ее не так чтобы много на самом деле. Все это затрудняет построение качественных моделей. Может быть, кто-то научился предсказывать отток хорошо, но я склонен считать неудачными и свои попытки, и попытки более опытных в ml коллег. А для uplift-моделирования желательно собрать две хорошие прогностические модели.
Есть еще и содержательная сложность — на мой взгляд, пытаться делать программы удержания отваливающихся лояльных пользователей практически бесполезно. Если пользователь долго играет и еще не платил, то горы харды его не спровоцируют на платеж. А если платящий пользователь решил уйти — причина его ухода лежит в игре и механические решения по удержанию будут по большей части паллиативными. И выгода от программ удержания в целом может быть ниже инфраструктурных издержек на создание ml-модели и ее поддержку.
Поэтому мне более интересным представляется исследование причин оттока — что изменилось, что говорят и думают киты об игре и недавних изменениях, как меняется поведение лояльной аудитории (а суперкиты в норме могут заходить каждый день) и т. д. Притом такое исследование может включать и построение прогностических моделей, но в них акцент надо делать больше на коэффициентах и предикторах, чем на качестве.
🔥11