Продуктовая бомбежка

Количественные опросы: казнить нельзя помиловать. Часть 1.
Этот пост я писала аж с прошлого года как в том числе напутствие самой себе. Получилось много, так что разделила его на 2 части. Сегодня расскажу о планировании количественника, а завтра о запуске и анализе данных.

У меня долгое время было предубеждение против количественных опросов в продукте. Причем я всегда любила количественные исследования, настолько, что моя самая первая стажировка была связана именно с ними. Но мнение, что не стоит запускать опрос, сформировалось у меня из-за насмотренности: много кто на рынке из классных продактов говорит, что «это долго», «дорого» и «ничего хорошего из этих данных не извлечь». То ли дело глубинки: вышел в коридор или на улицу и поговорил по часу с людьми.
Хочу сегодня поделиться опытом того, как применили количественный опрос у меня в продукте, и что из этого вышло (спойлер алерт: мне понравилось: за сутки мы собрали 600+ ответов, 200 из них за первый час! Хотя не обошлось без косяков).

🤷‍♀️ Почему решили запустить количественник?
Я уже рассказывала про один из продуктов в портфеле моей команды – про Перфоратор (система для автоматизации процесс оценки сотрудников в компании). В прошлом квартале Перфоратор революционно стал первой полностью продуктовой разработкой Avito People. Мы в первый раз обвязали интерфейс логами, смогли извлечь аналитику и принять на ее основе будущие продуктовые решения. Круто? Да! Но что еще это значит?
📝 У нас не было никаких данных по историческому использованию Перфоратора.
⚠ Мы не уверены, насколько может доверять в первый раз собранным логам.
🚸 Нужно было спросить у людей, зашло ли им решение субъективно (своего рода NPS).
А еще часто бывает так, что искать людей на глубинки долго и дорого. Особенно в конце года, когда наша ЦА вся в пылу закрытия года.

⏳ Сколько готовилась к опросу?
Действительно, подготовка заняла больше времени, чем подготовка к интервью. С интервью как-то просто: открываешь список гипотез и думаешь, какими вопросами их поддержать, а потом добавляешь вопросы в начале и в конце для установления контакта и эффективного завершения. В принципе, с опросом точно так же (спасибо нашей UX лабе, что они это подсветили). Если добавлять вопросы из серии «А вдруг понадобится», то опрос раздуется до космических величин. Хотя, куда уж больше: у меня было 80 вопросов.
Сделать список из этих 80 вопросов было не очень просто: нужно было убедиться, что вопрос линкуется с гипотезой или с метрикой, подобрать понятную формулировку, подобрать такие варианты ответов, которые описывали полное множество возможных ответов (с вычиткой текстов мне помогли наши редакторы).
После этого надо было еще пройтись с ножом по опросу и убрать все лишние или потенциально дублирующиеся вопросы.
Думаю, на это ушло около 10 часов чистого времени.
Сильно больше времени ушло на вбивание всего опросника в тулзу для опросов и задание правил выпадения вопросов. Это были без преувеличения БОЛЬ и СТРАДАНИЯ. На это ушла неделя между встречами и один тяжелый вечер.

🧠 Что надо обязательно предусмотреть?
Мой основной косяк был, что я недостаточно хорошо продумала то, как буду обрабатывать результаты исследования. Поэтому я допустила ошибки в некоторых вариантах ответов. Например, у меня было несколько вопросов, где я спрашиваю у людей, сколько они потратили времени на процесс. Ответы были в удобном для респондента формате «20 минут» и т.д. При этом при выгрузке данных в эксель мне пришлось вычищать каждый такой вариант ответа от лишних слов.
В некоторых случаях нужно было сравнивать ответы на несколько вопросов между собой. В этом случае было бы полезнее иметь одинаковые варианты ответов или хотя бы с равными шагами. У меня в одном случае произошел сбой.
Также не стоит перебарщивать с открытыми вопросами: никто их не любит, особенно те, кому потом сводить несколько сотен разных ответов и искать в них паттерны.

Продолжение следует

www.tgoop.com/productbombing/99

990 viewsJan 25, 2022 at 11:30

Количественные опросы: казнить нельзя помиловать. Часть 1.
Этот пост я писала аж с прошлого года как в том числе напутствие самой себе. Получилось много, так что разделила его на 2 части. Сегодня расскажу о планировании количественника, а завтра о запуске и анализе данных.

У меня долгое время было предубеждение против количественных опросов в продукте. Причем я всегда любила количественные исследования, настолько, что моя самая первая стажировка была связана именно с ними. Но мнение, что не стоит запускать опрос, сформировалось у меня из-за насмотренности: много кто на рынке из классных продактов говорит, что «это долго», «дорого» и «ничего хорошего из этих данных не извлечь». То ли дело глубинки: вышел в коридор или на улицу и поговорил по часу с людьми.
Хочу сегодня поделиться опытом того, как применили количественный опрос у меня в продукте, и что из этого вышло (спойлер алерт: мне понравилось: за сутки мы собрали 600+ ответов, 200 из них за первый час! Хотя не обошлось без косяков).

🤷‍♀️ Почему решили запустить количественник?
Я уже рассказывала про один из продуктов в портфеле моей команды – про Перфоратор (система для автоматизации процесс оценки сотрудников в компании). В прошлом квартале Перфоратор революционно стал первой полностью продуктовой разработкой Avito People. Мы в первый раз обвязали интерфейс логами, смогли извлечь аналитику и принять на ее основе будущие продуктовые решения. Круто? Да! Но что еще это значит?
📝 У нас не было никаких данных по историческому использованию Перфоратора.
⚠ Мы не уверены, насколько может доверять в первый раз собранным логам.
🚸 Нужно было спросить у людей, зашло ли им решение субъективно (своего рода NPS).
А еще часто бывает так, что искать людей на глубинки долго и дорого. Особенно в конце года, когда наша ЦА вся в пылу закрытия года.

⏳ Сколько готовилась к опросу?
Действительно, подготовка заняла больше времени, чем подготовка к интервью. С интервью как-то просто: открываешь список гипотез и думаешь, какими вопросами их поддержать, а потом добавляешь вопросы в начале и в конце для установления контакта и эффективного завершения. В принципе, с опросом точно так же (спасибо нашей UX лабе, что они это подсветили). Если добавлять вопросы из серии «А вдруг понадобится», то опрос раздуется до космических величин. Хотя, куда уж больше: у меня было 80 вопросов.
Сделать список из этих 80 вопросов было не очень просто: нужно было убедиться, что вопрос линкуется с гипотезой или с метрикой, подобрать понятную формулировку, подобрать такие варианты ответов, которые описывали полное множество возможных ответов (с вычиткой текстов мне помогли наши редакторы).
После этого надо было еще пройтись с ножом по опросу и убрать все лишние или потенциально дублирующиеся вопросы.
Думаю, на это ушло около 10 часов чистого времени.
Сильно больше времени ушло на вбивание всего опросника в тулзу для опросов и задание правил выпадения вопросов. Это были без преувеличения БОЛЬ и СТРАДАНИЯ. На это ушла неделя между встречами и один тяжелый вечер.

🧠 Что надо обязательно предусмотреть?
Мой основной косяк был, что я недостаточно хорошо продумала то, как буду обрабатывать результаты исследования. Поэтому я допустила ошибки в некоторых вариантах ответов. Например, у меня было несколько вопросов, где я спрашиваю у людей, сколько они потратили времени на процесс. Ответы были в удобном для респондента формате «20 минут» и т.д. При этом при выгрузке данных в эксель мне пришлось вычищать каждый такой вариант ответа от лишних слов.
В некоторых случаях нужно было сравнивать ответы на несколько вопросов между собой. В этом случае было бы полезнее иметь одинаковые варианты ответов или хотя бы с равными шагами. У меня в одном случае произошел сбой.
Также не стоит перебарщивать с открытыми вопросами: никто их не любит, особенно те, кому потом сводить несколько сотен разных ответов и искать в них паттерны.

Продолжение следует

BY Продуктовая бомбежка