Продуктовая бомбежка

Количественные опросы: казнить нельзя помиловать. Часть 2.
Часть 1

✈ Пилотируем?
До запуска я прогнала опрос на небольшой тестовой выборке, которая помогла вычитать вопросы/ответы на понятность и логичность, где-то указала на дубли или на недостаток вариантов ответов. Мне хватило 10 человек.

🚀 Как соберём максимум ответов быстро?
Нужно продумать лучший канал дистрибуции. Например, если бы мы просто разместили ссылку на опрос в каком-то общем канале в Слаке, мы бы получили значимо меньше ответов. Поэтому мы использовали наш notification сервис и отправили через бота пуш всем сотрудникам в Слак и на почту.
Эффект был максимальный! В моих OKRах стояло «собрать 200 ответов на опрос», я закрыла этот пункт за 20 минут! А в течение суток нападало еще 400+ ответов.
Еще один хороший канал – через внутреннюю LMS систему, которая периодически напоминает тебе об опросе, если он еще не пройден.

🚢 А сколько вообще надо ответов?
Столько, чтобы выборка респондентов получилась репрезентативной, так что учитываем точность и доверительный интервал. Есть специальные калькуляторы, которые могут помочь прикинуть объем выборки, как и с A/B тестами.
Также важно подумать, будем ли мы сравнивать части выборки между собой (в моем случае менеджеры VS линейные сотрудники или Тех VS non-тех). Тогда нужно также подумать, с помощью какого статистического инструмента будет происходить расчет, и сколько для него нужно данных. Чаще всего анализ будет происходить с помощью т-теста для независимых выборок.

🛸 Как анализируем результаты?
Из опроса можно было извлечь информацию трех пластов:
- что там по гипотезам?
- что там с метриками?
- есть какие инсайты?
Поэтому при планировании исследования было полезно сделать табличку «гипотеза - вопросы, которые ее поддерживают - результаты». Так я понимала лучше, как именно буду использовать ответы из 80 вопросов, как лучше крутить данные.
Если у нет аналитика в помощь, то нельзя забывать о статистической значимости, которая приходит в помощь, когда возникает вопрос «а как понять, есть ли различия между результатами по выборкам?». Если в A/B мы работаем с конверсией используем доверительный интервал, то в случае сравнения абсолютных величин нам помогает т-тест. Если не было опыта с мат. методами в исследованиях, то можно почитать статьи по запросу «сравнение средних двух независимых выборок».

В общем, я преисполнилась🥳 Вспомнила времена Вышки, когда количественные исследования были моим любимым предметом, и как я до 4 утра сидела перед предзащитой и крутила данные в разные стороны, доставая их них все новые и новые инсайты.
Надо будет повторить!

www.tgoop.com/productbombing/100

1.3K viewsJan 26, 2022 at 11:30

Количественные опросы: казнить нельзя помиловать. Часть 2.
Часть 1

✈ Пилотируем?
До запуска я прогнала опрос на небольшой тестовой выборке, которая помогла вычитать вопросы/ответы на понятность и логичность, где-то указала на дубли или на недостаток вариантов ответов. Мне хватило 10 человек.

🚀 Как соберём максимум ответов быстро?
Нужно продумать лучший канал дистрибуции. Например, если бы мы просто разместили ссылку на опрос в каком-то общем канале в Слаке, мы бы получили значимо меньше ответов. Поэтому мы использовали наш notification сервис и отправили через бота пуш всем сотрудникам в Слак и на почту.
Эффект был максимальный! В моих OKRах стояло «собрать 200 ответов на опрос», я закрыла этот пункт за 20 минут! А в течение суток нападало еще 400+ ответов.
Еще один хороший канал – через внутреннюю LMS систему, которая периодически напоминает тебе об опросе, если он еще не пройден.

🚢 А сколько вообще надо ответов?
Столько, чтобы выборка респондентов получилась репрезентативной, так что учитываем точность и доверительный интервал. Есть специальные калькуляторы, которые могут помочь прикинуть объем выборки, как и с A/B тестами.
Также важно подумать, будем ли мы сравнивать части выборки между собой (в моем случае менеджеры VS линейные сотрудники или Тех VS non-тех). Тогда нужно также подумать, с помощью какого статистического инструмента будет происходить расчет, и сколько для него нужно данных. Чаще всего анализ будет происходить с помощью т-теста для независимых выборок.

🛸 Как анализируем результаты?
Из опроса можно было извлечь информацию трех пластов:
- что там по гипотезам?
- что там с метриками?
- есть какие инсайты?
Поэтому при планировании исследования было полезно сделать табличку «гипотеза - вопросы, которые ее поддерживают - результаты». Так я понимала лучше, как именно буду использовать ответы из 80 вопросов, как лучше крутить данные.
Если у нет аналитика в помощь, то нельзя забывать о статистической значимости, которая приходит в помощь, когда возникает вопрос «а как понять, есть ли различия между результатами по выборкам?». Если в A/B мы работаем с конверсией используем доверительный интервал, то в случае сравнения абсолютных величин нам помогает т-тест. Если не было опыта с мат. методами в исследованиях, то можно почитать статьи по запросу «сравнение средних двух независимых выборок».

В общем, я преисполнилась🥳 Вспомнила времена Вышки, когда количественные исследования были моим любимым предметом, и как я до 4 утра сидела перед предзащитой и крутила данные в разные стороны, доставая их них все новые и новые инсайты.
Надо будет повторить!

BY Продуктовая бомбежка