tgoop.com/testing_and_life/1507
Last Update:
об измерениях неизмеримого
предисловие: планирую написать серию постов о балансировке метрик, о том, что вообще нужно и бесполезно измерять и что с этим делать дальше. это первый из этих постов (регулярность будет как всё в этом канале непредсказуема и зависеть от венеры в восьмом доме количества моих сил).
метрики – это такие волшебные, по мнению некоторого менеджмента, цифры и показатели, которые позволяют нам понять, что вообще происходит с нашим проектом и командой. они как пульс: измеряешь – и сразу видно, живы мы или пора звать реаниматолога. впрочем, и сторонники анекдота про среднюю температуру по больнице не так уж не правы в своём скептицизме.
метрики, как и всё в этой жизни, бывают разные: количественные и качественные, оценивающие процессы и оценивающие результат работы.
количественные метрики – это те, которые можно померить и посчитать. они чёткие, как инструкции к икеа. примеры:
- количество найденных дефектов: чем больше ошибок нашли, тем веселее жизнь команды и больше вопросиков, а что тут происходит.
- время на выполнение тестов: если растёт, значит, что-то идёт не так (или тесты стали реально сложные).
- скорость реакции на высокоприоритетные инциденты: насколько быстро мы реагируем на самые критические проблемы пользователей и делаем ли мы этим кому-нибудь хорошо.
качественные метрики – это больше про ощущения и субъективные моменты. они как отзывы на airbnb: вроде всё хорошо, но что-то смущает.
- удовлетворенность пользователей: как бы они не ругали наше приложение.
- качество документации: насколько легко новым членам команды разобраться в проекте.
- удовлетворенность команды: как наши ребята-девчата чувствуют себя в процессе работы.
метрики процессов показывают, как у нас идут дела в самом процессе разработки и тестирования.
- количество пропущенных дефектов: если после релиза пользователи находят баги пачками, значит, мы что-то упустили.
- время на исправление дефектов: чем быстрее чиним, тем лучше у нас с процессами (наверное).
- время на выполнение тестов: показывает эффективность скорость нашей работы.
метрики оценивающие результат работы – это о том, насколько наше приложение соответствует ожиданиям пользователей и бизнес-целям.
- уровень удовлетворенности пользователей: если все счастливы, значит, мы делаем что-то правильно.
- стабильность приложения: если после релиза ничего не падает и не лагает, то это успех (вот такие нынче стандарты).
- возврат пользователей: сколько пользователей возвращаются к нам после первого использования приложения.
как ни странно, баланс в метриках нужен как в жизни. если мы будем упираться только в количественные метрики, то можем потерять из виду, как пользователи вообще воспринимают наше приложение. например, мы можем найти и исправить все баги, но если при этом процесс тестирования становится невыносимым для команды – успех сомнителен.
если будем обращать внимание только на качественные метрики, то рискуем упустить важные технические детали. например, пользователи счастливы, но приложение работает с кучей скрытых дефектов, которые в любой момент могут рвануть.
баланс в метриках – это как здоровая диета. немного того, немного сего, и всё будет хорошо. не забывайте следить за тем, чтобы метрики отражали реальное положение дел и не увлекаться чем-то одним. иначе рискуем потерять не только показатели, но и здравый смысл.
BY Тестирование и жизнь • про работу для живых людей
Share with your friend now:
tgoop.com/testing_and_life/1507