Hello performance lovers!

Поделюсь некоторыми мыслями про задачи. Опишу в обратном порядке — как ставлю галочки на задачах, как задачи появились, ... потом через год посмотрю на это и подумаю, что тут было не так

Нашел для себя неплохое сочетание таких вкладок браузера:
📱 https://www.youtube.com/@abaointokyo — чтобы была фоновая музыка
🍅 https://pomofocus.io/app — чтобы учитывать, примерно, что сделано

📱 это можно заменить на другую фоновую музыку, например, https://www.youtube.com/@QuietQuest
🍅 это можно заменить на блоклот, если где-то еще есть отметки по 25 минут

🖥 если у вас есть второй монитор и не придумали, для чего его использовать — можно что-то из списка выше поместить туда, например 🍅
🗓 если совещаний много, то можно попробовать до их начала поработать так или в календаре выделить два слота — будет на час

Работаю так две недели только, подход нравится ❤️

📊 поменьше инцидентов всем, а помидорок побольше и повкуснее

Hello performance lovers!

Добавим в CI тесты производительности

⭐️ Запуск тестов на каждую сборку

Про такой опыт можно прочитать в книге Профессиональный бенчмарк, которую написал Андрей Акиньшин.
🔗 https://habr.com/ru/companies/piter/articles/598175/

В этом подходе речь идет о бенчмарках, не об e2e тестах. Бенчмарки быстрее и стабильнее e2e тестов, их можно запускать часто, на каждую сборку
Пример такого фреймворка для JVM - JMH
🔗 https://github.com/openjdk/jmh

Скорость выполнения тестов важна, и чем быстрее тем лучше. Чем меньше в тестах зависимостей, тем меньший объект тестируется, и тем быстрее получаются тесты

⭐️ Тесты на низкоуровневые события

Многие системы используют языки программирования, выполняемые в виртуальной машине, например, JVM. Где есть внутренний механизм записи событий, таких как аллокация нового участка памяти или отправка сетевого пакета или какие-то кастомные. Такой проект как
🔗 https://github.com/moditect/jfrunit
позволяет проверять что во время теста какие-то события были, также можно сделать проверки на количество событий. Например

assertThat(jfrEvents).
    contains(JfrEventTypes.GARBAGE_COLLECTION);

Это позволяет сделать тесты не на время выполнения. Которое может значительно меняться от разных внешних параметров; и нужна статистическая база, чтобы отделить статистически значимые деградации производительности от мнимых - об этом частично книга Профессиональный бенчмарк. А на события. Тут нужно хорошо знать свое приложение, хорошо знать как оно работает внутри. И тогда можно сделать тест на то, что во время теста сборка мусора не была вызвана ни разу и что потоки не были в состоянии блокировки ни разу.

⭐️ Тесты на прикладные метрики

Иногда сложно сказать сколько низко уровневых событий сделает приложение. Для проекта jfrunit можно сделать привязку к кастомным JFR-событиям, как количество чтений какого-то объекта или количество транзакций. Но тогда эти JFR-события надо будет в коде задать.

⭐️ Тесты на количество SQL-запросов

А есть высокоуровневые метрики популярных фреймворков, которые с высокой вероятностью влияют на производительность. Например, есть ORM-фреймворки, которые генерируют SQL-запросы, и они могут сгенерировать N+1 запрос. Например, если есть объект "команда" а в ней есть список людей, то может получиться так, для для получения одной сущности "команда" будет 1 запрос на команду и еще N запросов для получения участников команды.

Тут могут помочь такие проекты как
🔗 https://github.com/quick-perf/quickperf
🔗 https://youtu.be/xxEr8K4hJYQ?si=u7z0rJzVWvTvy1Hs
где через аннотации подобные такой

@ExpectSelect(1)

можно задать ожидаемое количество SQL-запросов, что их тут будет 1, а не N+1.

⭐️ Умный выбор запускаемых тестов

Если добавить к процессу выбора тестов инструменты code-coverage, то можно автоматизировать запуск тестов только на измененные объекты. Тестов получится меньше, они выполнятся быстрее, чем полный набор тестов. А скорость выпуска сборки важна для более быстрых итераций

Пример такого решения от Gradle
🔗 https://docs.gradle.com/develocity/predictive-test-selection/
также есть решения на базе популярного инструмена JoCoCo
🔗 https://docs.gradle.org/current/userguide/jacoco_plugin.html
но два известных мне решения являются внутренеей разработкой, возможно и в моей компании есть такое решение в том числе и в вашей тоже

И есть варианты реализации, когда для тестов есть pipeline, есть автоматизация, но выполнение теста происходит реже, тогда тесты могут быть более длительными. И быть интеграционным тестами на базе таких инструментов как Apache JMeter, K6, Gatling и так далее

⭐️ Тесты до релиза

Также можно запускать тесты на не каждую сборку, а на каждый релиз, на каждый merge в главную ветку

⭐️ Тесты после релиза

Также можно запускать тесты не перед релизом, а после установки релиза на пред-продуктив. Запускать эти тесты на этом же окружении в ходе автоматических проверок после установки новой версии.

⭐️ Тесты по расписанию

Также можно не блокировать сборки, релизы и деплои, а запускать тесты по своему расписанию

⭐️ Тесты по запросу

Одна из популярных стратегий, это выполнение тестов по запросу. Реализация варируется от очень автоматизированной (в рамках ограничений)

💡 Анатолий Пласковский — Jirabased генератор трафика в автоматической системе сервисов стрельб в проде
🔗 https://youtu.be/lVUGf40RYfk?si=47vQWgUEc5hJam4o
Тут рассказывается про запись трафика с продуктива и его воспроизведении, взгляд со стороны пользователей системы

💡 Дмитрий Кузнецов — Подготовка тестовых данных для нагрузочного тестирования протокола gRPC
🔗 https://youtu.be/DKR6o6nEVLY?si=btAv4YPcJz2cbfaX
Тут рассказывается про запись трафика с продуктива и его воспроизведении для микросервисов, взгляд со стороны разработчика системы тестирования производительности

💡 Иван Приходько — Нагрузочное тестирование для котиков. Scenario- vs Hit-Based-подходы
🔗 https://youtu.be/Cn-52dCBm_M?si=Ttp73WWgKMl6P4Gu
💡 Иван Приходько — Как проводить 19 000 нагрузочных тестов в месяц и не умереть под нагрузкой
🔗 https://youtu.be/Ij7DjFKAfUo?si=sfAh8GziqSSURX4a
Тут рассказывается про генерацию профиля нагрузки на основе трафика продуктив

💡 Виктория Дежкина — GoReplay в обеспечении качества высоконагруженных систем
🔗 https://youtu.be/ADUNuVtX3cs?si=Nm-viDIHDysgspBD
🔗 https://goreplay.org/
🔗 https://github.com/buger/goreplay
Тут рассказывается про запись трафика с продуктива и его воспроизведении в другой реализации

До подходов с большим вовлечением специалистов по тестированию производительности, где специлисты могут реализовать любой сценарий, но автоматизируется запуск, построение отчетов, сравнение результатов, поддержка какого-то протокола или способа корреляции
💡 Александр Иванов — Yandex Load Testing: что облачные инструменты дают нагрузочному тестировщику
🔗 https://youtu.be/3u6_FDhKk5s?si=Nk7Z50-VnqY1Hs2z
Тут автоматизирован запуск и хранение результатов

💡 Максим Ажгирей — SyTester. Когда нагружать удобно
🔗 https://youtu.be/Wu4XKenv0MU?si=t63GKdvHC8y6yJNT
Автоматизирована корреляция при работе с брокерами сообщений

💡 Иван Смирнов — Зомби-апокалипсис в Телемосте: нагрузочное тестирование видеоконференцсвязи
🔗 https://youtu.be/BVfao3wi54k?si=T1NZJ2lpndAgtU2x
Автоматизирована работа с протоколом видео связи

Вариантов реализации много. Сейчас думаю над вариантом реализации для youtrack (сервис управления проектами), где уже есть тесты производительности и есть свои ограничения и возможности. Хочется эффективных и быстрых тестов. Если есть желание обсудить, то удобно это сделать в чате @qa_load в разделе Общий чат про НТ https://www.tgoop.com/qa_load/96294

@qaload

Привет, любители производительности!

В 2024-м году оплатил лицензию Proxyman.io, это была благодарность за проведение одного теста. После оплаты, и после этого теста не пользовался инструментом, но тест был хороший, поэтому отблагодарить разработчиков стоило

Это будет история про miro.com, proxyman.io, artillery.io, Google Chrome, Mozilla Firefox, картинки, кеширование и производительность

В 2024-м году гуляя по Еревану послушал выпуск подкаста PurePerformance: Persona Driven Engineering – The magic of knowing your end users with Barbara Ogris
🔗 https://www.spreaker.com/episode/persona-driven-engineering-the-magic-of-knowing-your-end-users-with-barbara-ogris--50890444
Не смогу пересказать подкаст кратко, но выхватил для себя, что можно попробовать применить это в тестировании производительности, а именно
🟣 поговорить с конкретным пользователем
🟣 понять конкретную проблему производительности
🟣 решить эту проблему и сообщить пользователю, что все готово

И в тоже время был куратором доклада на конференцию heisenbug.ru, готовили с Раисой Липатовой доклад про техники тест-дизайна. И в разговоре с ней узнал, что она проводит курсы обучения, для проведения курсов использует miro.com как основную платформу для слайдов, что она платный пользователь, что слайдов у нее много, на слайдах много картинок, что она открывает их из Израиля, и что все загружается очень медленно. Но дефект она не заводила

Этот доклад Раиса подготовила —Техники тест-дизайна на примере гипотетической системы выдачи Covid QR кодов
🔗 https://www.youtube.com/watch?v=bRGs5ma-8EY

А я взял себе задачу
🟣 исследовать скорость работы пользователей не из Европы
🟣 ускорить скорость открытия досок с большим количеством слайдов
🟣 ускорить скорость открытия досок с большим количеством картинок
✅ а когда все получится, рассказать Раисе, что вот теперь работает быстро

Исследования выявили, что основной браузер клиентов — Google Chrome. И что на досках с большим количеством ресурсов достаточно долго ожидается загрузка ресурсов. В 2024-м году была версия системы, которая подгружала все ресурсы доски сразу, даже если они не были в фокусе, получалось долго. В 2025-м году используется новая версия, где загружаются только ресурсы, видимые сейчас.

Но также, для ресурсов не использовались заголовки кеширования. Таким образом, при перезагрузке страницы, браузер мог посылать запросы на загрузку ресурсов снова, и снова надо было долго ждать.
⚫️ запросы на ресурсы в miro были запросами на адрес https://miro.com/api/v1/user-pictures с параметрами
⚫️ а заголовки ответа о которых пишу это Cache-Control и Expires

Также исследования выявили, что браузер 📱 Mozilla Firefox отправляет примерно в 2,5 раза меньше запросов api/v1/user-pictures, чем браузер 📱 Google Chrome. Как оказалось, браузер 📱 Mozilla Firefox игнорирует отсутствие заголовков Cache-Control и Expires для ответов с типом image. 📱 Mozilla всегда кеширует картинки, даже если сервер сказал, что кешировать их не надо, что Expires = времени ответа.
⚫️ интересный момент, что 📱 Mozilla всегда кеширует картинки при любых заголовках про кеширование, а 📱 Google Chrome работает согласно заголовкам

И визуальные тесты показали, что действительно — доски с большим количеством картинок загружались в 📱 Mozilla Firefox при перезагрузке страницы гораздо быстрее. То есть, можно было написать пользователю — попробуй использовать Mozilla, и сначала открывать доску со слайдами, ждать пока все прогрузится, а потом обновлять страницу. Но этого было мало, надо было сказать разработчикам поменять заголовки