После релиза новой фичи «подробная аналитика кликов» всё шло гладко… первые 20 минут. Потом CPU → 100%, база перестала отвечать, алерты полетели один за другим.
➰ При расследовании выяснилось:
каждый клик пользователя логировался синхронно, в отдельной транзакции к базе. Когда онлайн вырос, сервер просто не выдержал объём I/O — тысячи INSERT-запросов в секунду, никакого батчинга, никакой асинхронщины.
💡 Логирование — это тоже I/O. Если можно, отправляйте события асинхронно: через очередь, буфер или отдельный сервис телеметрии. А при тестировании не забывайте нагружать «второстепенные» функции — иногда именно они валят весь прод.
❓А вы проверяете поведение системы при активной аналитике или логировании:
👍 — Да, это часть нагрузочных тестов 🔥 — Только когда прод уже горит
После релиза новой фичи «подробная аналитика кликов» всё шло гладко… первые 20 минут. Потом CPU → 100%, база перестала отвечать, алерты полетели один за другим.
➰ При расследовании выяснилось:
каждый клик пользователя логировался синхронно, в отдельной транзакции к базе. Когда онлайн вырос, сервер просто не выдержал объём I/O — тысячи INSERT-запросов в секунду, никакого батчинга, никакой асинхронщины.
💡 Логирование — это тоже I/O. Если можно, отправляйте события асинхронно: через очередь, буфер или отдельный сервис телеметрии. А при тестировании не забывайте нагружать «второстепенные» функции — иногда именно они валят весь прод.
❓А вы проверяете поведение системы при активной аналитике или логировании:
👍 — Да, это часть нагрузочных тестов 🔥 — Только когда прод уже горит
In 2018, Telegram’s audience reached 200 million people, with 500,000 new users joining the messenger every day. It was launched for iOS on 14 August 2013 and Android on 20 October 2013. Informative fire bomb molotov November 18 Dylan Hollingsworth yau ma tei Hui said the time period and nature of some offences “overlapped” and thus their prison terms could be served concurrently. The judge ordered Ng to be jailed for a total of six years and six months. Invite up to 200 users from your contacts to join your channel
from us
