tgoop.com/system_design_world/141
Last Update:
⚙️ От Postgres к Data Lake
Интересная статья с верхнеуровневым описанием эволюции внутренностей сервиса.
Notion - крутой органайзер с разнообразным функционалом.
Текстовые заметки, картинки, страницы, ... - представлены в виде "блока" в Postgres.
📶 До 2021 - все блоки хранились в 1 инстансе Postgres.
В 2021 стало 20 млн блоков.
Сейчас их 200 млрд. Как они хранятся?
🔡 Данные разбиты на 480 логических шардов, распределенных на 96 инстанцев Postgres.
БД обслуживала разнообразные запросы:
1) пользовательский траффик онлайн
2) оффлайн аналитику
3) машинное обучение
Было решено вынести от Postgres нагрузку 2), 3).
🔀 Воспользовались ETL:
Postgres -> connector -> Debezium -> Kafka -> S3 <- ...аналитика
⏺️ Проффит:
1) Сэкономленный бюджет
2) Быстрая обработка
3) Новые возможности. Решение помогло быстрее внедрять AI функционал.
Подробности в статье:
https://blog.det.life/how-does-notion-handle-200-billion-data-entities-919b238c2846
Мой перевод на хабре:
https://habr.com/ru/articles/845446/
▶️ А у Вас есть проект с ETL? Какие видите в нём преимущества?
BY System Design World
Share with your friend now:
tgoop.com/system_design_world/141