Базы данных и системы хранения — это одна из важнейших частей множества высоконагруженных систем. Их правильный выбор и оптимизация могут существенно повысить производительность, надежность и масштабируемость ваших проектов.

На докладах секции «Базы данных и системы хранения» вы погрузитесь в ключевые аспекты разработки высоконагруженных систем. Узнаете о современных подходах к архитектуре баз данных, шардированию, векторному поиску и аналитике. Получите практические знания о масштабировании и резервировании.

Первая часть докладов секции ⤵️

1) Эволюция архитектуры баз данных. Владимир Комаров (СберТех)

Почему современные промышленные СУБД такие, какие они есть? Существует ли идеальная база данных, и какой она могла бы быть? Свою версию ответов на эти вопросы представит в своём докладе Владимир.

2) Про избыточность WAL в Postgres. Андрей Бородин (Yandex Cloud)

Всё, что вы хотели знать про WAL-логи, но боялись спросить. Глубокий нырок в тему от признанного гуру PostgreSQL — Андрея!

3) Собственный S3-сервер — проблемы построения стабильного хранилища на нестабильном основании. Максим Харитонов (Ozon)

В 2024 году Ozon полностью перенес свою инфраструктуру объектного хранилища на собственное решение S3-server Lusca. Максим расскажет, как они выбирали хранилище индекса; думали, как реализовать strong consistency на eventual consistency-базе; открывали для себя особенности фоновых процессов ScyllaDB и придумывали свои алгоритмы. А еще о том, как боролись с восстанием зомби на Хэллоуин и воскрешали терабайты случайно удаленных данных.

🖐️ Ждём вас 23 и 24 июня в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 .

✅ Программа и билеты на сайте

Давайте попробуем развеять или подтвердить ещё один миф. О том, что существует «волшебный инструмент», способный генерировать производительный и безопасный код для работы с базой данных.

Cluster Lead в Uzum Market Евгений Конечный рассказал, как писать SQL-запросы, чтобы получить производительный, корректный и типобезопасный код на Go. Как облегчить боль при работе с БД и сберечь нервы разработчика за счет кодогенерации с помощью SQLC.

Подробности в статье 📝

DevOps и SRE инженер: в чем разница и что выбрать? Обсудили тему в этом выпуске подкаста ⤵️

#подкастHighLoadConf

Сегодня поговорим о том, как сделать управление жестами, используя только камеру и всего две статичные картинки, чтобы предсказать движение.

Техлид команды R&D компьютерного зрения SberDevices Александр Нагаев рассказал, как они балансировали между качеством, объемом, уникальностью и расовой принадлежностью при сборе данных. Как небольшое исследование внутри российской компании стали использовать большие мировые корпорации (Intel, Google). И как State-of-the-Art-решения в области распознавания жестов находят применение в различных устройствах: от кофеварки до сложных систем в робототехнике.

➡️ Подробности в статье

Сегодня рассказываем о докладах из секции «BigData и инфраструктура машинного обучения (data engineering)», которые будут особенно интересны:

- как командам, плотно работающим с ClickHouse, так и тем, кто только стоит на стадии выбора архитектуры;
- Data-инженерам и архитекторам аналитических решений;
- специалистам, работающим с высоконагруженными системами, которым важно обеспечить надежную репликацию данных и минимизировать нагрузку на источники.

1) ClickHouse без боли. Наш опыт рефакторинга легаси кластера и эффект внедрения шардгрупп. Михаил Филимонов (Magnit OMNI)

Михаил поделится вредными советами по работе с ClickHouse, расскажет про внедрение шардгрупп и поделится результатами первого квартала.

2) Trino как основа Big Data ETL фреймворка. Антон Стеблянко (X5 Tech)

Наверное, уже все слышали про Trino, но вряд ли кому приходило в голову использовать его в качестве ETL инструмента. Из доклада вы узнаете, что такой подход работает даже на масштабах X5, и, более того, дает значительную экономию в ресурсах.

3) Debezium + Kafka = любовь, как организовать cdc и не расплескать ничего по дороге. Евгений Прочан (Magnit OMNI)

Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.

Встречаемся 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️

✅ Программа конференции и билеты на сайте

⚡Чем ближе конференция, тем выше стоимость.

С 1 апреля билеты на Saint HighLoad++ 2025 станут дороже. Успейте забронировать билет заранее, чтобы зафиксировать текущую стоимость, оплатить можно будет в течение нескольких дней после брони.

🔥 23 и 24 июня на одной площадке в Петербурге вновь соберутся сильнейшие разработчики highload-систем. Мы будем обсуждать самые актуальные темы индустрии, обмениваться знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей, разбирать реальные кейсы с решением конкретных задач. И, конечно, очень много общаться в своей тусовке и завязывать полезные знакомства.

Присоединяйтесь к нам 🙌

Забронировать билет до повышения цены можно на сайте

Разобраться, чем отличается интеграция SDN в облако и SDN в систему виртуализации, почему разработка «механизма» сложнее, чем разработка «политики». Узнать про новую версию Feature Store и минусы прошлого решения. Послушать про опыт балансировки нагрузки в высоконагруженных приложениях. Всё это вас ждёт на докладах из секции «Архитектура», о которых рассказываем сегодня:

1) OVN: интегрируем готовый SDN в платформу виртуализации. Дмитрий Скорых (Orion soft)

Любой IaaS строится на трёх китах — вычисления, хранилище и сеть. Приходите на доклад Дмитрия узнать об опыте внедрения одного из популярных SDN и о возникающих в процессе подводных камнях.

2) Архитектура факторов ранжирования в runtime поиска Ozon. Лев Саськов (Ozon)

В докладе будет представлен взгляд на модели и фичи под неожиданным углом — будет выделено нечто общее между этими именованными функциями. Кроме того, вам будет представлена новая архитектура ранжирования, которая, значительно ускоряет время создания новых факторов поиска Ozon.

3) Как мы балансируем нагрузку внутри Яндекс Мессенджера. Никита Звонарев (Яндекс 360)

Хотите знать, как эффективно балансировать нагрузку в сотни тысяч пользовательских сообщений в секунду? А может, хотите воспроизвести алгоритм такой балансировки в своей инфре? В обоих случаях — вам сюда.

🖐️ Ждём вас на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025.

✅ Посмотреть программу конференции и забронировать билет можно на сайте

Заказывать разработку или делать самим — классическая проблема, у которой, к сожалению, нет классического решения.

Тимлид в X5 Digital Данила Федюкин рассказал, как подходить к этой задаче, чтобы достигнуть положительного результата для всех типов клиентов и при этом без колоссальных затрат на инфраструктуру для ML. Про разные «подводные камни» и про то, как учесть изменчивость интересов пользователей и извлечь пользу из плохой модели.

✅ Подробности в статье

Valkey — СУБД класса NoSQL с открытым исходным кодом, с активной командой разработки. Сейчас один из главных конкурентов Redis.

Давайте разберём его последние патчи, которые были призваны улучшить производительность в сравнении с версией 7. 2. Подробно с бенчмарками, оценим их позитивные, а местами и негативные эффекты на производительность. И рассмотрим интересные нюансы бизнес-моделей в Open Source-проектах на примере Redis, которые ограничивают продукт и подтверждают необходимость форков.

Техническими подробностями поделился активный член комьюнити Valkey, разработчик Managed Databases в Yandex Cloud Евгений Дюков: https://habr.com/ru/companies/oleg-bunin/articles/893680/

🔥 Облака и надежность: от железа до философии хаоса — новый выпуск Podcast++!

В восьмом выпуске разбираемся, как не превратить облако в дорогую обёртку для legacy-систем, почему важно устраивать реалистичные учения для команды, и как найти баланс между гибкостью Cloud Native и требованиями регуляторов. Обсуждаем эти темы с Николаем Бутенко, который за 15 лет прошёл путь от инженера до амбассадора облачных технологий.

🎤 Ведущий: Александр Арестёнок — руководитель команды мониторинга Ви.Tech.

🖐 Гость: Николай Бутенко — Директор по надёжности сервисов VK Tech. 15+ лет развивает облачные платформы в Ростелекоме, МВД, Яндексе и Mail.RU.

🎧 Слушайте на удобной платформе:

ВКонтакте
mave
Яндекс Музыка

Погрузитесь в инновации обмена данными и разработки карт для автономного транспорта — приходите на доклады, о которых рассказываем сегодня ⤵️

Особенно будет интересно:

- всем, кто работает с данными, управляет данными и защищает данные (причем не только технологически);
- разработчикам распределенных систем, профессионалам в области больших данных и всем, кто увлекается математикой и алгоритмами.

1) Как компаниям обмениваться данными, не обмениваясь ими. Петр Емельянов (Bloomtech)

Петр расскажет, как сделать так, чтобы организации могли эффективно и быстро узнавать важные факты и данные, при этом не передавая сами данные. Фокус доклада — на архитектуре и алгоритмах на примере финансовых систем.

2) Технологии построения распределенной карты для автономного транспорта. Гоша Лутидзе (Яндекс)

Все мы с интересом смотрим на роботов, которые стоят на светофорах и не путаются, когда на них идёт толпа людей. Гоша расскажет, как роботы в любой момент времени понимают, где находятся. Фокус — на архитектуре и алгоритмах.

🖐️ Встречаемся 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025, присоединяйтесь к нам.

✅ Программа конференции и билеты на сайте

Если вам интересно импортозамещение, или хотите разобраться, как масштабируются разные брокеры сообщений, приходите на следующие доклады из секции «Архитектура» ⤵️

1) Как из готовых инструментов сделать систему на петабайт данных. Павел Лукьянов (AGIMA)

Павел поделится кейсом о том, как он собрал такую систему, и в итоге все были счастливы — бизнес, разработчики и сам спикер. Слушатели узнают, почему не стоит «париться» из-за безопасности и почему бизнесу важно следить за проектом в реальном времени и принимать решения.

2) Сравнение масштабируемости Kafka и YDB Topics. Андрей Серебрянский (YDB)

Highload без очередей — не highload. Профи построения Stream-систем Андрей расскажет о кейсах масштабирования стриминга, подсветит подводные камни, для каждого случая, проведет сравнительный анализ (без прикрас): Kafka и YDB Topics. Слушатели узнают, где лучше применять каждый инструмент.

🖐️ Ждём вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025.

✅ Программа конференции и билеты на сайте