Железо ненадежно, люди ненадежны, поставщики ненадежны.

Разработка собственных решений — хороший способ контролировать технологические процессы, обеспечить безопасность и повысить эффективность продуктовых команд.

Руководитель отдела облачных решений Wildberries Алексей Чуркин рассказал, как внутри компании построить облачную платформу и какие трудности ждут на этом пути.

✅ Подробности в статье

Цифровая экономика движется вперед — и ваши знания должны успевать за ней.

Представляем Поддерживающую базу знаний Онтико — мощный ресурс для корпораций, команд и экспертов, которые ценят актуальную информацию и эффективные решения.

Для кого это:

✔ Корпорациям, которым важно решать прикладные задачи быстро и профессионально.

✔ Компаниям, стремящимся сохранять экспертизу и передавать знания внутри команды.

✔ Специалистам, которые ищут проверенные данные с фокусом на реальные бизнес-задачи.

Что внутри:

🔹 4000+ видеоматериалов — выступления, разборы, экспертные мнения.

🔹 Свежие материалы — сразу после конференций и мероприятий.

🔹 Тематические гайды — собранные под запросы вашего бизнеса.

🔹 Вебинары и Q&A сессии — инсайты от лидеров индустрии.

Это не просто база — это рабочий инструмент для роста.

📌 Подробнее здесь

Как построить внутреннюю Feature Platform, которая ускоряет внедрение ML-моделей и делает работу с данными прозрачной и управляемой?

Руководитель разработки ML-команд Домклик Алина Баймашева рассказала, какие компоненты и технологии выбирали для обработки данных в офлайн- и онлайн-режиме. Почему решения с открытым исходным кодом не всегда подходят крупным компаниям и с какими сложностями можно столкнуться при проектировании собственной платформы.

✅ Подробности в статье

В сегодняшнем анонсе — доклады из секции «Тестирование». Рекомендуются к прослушиванию инженерам по тестированию, хотя бы раз столкнувшимся с настройкой различных девайсов, и архитекторам распределенных систем, больших продуктов, продактам, QA Architect. Вы узнаете, как создать «умную» инфраструктуру с нуля, и разберетесь, почему исследовательское ручное тестирование в большом продукте — признак мастерства.

1) Лего-стенд: История сборки универсальной тестовой лаборатории из 30+ устройств и метры кабелей. Евгений Деркач (ИнфоТеКС)

Ламповая история о том, как обуздать привычный рутинный хаос, всего лишь изменив к нему подход. Рекомендуется к посещению всем, кто скучает по порядку на рабочем месте.

2) Исследовательское тестирование: как найти бэкапы, которые не восстановятся? Александр Фатин (Postgres Professional)

Мы все любим байки в стиле: «Не ну, вы видели? Видели?!». В докладе Александра их будет целых 4 😉

Ждем вас на Saint HighLoad++ 2025 в Санкт-Петербурге 23 и 24 июня 🖐️

✅ Программа конференции, расписание и билеты на сайте

Go славится конкурентностью «из коробки», но на практике это часто источник не только производительности, но и проблем: гонки, дедлоки, утечки горутин, избыточная сложность.

Как превратить конкурентность из потенциальной ловушки в инструмент для построения эффективных и поддерживаемых приложений, рассказал разработчик бэкенда Почты VK WorkSpace в VK Tech Максим Мирошниченко.

А причем тут Антон Павлович Чехов? Узнаете в статье ✅

У вас настроение «майские» активировано?

😎 — да, это я тот самый коллега
🤔 — это мои коллеги, но не я
🗿 — у меня релиз

Доклады из секции «Аппаратное обеспечение» будут особенно полезны тем, кому интересны новые архитектуры, высокопроизводительные вычисления и низкоуровневые оптимизации приложений AI/ML, AR/VR, CV, HPC. А также инженерам по эксплуатации и обслуживанию серверов, хостинг-провайдерам, техническим директорам и владельцам бизнеса с собственным парком оборудования, инженерам и разработчикам, которые занимаются проектированием серверных решений ⤵️

1) Портируем ML на RISC-V: как не потерять производительность. Ксения Зайцева (YADRO)

Современные архитектурные решения для ML, помимо мощностей ЦПУ, задействуют ресурсы тензорных или графических ускорителей. В итоге производительность упирается в пропускную способность шины, и не всегда перенос вычислений на ускоритель стоит свеч. Ксения расскажет, каким образом эта проблема может быть решена в процессорах на базе архитектуры RISC-V и почему многие эксперты считают ее будущим для ML-приложений.

2) «Ручная» векторизация в 2025 году: когда компилятора недостаточно. Валерия Пузикова (YADRO)

Валерия покажет, что дает «ручная» векторизация на RISC-V и Arm на примере двух широко используемых высокопроизводительных Open Source-библиотек линейной алгебры — Eigen и OpenBLAS. Слушатели поймут, почему автовекторизации не хватает для ускорения приложений AI/ML, AR/VR, CV, HPC. На графиках производительности увидят, далеко ли до roofline и где прячутся compute-bound и memory-bound алгоритмы.

3) От перегрева к успеху: как мы изменили подход к жидкостному охлаждению десктопных процессоров в серверах и превратили спорный продукт в популярное решение. Григорий Прадедов (АО «Юнико»)

Одна из самых больших проблем в области — теплоотведение. Как выжать из формфактора и эффективной упаковки железа по максимуму? Послушаем максимально практичную историю об изготовлении и эксплуатации жидкостного охлаждения для целого флота устройств.

Присоединяйтесь к нам 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

Представьте: 4000 сервисов, 500 команд, 100 кластеров — и все это нужно перенести на новые Kubernetes-дистрибутивы. Потому что Red Hat ушла и забрала с собой поддержку OpenShift.

Максим Чудновский, лидер по продукту Platform V Synapse Service Mesh СберТех, рассказал хитрый подход к миграции, который позволяет перенести тысячи сервисов и десятки тысяч Yaml-манифестов без правок в коде и конфигурациях.

✅ Узнайте подход в статье

Применение ИИ и ML в высоконагруженных системах становится все более распространенным. В категории «Искусственный интеллект и машинное обучение в высоконагруженных системах» собраны доклады и мастер-класс о практическом применении ML в производственных системах ⤵️

1) Мастер-класс: «Удивительные эмбеддинги — как векторные представления применяются в задачах поиска и рекомендаций». Иван Красников (searchbooster.io)

Как устроена магия эмбеддингов внутри на мастер-классе подробно разбираться не будет, зато участники научатся махать волшебной палочкой! Будут разобраны на практике инструменты, которые позволяют строить и использовать векторные представления для рекомендательных и поисковых данных, даже если вы не Data Scientist.
Подготовительное задание: для экономии времени и снижения рисков поломки интернета необходимо заранее скачать материалы по ссылке (файл будет размещен за 2 недели до даты проведения конференции)

*Эмбеддинги — основа многих современных ML-решений, понимание их применения необходимо для создания эффективных систем.

2) Умный поиск по внутренней базе знаний с использованием LLM: от архитектуры до внедрения. Алексей Болтава (Т-Банк)

История о том, как Т-Банк улучшал поиск по всей внутренней проектной (и не только) информации. Тот случай, когда просто «нормально» — это мало и нужны постоянные улучшения. Рекомендуется тем, кто хочет использовать информацию по полной.

*Практическое применение LLM для корпоративных задач — одна из самых горячих тем в индустрии.

3) Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen / Llama / Gemma. Андрей Носов (Raft)

В докладе обсуждаются архитектурные решения для построения RAG-системах, включая 10 стратегий оптимизации чанкинга, выбор векторной БД, оптимизацию пайплайнов для работы с LLM, кэширование чанков и эмбеддингов для снижения задержек и методы повышения точности при работе с большими данными.

*RAG-системы становятся стандартным подходом к применению LLM в корпоративных задачах.

4) Эволюция векторного поиска в YDB: от базовых методов к масштабируемому глобальному индексу. Александр Зевайкин (YDB)

Хотите знать, что же такое векторный поиск? Причем здесь ИИ? А как сделать так, чтобы он был быстрым? Как сделать так, чтобы он масштабировался на множество нод? Приходите на доклад Александра о том, как векторный поиск со всеми этими свойствами сделан внутри YDB.

*Векторный поиск — фундаментальная технология для современных ML-систем и рекомендательных сервисов.

5) ML в продакшене: почему аналитикам и бэкенду сложно договориться. Сергей Лавров (Авиасейлс)

Мы пользуемся Aviasales, но понимаем ли мы, по каким принципам нам рекомендуются билеты? Сергей расскажет именно об этом. Как от хороших рекомендаций перейти к лучшим: пример совместного непростого путешествия ML- и бэкенд-команд.

*Огромный отрыв в голосовании показывает высокий интерес к проблеме интеграции ML-решений в рабочие процессы.

Ждем вас на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 🖐️

✅ Программа конференции, расписание и билеты на сайте

Друзья, в этом посте мы собрали для вас полезные материалы, опубликованные за апрель: статьи, записи докладов и подкасты. На случай, если вы что-то пропустили 😉

📜 Почитать:

У построения высоконагруженных IoT-систем свои нюансы. Там не такой хайлоад, к которому все привыкли в вебе. Опыт решения проблем роста нагрузки в умных домах.

Покоряем сетевой стек Linux: декапсулируем пакеты с помощью eBPF на скорости 6Mpps+. Как использовали eBPF для перехвата и декапсуляции VXLAN-пакетов прямо в ядре, обеспечив корректный сбор статистики без значительных изменений в архитектуре системы.

Как сделать централизованное логирование и крепко спать по ночам. Эволюция системы логирования через поле, усыпанное граблями, до нагруженного production-сервиса.

Железо ненадежно, люди ненадежны, поставщики ненадежны. Как спроектировали и запустили собственную облачную платформу на 20К виртуальных машин — опыт Wildberries.

Проектируем собственную inhouse Feature Platform. Как построить внутреннюю Feature Platform, которая ускоряет внедрение ML-моделей и делает работу с данными прозрачной и управляемой.

Оптимизация конкурентных приложений в Go. Как превратить конкурентность из потенциальной ловушки в инструмент для построения эффективных и поддерживаемых приложений.

Как мигрировать с OpenShift на любой дистрибутив Kubernetes без единой правки. Хитрый подход к миграции, который позволяет перенести тысячи сервисов и десятки тысяч Yaml-манифестов без правок в коде и конфигурациях.


👀 🎧 Посмотреть и послушать:

Записи докладов с конференции Saint HighLoad++ 2024:

«Как мы монгу физически бэкапили». Рассказ о том, как Яндекс учился бэкапить кластеры MongoDB для своих клиентов: чтобы бэкапы занимали адекватное количество места, с ними было легко работать, а главное — чтобы из них можно было восстановить консистентный кластер!

«Психологический возраст кибербезопасности». Внимание к кибербезопасности сегодня повышенное и невозможно обойти такую ее сторону, как готовность организации. Обычно оценивают технологии с помощью опросов и аудита. Спикер пошел дальше и рассказал, как все это работает и как определить психологическую зрелость кибербеза в компании.

Подкасты:

Можно ли сэкономить миллионы компании, внедрив FinOps? Или это просто модный термин без реальной пользы? Выпуск Podcast++ о том, как эффективно управлять затратами на инфраструктуру и мотивировать команду думать о бюджете.

Одного грейда уже не хватает. Разработчики с одинаковыми скиллами получают разные офферы — потому что одни умеют говорить о себе, а другие нет. Подкаст о том, как разработчику стать заметнее на рынке.


Сохраните дайджест себе и поделитесь с коллегами 🙌

Работа нейросетей с медиаконтентом прямо в браузере – одна из самых сложных задач для современных сервисов видеоконференций. Как добиться real-time инференса, сэкономить ресурсы пользователя и при этом не потерять в качестве?

Дмитрий Балиев из SberDevices поделился опытом создания собственного движка для ML-моделей. Рассказал, почему они не стали брать готовые Open Source-решения и как построили эффективный инференс, используя возможности WebGL. Как работает их графовый движок, который дает возможность оптимизировать вычисления, но при этом аккуратно структурировать код.

✅ Подробности в статье

Обработка потоковых данных — важная составляющая многих высоконагруженных систем. В категории «Стриминг и обработка потоковых данных» объединены доклады о технологиях и практиках работы с потоковыми данными ⤵️

1) Архитектура сбора продакшен-трафика для нагрузочного тестирования: 10 000 микросервисов и 30 млрд запросов в Ozon. Евгений Кузышин (Ozon)

Как собрать трафик в реальном времени с 10 000 микросервисов в Оzon для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супероружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.

* Реальный опыт масштабирования системы сбора и обработки данных.

2) 10k метрик, 500 A/B-экспериментов и 500kk p-value каждый день. Как это возможно? Данила Леньков (Авито)

Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.

* Обработка огромных объемов аналитических данных в реальном времени — сложная техническая задача.

3) Сравнение масштабируемости Kafka и YDB Topics. Андрей Серебрянский (YDB)

Highload без очередей не highload. Профи построения Stream-систем Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая проведет сравнительный анализ (без прикрас): Kafka и YDB Topics. Узнаем, где лучше применять каждый инструмент.

*Сравнительный анализ технологий помогает выбрать оптимальное решение для конкретных задач потоковой обработки.

4) Как правильно готовить RabbitMQ – 8 практических кейсов. Виктор Михайлов (Garage Eight)

Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.

* RabbitMQ — популярный брокер сообщений, правильная настройка которого критична для многих систем.

5) CDC без боли: Реальный опыт построения отказоустойчивой репликации с Debezium и Kafka. Евгений Прочан (Magnit OMNI)

Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.

* Change Data Capture (CDC) — важный паттерн для синхронизации данных между системами в реальном времени.

Присоединяйтесь к нам 23 и 24 июня на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

Надежная работа высоконагруженных систем требует грамотной эксплуатации и мониторинга. Категория «Эксплуатация и мониторинг высоконагруженных систем» включает доклады о практиках поддержки систем в «боевых» условиях ⤵️

1) Как настроить Nginx, чтобы он выдержал DDoS. Сергей Черкашин (Wildberries&Russ)

Помните sysctl-параметры для C10K problem из статей 2000-х? Приходите узнать, какие из них работают сейчас. Еще будет информация, как делать ratelimit на JA4 и какой с него толк. Как кешировать динамику. Как обрабатывать access.log, если ты очень большой. И это еще не все вкусности доклада.

*Практические рекомендации по защите от DDoS-атак, которые стали обыденностью для многих российских сервисов.

2) Четыре девятки хватит всем? Разбираемся с доступностью дата-центров. Алексей Учакин (EdgeЦентр)

Не все девятки одинаково полезны – две девятки, три, четыре, а ЦОД все равно простаивает. В докладе рассматриваются примеры из реальной жизни о надежности ЦОДов и рецепты как их подбирать.

*Определение необходимого уровня доступности (SLA) — ключевой вопрос при проектировании надежных систем.

3) Как делать эффективные дашборды для 2000+ микросервисов? Алексей Золотухин (Техплатформа Городских сервисов Яндекса)

Многие рассказывают про то, что алертов и дэшбордов должно быть не сильно много, чтобы не устать от них. Но мало кто задумывается о том, что у дэшбордов в графане тоже должен быть хороший UI и UX. В этом докладе будут советы по настройке дэшбордов для удобства и скорости.

*Мониторинг сложных микросервисных архитектур — вызов, с которым сталкиваются многие команды эксплуатации.

4) SLI и SLO для бизнеса: как следить за качеством 200+ продуктов. Филипп Бочаров, Эдуард Степанянц (МТС Web Services)

«Все ли хорошо у продукта? Мы укладываемся в SLO?». Авторы доклада однозначно могут ответить на этот вопрос. В докладе вы услышите не только описание подхода к «Дашбордам здоровья» продуктов, но и узнаете техническую реализацию

*Методология SRE и определение SLO становятся стандартом при эксплуатации сложных систем.

5) 20 лет на граблях: ошибки, отказы и выводы. Александр Стерлигов (МТС Web Services)

Спикер с большим опытом работы в ИТ. В докладе 4 ситуации, с которыми он столкнулся по ходу своей карьеры. Fail-митап, превращенный в полноценный доклад с историями, которые кажутся как шутки, но это реальность.

*Опыт работы с отказами систем позволяет предотвратить будущие проблемы и повысить общую надежность.

🖐️ Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025.

✅ Полная программа конференции, расписание и билеты на сайте

В Go есть раздел, про который не любят говорить даже Go-программисты. Это самое глубокое «подкапотье» стека — применение Go-ассемблера. Часть, которая вплотную прилегает к ядру системы и камням процессоров.

Игорь Панасюк любит Go и готов рассказывать о том, как ускорить код, используя абстрактный ассемблер Go. Он покажет, как можно пользоваться SIMD-инструкции, которые не поддержаны из коробки с примерами программ.

✅ Подробности в статье

Если вы проходите путь от стартапа к высоконагруженному сервису, разрабатываете высоконагруженные бизнес-приложения, интересуетесь распределенными системами или хотите разобраться в практическом применении AsyncAPI — следующие четыре доклада из секции «Архитектура» для вас ⤵️

1) От 1 тыс. до 180 тыс. IoT-устройств: как мы масштабировали архитектуру и пережили кризис роста. Руслан Ягафаров (МТС Юрент)

Кто-то любит электросамокаты, кто-то их ненавидит, но знают их все. История про то, как развивался один из самых крупных сервисов проката. Зоопарк технологий, боль, фейлы и элегантные решения.

2) История технической эволюции сервиса объявлений Авто.ру: от начала до наших дней. Андрей Борунов (Яндекс)

Чего греха таить, мы все любим байки и придания старины глубокой... Андрей расскажет нам историю одного из старейших сервисов Рунета.

3) От клика до публикации: архитектура платформы размещения объявлений Авито. Евгений Толмачев (Авито)

Сколько нужно девяток для счастья платформе объявлений Авито, и как этого добиться в реальных условиях — расскажет нам Евгений!

4) AsyncAPI – Swagger для асинхронного API. Александр Митин (ИТ-Холдинг Т1)

Как описать Kafka и event-driven-системы так же просто, как REST? Александр покажет, как стандарт AsyncAPI превращает обмен сообщениями в contract-first-процесс: от схем до генерации кода, документации и контрактных тестов.

Встречаемся 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️

✅ Программа конференции и билеты на сайте

На HighLoad++ 2024 мы задали участникам вопрос ⬆️