Telegram Web
Как построить высоконагруженную систему мониторинга в экосистеме из более 300 продуктов?

Руководитель стрима мониторинга и наблюдаемости в МТС Digital Филипп Бочаров расскажет, как они реализовали централизованное управление конфигурацией агентов, интерфейс для настройки алертинга и правил сбора метрик. Как собрали все метрики в единое хранилище и построили дашборды здоровья по ключевым продуктам с помощью агента telegraf и большого кластера Victoria Metrics, принимающего 10+ миллионов сэмплов в секунду.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/851024/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
До HighLoad++ 2024 осталось чуть больше месяца, билетов остаётся всё меньше, и это значит, что сейчас самое время к нам присоединиться 😉

🔴Почему вам стоит стать участником:

- познакомитесь с большим количеством единомышленников;
- обменяетесь опытом с коллегами;
- пообщаетесь с крутыми экспертами отрасли.

На HighLoad++ 2024 вы услышите классные технологические доклады, с решением конкретных задач, узнаете, как меняется индустрия прямо сейчас, что в тренде, а что в хайпе, какие есть новые инструменты и технологии. И, конечно, у вас будет отличная возможность найти решение своих собственных профессиональных задач.

Ждём вас 2 и 3 декабря на самой большой айтишной тусовке в стране — HighLoad++ 2024 😎

С 1 ноября билеты станут дороже и достигнут своей финальной отметки. Чтобы зафиксировать текущую стоимость, забронируйте билет сейчас, а оплатить сможете в течение нескольких дней.

Программа конференции, предварительное расписание и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🖐️ В этом видео Эдгар Сипки из Ozon Банка приглашает вас на Golang Conf 2024, которая пройдёт 2 и 3 декабря в Москве в рамках HighLoad++

Эдгар — опытный сеньор-Go-разработчик, специализирующийся на создании масштабируемых и высоконагруженных систем. В своей работе постоянно изучает новые технологии и совершенствует свои навыки. Умеет работать в команде и обладает опытом проектирования микросервисной архитектуры.

На Golang Conf 2024 Эдгар выступит с докладом «Web over gRPC: какую технологию выбрать», из которого вы узнаете, как можно автоматизировать создание прокси из OpenAPI в gRPC, позволяющего работать с вашим gRPC-сервером по обоим протоколам.

Ждём вас 😎

🖐️ Присоединиться к нам можно, купив билет на сайте
💯7
Давно ли вы пересматривали свой технологический стек? Не устарели ли ваши технологии? А может быть, о ужас, ваш проект уже воспринимается как legacy? Давайте проследим за изменениями в ландшафте доступных технологий и задумаемся, а не пора ли запланировать переезд, пока не стало слишком поздно?

1) Valkey 8 — релиз форка Redis про performance. Евгений Дюков (Yandex Cloud)

Доклад интересен не только глубокими техническими подробностями об изменениях от активного члена комьюнити Valkey, но и интересным примером о нюансах бизнес-моделей в Open Source-проектах на примере Redis, как это ограничивает продукт и почему смысл в форках есть.

2) Picodata: много маленьких данных. Константин Осипов (Picodata)

Обзорный доклад о распределенной базе данных Picodata, построенной на базе Tarantool. Архитектура, гарантии консистентности, плагины на Rust для клуба любителей распределенных СУБД.

3) PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны. Валентин Бартенев (Web Server LLC)

Разработчики на скриптовых языках годами жили с дефолтными и не самыми эффективными рантаймами. Сейчас ситуация начала меняться, и вот подтянулся и Angie, сделав своё эффективное решение. Потенциально оно может очень сильно повлиять на то, как мы запускаем свои приложения.

Присоединяйтесь к нам на HighLoad++ 2024 🙌

Выбрать интересные для себя доклады из программы и забронировать билет до повышения цены можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
На конференции HighLoad++ 2024 будет много интересного, но, пожалуй, самое необычное — награждение победителей конкурса «Красота кода».

Это не просто конкурс, а возможность показать, что хороший код может быть настоящим искусством. Для участников — это признание их мастерства, а для зрителей — шанс вдохновиться и, возможно, увидеть что-то новое, важное и полезное для себя.

Идея посмотреть на код, как на искусство родилась у разработчиков Сбера. В этом году конкурс получил название «Красота кода 2.0». В чём идея? Красивый код — это такой код, который легко читать даже новичкам и приятно писать.

Если хотите принять участие — welcome. Для этого нужно:

1. выбрать дисциплину;
2. написать решение, которое будет не только функциональным, но и изящным;
3. авторизоваться и заполнить анкету;
4. загрузить код на сайт.

Соревноваться будем по пяти направлениям: frontend, backend, mobile, DevOps и AI. В каждом направлении можно стать победителем в номинациях «краса кода», «изящный код», «звезда кода». Отдельно будет награждён и самый «народный код».

+ В этом году в конкурсе появилась специальная номинация от конференции HighLoad++

Победителей ждёт не только признание сообщества, но и классные призы — iPhone 16, колонка SberBoom и офлайн-билет на конференцию HighLoad++.

Участвуйте и вдохновляйтесь!

🔴Подробности и регистрацияна сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Третий выпуск Podcast++, в котором обсудили важные аспекты менеджмента:

Как обучать лидов в разработке?
Какие навыки и компетенции важны для успешного лидера?
Как развивать и «выращивать» лидов в команде?

Ведущий подкаста: Иван Матвеев — более 15 лет в разработке и 7 лет в руководстве командами. Побывал в роли Unit lead и Director of Engineering. На текущий момент руководит разработкой в командах core в Ви.Tech.

В гостях: Александр Орлов — эксперт в области обучения руководителей в ИТ, управляющий партнер Школы менеджеров Стратоплан, через обучение в которой прошли более 22 000 руководителей команд и проектов, тимлидов. Автор ряда книг по управлению в ИТ, карьере руководителя и коммуникациям, включая «Секреты управления программистами», «Белая книжная полка менеджера», «Джедайские техники конструктивного общения». В прошлом — менеджер в компаниях Intel и Sun Microsystems, Inc.

🎧 Слушать подкаст:

ВКонтакте
mave
Яндекс Музыка

* В рамках подкаста Александр упоминал бесплатный инструмент оценки ключевых компетенций руководителя, который они используют внутри Школы: если вы хотите оценить себя, как управленца, то переходите по этой ссылке

Коллеги обещают, что вы сможете:

🔴понять, что нужно «докачать», как руководителю
🔴оценить свой уровень в десяти важных функциональных зонах менеджера
🔴использовать его как четкий ориентир в противопоставлении развиваюсь/не развиваюсь, как специалист

Продуктивного прослушивания 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22👍84😱1
Как внедрить WASM в зрелую систему и какие практические вопросы возникают при этом? Как ВКонтакте справляется с отказоустойчивостью и репликацией больших объемов данных? Что насчет менее известных, но эффективных структур данных, таких как дерево Меркла, и их применения в хранении? И, наконец, как построить масштабируемое хранилище данных, учитывающее требования различных потребителей?

Эти вопросы будут рассмотрены в докладах из секции «Базы данных и системы хранения» 🔄

1) WebAssembly и хайлоад: история о том, как Tarantool стал полиглотом. Максим Кокряшкин (VK, Tarantool)

Доклад от команды Tarantool — инженерный дипдайв в WASM и практические вопросы разработки и архитектуры, когда WASM нужно встроить в зрелую систему. Доклад будет интересен всем, кто интересуется, можно ли использовать WASM в продакшне и как.

2) Архитектура хранилища ВКонтакте. Денис Дерюгин (VK, ВКонтакте)

В докладе рассматривается эволюция хранилища ВКонтакте. Особое внимание уделяется отказоустойчивости, репликации и избыточности. Описываются особенности работы с большими объёмами данных и методы распределения данных для предотвращения потери в случае выхода из строя одного из дата-центров.

3) Лес Меркла, или Как мы уменьшили объём метаданных на 83% и заодно ускорили поиск дубликатов в 10 раз в СХД TATLIN.BACKUP. Сергей Ли (YADRO)

В мире уже придумано множество структур данных, подходящих для разных случаев. Среди них есть менее известные, но от этого не теряющие своей красоты структуры, способные помочь в эффективном хранении данных. В докладе мы узнаем про дерево Меркла и его эффективное применение совместно с CDC.

4) Архитектура хранилища рекламных объектов Яндекс.Директ. Булат Гайфуллин (Яндекс Технологии)

Булат расскажет, как построить почти безгранично масштабирующееся хранилище данных, учесть требования поставщиков и потребителей, а благодаря использованию YTsausus реализовать эффективный стриминг изменений большому количеству разнородных потребителей.

🖐️ Встречаемся 2 и 3 декабря на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 в Москве.

Программа конференции и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Друзья, у нас готово финальное расписание конференции HighLoad++ 2024 — уже можно планировать, когда и какой доклад пойдете слушать 🖐️

Коротко о том, что вас ждёт:

2 дня,
3 конференции на одной площадке (об этом ещё расскажем подробнее уже следующих постах),
8 потоков,
13 параллельно работающих залов,
170+ докладов.

О чем поговорим: архитектура, базы данных и системы хранения, Platform Engineering, DevOps-практики и культура, безопасность, эксплуатация систем, аппаратное обеспечение, тестирование, производительность enterprise-систем, интернет вещей, Edge Computing, технологии будущего, BigData и инфраструктура машинного обучения (data engineering), нейронные сети и искусственный интеллект (data science)

HighLoad++ 2024 — реальные кейсы, практический и применимый опыт, честные истории со всеми «граблями», которые встретились на пути решения технологических задач 😎

Выбрать, на какие доклады вы пойдете, и купить билет можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
На докладах секции «Platform Engineering» спикеры поделятся ценными инсайтами и практическим опытом.

Узнайте, как интегрировать безопасность и гибкость в Kubernetes с помощью eBPF, создайте собственное приватное облако без привязки к вендорам, разберитесь в сетевой безопасности и избегите распространенных ошибок в крупных проектах. Также обсудим эволюцию системы логирования в МТС — от теории до практики.

1) Как подружить сеть в Kubernetes и легаси, сделать безопасника счастливым и выиграть в производительности с ebpf. Дмитрий Самохвалов (К2 Cloud)

Мало что начинает строиться на пустом месте. В этом докладе узнаем о вариантах скрестить уже имеющиеся подходы к безопасности в компании и максимальную гибкость настроек сети в Kubernetes с помощью ebpf, при этом выиграв в производительности.

2) Собственная облачная платформа на 20000 виртуальных машин — опыт Wildberries. Алексей Чуркин (Wildberries)

Вы хотите свою платформу виртуализации, но доверия к OpenStack и VMWare нет? Вы хотите не завязываться на конкретных вендорах железа и софта и не боитесь писать код и выстраивать оперирование. Добро пожаловать в мир собственных приватных облаков. Мы с радостью поделимся своим опытом.

3) Все то, что нужно для сетевой безопасности приложений в платформе на базе Kubernetes. Максим Чудновский (СберТех)

Прекрасная возможность разложить у себя все по полочкам в голове относительно сетевой безопасности в Kubernetes и потом не придумывать и не использовать костыли.

4) Что я сделал неправильно, когда строил платформу в лидере рынка e-grocery. Олег Федоткин (Циан)

Что будет, если заранее не озаботиться выбором языков программирования, объяснением архитектурных решений, внедрением стандартов паттернов и конфигураций в действительно большом проекте? Доклад поможет избежать потери денег в неочевидных местах и избежать сопротивления стандартам платформы.

5) Сделать централизованное логирование и крепко спать по ночам. Филипп Бочаров, Юлия Тальцкова (МТС Диджитал)

Продолжение эпопеи о том, как в МТС устроено observability: про эволюцию системы логирования через поле, усыпанное граблями, до нагруженного production-сервиса. В меньшей степени про bleeding edge-технологии, в большей степени — про то, как технологии заставить работать на пользу разработчикам и SRE

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024, ждём вас 🙌

Программа конференции, расписание и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Сейчас в инфраструктуре много мощных решений для балансировки и межсервисных коммуникаций: Nginx, HAProxy, Treafik и LB в публичных облаках. Но эти решения могут не справиться с масштабированием из-за ограничений старых систем для динамической конфигурации, особенно когда хочется автоматизируемое cloud-native-решение.

Архитектор в K2 Cloud Дмитрий Самохвалов расскажет о переходе с NGINX, HAProxy на Envoy. Как это позволяет улучшить быстрые обновления, об интеграции через envoy-control-plane и лайфхаки для эффективного перехода. Осветит и подводные камни, которые возникают при переходе.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/853910/
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1🔥1
⌛️Осталось 3 дня до повышения цены на HighLoad++ 2024

Друзья, напоминаем, с 1 ноября билеты станут дороже. Если вы планируете к нам присоединиться, но пока этого не сделали, то сейчас самое время это сделать.

И вот 5 причин, по которым нельзя пропустить HighLoad++ 2024 😎

1) Узнаете, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир.

2) Будете в курсе последних новостей индустрии.

3) Познакомитесь с технологиями, о которых, возможно, ещё не знаете.

4) Услышите сильные доклады с решением конкретных задач.

5) И просто круто проведёте время в крупнейшей IT-тусовке страны.

Также напоминаем, что вы можете зафиксировать текущую стоимость, для этого нужно забронировать билет до 1 ноября. Оплатить сможете в течение нескольких дней после брони.

Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌

Ознакомиться с программой конференции и забронировать билет можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥2
Скорость обработки поискового запроса часто решает — останется пользователь или уйдёт из сервиса. Поэтому сокращение времени ответа — это настоящее экспресс-расследование.

Команда, отвечающая за наполнение главной страницы онлайн-кинотеатра Okko, увидела, что latency приближается к таймауту, и пошла по горячим следам «убийцы времени» в Grafana.

В главных ролях: Jaeger и OpenTelemetry.
Режиссёр: Python.
Помощник режиссёра: Flask.

Спойлер: «убийца» — сборщик мусора.

Премьера здесь: https://habr.com/ru/companies/okko/articles/853406/
2🔥2
Пишете на Go? Присматриваетесь к Go? Используете инструменты, написанные на Go? Тогда вам точно нужно на HighLoad++ 2024, в рамках которой пройдёт профессиональная конференция для Go‑разработчиков — Golang Conf 2024!

Участники Программного комитета — эксперты Go-сообществ России — выбрали в программу 30+ крутых докладов с решением актуальных задач.

Ключевые темы конференции:

🟣Обзор нововведений Go 1.22 и 1.23
🟣GO: парадигмы и паттерны
🟣Hardcore: ассемблер, кишки, декомпиляция
🟣Протоколы, библиотеки, тулинг
🟣Истории успеха и провала

Будем говорить про переход на Go с других языков, конечно, про хардкор и смежные области. Программа вас ждёт насыщенная: пять тематических секций докладов и отдельный слот для мастер-класса по Temporal.

Совсем скоро мы начнём рассказывать вам про доклады Golang Conf 2024.

Встречаемся 2 и 3 декабря на Golang Conf 2024, которая пройдёт в рамках HighLoad++ 2024 в Москве 🖐️

Присоединиться к нам ещё можно, билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Ловите пятерку докладов из секции «Архитектура», которые будут особенно интересны для:

- разработчиков backend-компонентов, которые сталкиваются с проблемами надежности сервисов;

- разработчиков, решающих задачи изоляции или создающих B2B-продукт внутри отлаженного B2C-бизнеса. Архитекторов и CTO. Специалистов, которым интересно, с какими технологическими вызовами сталкивается «Яндекс Лавка»;

- специалистов по Software-Defined Networking. Сетевых инженеров и архитекторов. Разработчиков сетевых сервисов. Администраторов и разработчиков облачных платформ и платформ виртуализации;

- разработчиков продуктовых и инфраструктурных команд;

- разработчиков, архитекторов и менеджеров, разрабатывающих приложения, в которых нужен поиск.

🔄

1) Как не деградировать сервису подбора рекламы, когда мир сходит с ума. Артем Букин (VK Реклама)

Вместе с разработчиком баннерного демона пройдем путь добавления graceful degradation «на живую» в сложный высоконагруженный проект, сталкивающийся с перегрузками. Попутно разберемся, как устроена рекламная система VK изнутри.

2) Развивать B2C-сервис или сделать SaaS? Мы решили не выбирать — добавляем мультитенантность в «Яндекс Лавка». Павел Подколзин (Яндекс Лавка)

Как предоставить продукт более чем одному клиенту, при этом не делая по отдельной инсталляции на каждого? Задача «добавить ещё один фильтр по всей системе» быстро становится заградительно дорогой на масштабах. Послушаем про такой опыт на примере архитектуры очень большого и известного проекта.

3) От NSX к OVN: 4 года подготовки и успешная миграция облака «на лету». Владислав Одинцов (K2 Cloud)

Миграция всегда была задачей со звёздочкой для любых сущностей и систем. Но всё становится сильно сложнее, если мигрируемые сущности связаны. Из доклада мы узнаем интересную и длительную историю такой миграции на примере требования сетевой связности сетей из старого и нового SDN.

4) Resource EXpress: как мы построили общую шину динамических ресурсов в Яндексе. Николай Гайворонский (Яндекс)

Николай расскажет о том, как объединить десяток велосипедов обновления сервисов без перезагрузки в одно решение для всей компании. Задача, которая выглядит несложной, имеет множество подводных камней и граничных случаев, особенно на масштабах Яндекса.

5) Гибридный поиск на базе OpenSearch и Qdrant. Егор Прохоренко (Т-Банк)

Модный «векторный» поиск хорош, но теряет полнотекстовую составляющую, которая все еще важна. Егор расскажет, как они объединяли вместе два поиска: дообучали модель на датасете результатов, учитывали релевантность кликов, использовали дополнительную модель для ранжирования.

Встречаемся 2 и 3 декабря на HighLoad++ 2024 в Москве 🖐️

Программа конференции, расписание и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥32👍2
На предстоящей HighLoad++ 2024 пройдёт конференция PHP Russia 2024 💥

Поговорим о тестировании, качестве, лучших практиках, архитектуре и фреймворках, добавим хардкора.

В программе PHP Russia 2024 вас ждут 16 докладов, которые распределены по таким секциям:

🟣AI/ML + PHP
🟣Производительность
🟣Devops под PHP
🟣Лучшие практики
🟣Новые крутые либы
🟣Альтернативные рантаймы
🟣Новые фреймворки
🟣Опыт больших сложных проектов на PHP

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024, в рамках которой пройдёт PHP Russia 2024, присоединяйтесь 🖐️

Подробная программа конференции и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
На докладах секции «Нейронные сети и искусственный интеллект (data science)» поговорим про актуальные практические решения и инновации в области обработки данных.

Рассмотрим конкретные примеры использования LLM для извлечения атрибутов товаров и их дальнейшего мэтчинга. Узнаем о фичах для поиска кадров в видео, оптимизации векторных баз и мультимодальных моделях, а ещё о методах ускорения обучения моделей и оптимизации процессов на больших кластерах. Обсудим влияние модерации на клиентский опыт и применение блюра и inpainting для улучшения изображений. И разберёмся, как правильно отбирать и оценивать данные для обучения LLM на примере Gigachat.

1) Современные подходы к мэтчингу товаров с использованием LLM. GPT-4, Llama 3, InternVL2, Qwen2.5, Qwen2-VL. Виталий Кулиев (Wildberries)

Практический кейс использования llama для мэтчинга товаров. Команда не стала заливать проблему деньгами и пришла к довольно эффективному решению, которое вы, если нужно, сможете повторить у себя.

2) Поиск в видеоконтенте при помощи AI. Александр Соколов (ГПМ Дата)

Когда-нибудь задумывались о том, как найти нужный кадр в тысячах видео? Приходите на доклад и узнаете, как работает мультимодальный сервис поиска нужных моментов среди большой базы видео.

3) Ускоряем обучения LLM более, чем на 45%: увеличиваем реальную утилизацию GPU при помощи оптимизации использования памяти, коммуникаций и здравого смысла. Михаил Хрущев (Яндекс)

У команды Яндекса получилось ускорить свои претрейны в полтора раза, а соседние сценарии Alignment/DPO в 5-10 раз! Как и за счет чего можно достичь такой скорости? Михаил поделится в своём докладе секретными оптимизациями.

4) Эффективная модерация изображений: как исправлять нарушения, сохраняя количество и качество контента. Владимир Морозов (Авито)

Хотите узнать, как обрабатывать большой пул изображений и выявлять в них запрещенный контент с последующим исправлением? Приходите на доклад и узнаете, какой пайплайн построили в команде Авито.

5) Как мы варим данные Gigachat Pretrain. Иван Басков (SberDevices)

Мечтаешь о своей LLM? В Интернете петабайты информации, что само по себе уже вызов. Но как выбрать нужное и полезное? Иван поделится секретами кластеризации, дедупликации и отбора ценных данных для обучения, с акцентом на нюансы кодовых и математических материалов.

До встречи 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

Программа конференции, расписание и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Запись доклада Дмитрия Гордиевского «Замещение Thales — аппаратных модулей шифрования» с конференции Saint HighLoad++ 2023

Первый доклад про то, зачем делают и как внедряют аппаратные модули шифрования в платежной индустрии. До этого никто не рассказывал про эту тему. А теперь еще и отечественные разработки!

Смотреть запись в VK Видео

Посмотрите сами и поделитесь с коллегами 🙌

#записьдокладаHL
@HighLoadChannel
🔥4👍3
В секции «Базы данных и системы хранения» вас ждут доклады, посвященные современным вызовам и решениям в области управления данными.

Сегодня знакомим вас с пятеркой докладов, из которых участники узнают о предотвращении ошибок удаления данных, инкрементальном резервном копировании, улучшении взаимодействия с облачными дисками, производительности аналитики маркетплейсов и управлении шардированными базами данных.

1) Как я удалил clickstream, но его восстановили из небытия. Дмитрий Немчин (Т-Банк)

Жизненная история о том, как нечаянно стереть 200 терабайт в Hadoop, а потом несколько месяцев их восстанавливать. И как после этого донастроить data governance, чтобы такого не повторилось: начиная от админок и заканчивая TTL.

2) Инкрементальные бэкапы в PostgreSQL при помощи Ptrack и Walsummarizer, или Bloom filter vs. roaring bitmap. Алексей Дарвин, Софья Копикова (Postgres Professional)

Поиск изменений в данных кажется задачей с очевидным решением, но всё быстро становится сложнее, если добавить к ней синхронность, рабочую продовую базу данных и желание делать это быстро и экономно. В докладе узнаем о нескольких подходах к инкрементальным бэкапам от авторов одного из инструментов.

3) Путь к стабильным и быстрым дискам в Yandex Cloud. Даниил Татьянин (Yandex Cloud)

Как не терять производительность при эмуляции устройств, не уходя в крайности? В докладе узнаем про вариант эффективной реализации виртуальных дисков и новый опенсорсный проект, позволяющий решать подобные задачи.

4) Как с помощью ClickHouse решать реальные бизнес-кейсы. Дмитрий Черобаев (Mpstats.io)

В докладе рассматривается опыт работы с большими объёмами данных в аналитике. Описываются особенности сбора и обработки информации, проблемы с её обновлением и практические аспекты использования ClickHouse. Отдельное внимание уделяется автоматизации поиска узких мест при работе с данными.

5) Почтовые приключения с PostgreSQL: как приручить 650+ шардов и выжить. Кирилл Григорьев (Яндекс 360)

В докладе вы узнаете о том, как устроена Яндекс Почта сейчас, какие архитектурные решения в прошлом привели её в эту точку и как команда решала проблему балансировки нагрузки между шардами большого Postgres-кластера при переезде в Облако.

Встречаемся уже меньше, чем через месяц в Москве на HighLoad++ 2024 🖐️

Ознакомиться с программой конференции и купить билет можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Управление поиском цен на отели в сервисе бронирования — это как ремонт работающего двигателя. Работа происходит в реальном времени, и простой запрос «отель N на майские» не позволяет получить правильный ответ. Это проблема не только индустрии гостеприимства, но и всех сфер, где сервис тесно взаимодействует с внешними поставщиками данных.

Тимлид команды разработки Островок! Иван Чернов поделится методами построения архитектуры поиска от кэширования до сложных алгоритмов балансировки запросов. Расскажет, как справиться с нагрузкой и поддерживать бесперебойную работу системы. Про масштабирование Redis, использование Aerospike, фильтр Блума и про ещё одну задачу со звёздочкой.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/856540/
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥1
BigData и инфраструктура машинного обучения (data engineering) — следующая секция в программе HighLoad++ 2024.

Сегодня рассказываем вам о первых пяти докладах из данной секции, на которые нужно прийти, чтобы узнать, как большие языковые модели помогают решать реальные задачи, включая создание креативных ботов. Обсудить адаптацию SPYT к YTsaurus в Open Source, реализацию stateful-стриминга для аналитических платформ и разработку MLOps-платформы для рекомендательных систем. А также послушать про оптимизацию нейронных сетей для ботов без ГПУ, изучив методы ускорения и результаты работы с трансформером RoBERTa.

1) Практический подход к использованию LLM: особенности и сложности. Иван Красников (wikilect.com)

Доклад посвящен практическим аспектам применения LLM в реальных бизнес-кейсах. Иван расскажет о полном цикле разработки от создания и проектирования системы на базе LLM до финального продукта в реальной жизни!

2) YTsaurus SPYT: как мы избавились от форка Apache Spark и поддержали широкую совместимость. Александр Токарев (Яндекс)

Поддержка форка крупного Open Source-проекта — это больно. В Яндексе реализовали оригинальный способ внесения доработок в Apache Spark (JVM и Python) без необходимости создания форка, а также обеспечили совместимость своего проекта с широким диапазоном версий.

3) One streaming to rule them all. Стриминг как фундамент аналитической экосистемы. Дмитрий Широков (Яндекc Go)

Доклад про то, как внутри Яндекс Go удалось сделать универсальный стриминг, который поддерживает задачи real-time-аналитики, ML, BigData, DWH и платформы A/B-тестирования.

4) Spark in K8s для десятков DS-команд. Арсен Гумин (Сбер)

В противостоянии «Kubernetes против Apache Hadoop YARN» Арсен из Сбера всегда занимает сторону Kubernetes. В докладе он расскажет, как правильно запихнуть Spark в кубы, настроить весь необходимый для data science зоопарк и (почти) безболезненно манипулировать терабайтными датасетами.

5) Ускорение инференса ML-моделей без лишних трат. Денис Захаров (Домклик)

Глубокий технический доклад про ускорение инференса моделей. Денис расскажет про весь пайплайн работы с RoBERTa и OpenVino, поделится замерами производительности и потребления ресурсов, покажет плюсы и минусы реализации деплоя в прод.

Ждём вас 2 и 3 декабря на HighLoad++ 2024 в Москве или онлайн по всему миру 🖐️

Программа конференции, расписание и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2
2025/07/13 10:53:20
Back to Top
HTML Embed Code: