🖐️ Приглашаем на онлайн-митап «Эволюция управления данными: облако и open-source на службе качества»

10 октября в 13:00, онлайн.

Обсудим путь компании к размещению технологических данных в облаке и ключевые этапы принятия этого решения. Также поговорим о том, как open-source инструменты могут помочь в улучшении качества данных и какие вызовы могут возникнуть на этом пути. Узнаем, какие преимущества дают DQ-инструменты, как правильно их выбрать и внедрить даже в условиях слабой культуры данных.

🔴Митап для архитекторов, специалистов по данным, разработчиков, а также всех, кто задумывается о переходе в облако и совершенствовании процессов работы с данными.

✅ Митап бесплатный, но требуется регистрация. Подробности здесь

Как формируются персонализированные рекомендации в KION, и какие бизнес-правила за этим стоят? Какие сложности возникли при разработке архитектуры звонков в Авито и как их преодолевали? Как запустить программу лояльности для 80 миллионов клиентов, учитывая все нюансы нагрузки? Как создается система управления светофорами в Москве?

Ответы на эти вопросы будут ждать вас на HighLoad++ 2024 в докладах, о которых рассказываем сегодня 😎

1) Как KION формирует в Realtime персональные рекомендации и витрины. Алексей Жиряков (KION)

Интересный рассказ как из простых инструментов можно собрать систему, которая обеспечивает хорошую производительность для сложной задачи подготовки персональных рекомендаций в режиме realtime.

2) 1000 и 1 боль: как мы запускали «звонки через приложение» на Авито. Станислав Процкий (Авито)

Из доклада можно узнать, как развиваются большие системы. Как и когда принимаются архитектурные решения и чем надо руководствоваться при выборе.

3) Масштабирование в условиях неопределенности или как мы обновляли СберСпасибо. Мария Насырова (Сбер)

Мария расскажет о том, как происходит развитие очень большого проекта. Как готовятся масштабные архитектурные изменения и с какими неочевидными проблемами можно столкнуться в процессе миграции.

4) Как управлять мегаполисом без смс и регистрации. История одного пилота АСУДД. Арсений Сазанов (ИП Сазанов А.М.)

Доклад Арсения про то, как и на каких технологиях строятся АСУДД — Автоматизированная Система Управления Дорожного Движения. Какие проблемы могут встретиться при разработке и внедрении подобных систем.

Встречаемся 2 и 3 декабря в Москве, присоединяйтесь 🙌

✅ Программа конференции и билеты на сайте

Александр Лищук, архитектор решений из команды Технологической Платформы НЛМК, в сегодняшней статье рассказал про развитие IT в реальном секторе, про дресс-код и субординацию, стек и технологии. О том, как попасть в промышленность и что это дает для профессионального развития инженера.

👉Читать здесь: https://habr.com/ru/companies/oleg-bunin/articles/849290/

Не упустите возможность прокачать свои навыки и расширить знания в области управления данными 🙌

⏰ Завтра (10 октября в 13:00) подключайтесь онлайн на митап «Эволюция управления данными: облако и open-source на службе качества». Это возможность узнать о ключевых этапах перехода компании на облачные технологии и как open-source инструменты могут значительно повысить качество ваших данных.

Это событие — не просто очередная встреча, это шанс стать частью важного обсуждения, которое затрагивает будущее вашей работы и компании в целом.

Мы обсудим путь компании к размещению технологических данных в облаке и ключевые этапы принятия этого решения. Также поговорим о том, как open-source инструменты могут помочь в улучшении качества данных и какие вызовы могут возникнуть на этом пути. Узнаем, какие преимущества дают DQ-инструменты, как правильно их выбрать и внедрить даже в условиях слабой культуры данных.

🔴Митап для архитекторов, специалистов по данным, разработчиков, а также всех, кто задумывается о переходе в облако и совершенствовании процессов работы с данными.

✅ Митап бесплатный, но требуется регистрация. Подробности здесь

В мире технологий, где инновации движутся с невероятной скоростью, важно быть в курсе новых решений и подходов. Ловите пять докладов из секции «Архитектура», из которых вы узнаете о создании Feature Platform, организации архитектурных артефактов, эволюции системы защиты видео, инновациях в запуске приложений на nginx и опыте использования Kafka. Этот опыт спикеров поможет вам избежать распространенных ошибок и улучшить эффективность проектов 🔄


1) Проектируем свою inhouse Feature Platform. Алина Баймашева (Домклик)

Алина — архитектор платформы. В докладе она расскажет о том, как подходила к проектированию, какие варианты рассматривала и что в результате получилось. Это история большой компании, которой надо было не просто собрать Feature Platform, но и вписать получившееся в свой технологический ландшафт.

2) Артефакты архитектуры. Какие, зачем и как их организовать. Наиль Миннахметов (МТС)

Практическое осмысление One page enterprise architecture Святослава Котусева на примере процессов в МТС. Что подходит, что требует изменений, что излишне в процессах создания архитектурных артефактов — все через призму практического опыта.

3) Миллионы часов: поиск копий в VK Видео. Никита Кочетков (VK, ВКонтакте)

В докладе рассказывается о решении задачи поиска дубликатов видео при загрузке на VK Видео. Рассказ охватывает несколько стадий этой задачи: декодирование видео, оптимальный сбор фингерпринтов, поиск аналогов. В чем отличие от распознавания лиц, какие сложности при работе с видео — всё в докладе Никиты.

4) PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны. Валентин Бартенев (Web Server LLC)

Разработчики на скриптовых языках жили с дефолтными, не самыми эффективными, рантаймами годами. Сейчас ситуация начала меняться, и вот, подтянулся и Angie, сделав своё эффективное решение. Потенциально оно может очень сильно повлиять на то, как мы запускаем свои приложения.

5) Apache Kafka как единственное хранилище. Использование, проблемы, боль и последствия. Дмитрий Емельянов (Altenar)

Попытка использовать Apache Kafka как единственный источник знаний — не очень хорошая идея. Рассказ о том, почему так и как именно это стреляет в ноги.

Присоединяйтесь к нам 2 и 3 декабря на HighLoad++ 2024 в Москве 🖐️

✅ Программа конференции и билеты на сайте

Запись доклада Евгения Россинского «Как из Python и палок собрать детектор аномалий для highload» с HighLoad++ 2023

Детекторы аномалий — это не всегда большие и сложные проекты. Евгений из ИВИ рассказал, как в свободное от техдирства время собрал такую штуку для микросервисной хайлоад-системы буквально «на коленке» — и сколько пользы решение принесло команде.

▶️Смотреть запись в VK Видео

#записьдокладаHL
@HighLoadChannel

Рассказываем о трёх доклада из секции «Базы данных и системы хранения», на которых вы:

- узнаете о внедрении стоимостного оптимизатора в YDB, улучшающего обработку как OLTP, так и аналитических запросов;
- сфокусируетесь на надежности хранения данных, анализируя поведение ОС и методы тестирования приложений;
- исследуете физические ограничения баз данных и способы их преодоления, включая транзакции между удаленными системами.

1) Стоимостный оптимизатор в YDB — как, зачем и почему? Павел Велихов (Yandex.Cloud (YDB))

Ничто так не бесит аналитиков и разработчиков, чем когда тормозит сложный запрос в СУБД. Ответственность за все это несет оптимизатор запросов. В этом докладе узнаем, как современный оптимизатор помогает БД не тормозить и что удалось уже реализовать в оптимизаторе YDB.

2) Итак, вы решили надежно записывать данные на диск. Дмитрий Родионов (Picodata)

Простые действия могут иметь под собой на удивление сложную логику и многочисленные последствия. Доклад погрузит нас в дивный мир гарантий при записи данных, покажет интересные примеры проблем из жизни и затронет важный вопрос поиска подобных ошибок в приложениях.

3) О геораспределённых транзакциях. Владимир Комаров (СберТех)

Теория и ее приложение на практические реализации для задач выбора геораспределенных баз данных — что может быть лучше? Только дополнение о самых современных теориях построения таких систем как SLOG и Detock. И все это — в докладе Владимира!

Встречаемся 2 и 3 декабря в Москве на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Узнать подробнее о конференции и купить билет можно на сайте

✋ 14 октября приглашаем вас на встречу потенциальных докладчиков с Программным комитетом DevOpsConf 2025.

⏰ Собираемся в 19:00

Форматы:

Офлайн. Москва, офис Газпромбанк, Коровий Вал 5, БЦ «Оазис».

Онлайн. Ссылка придёт после регистрации на встречу.

Участие свободное нужно только зарегистрироваться здесь

🔥 От Программного комитета во встрече будут участвовать:

🔴Дмитрий Зайцев (Flocktory) — руководитель Программного комитета DevOpsConf. Высококвалифицированный профессионал с опытом работы в разных индустриях — gamedev, adtech, bigdata, fintech, marketing. Развивал DevOps- и SRE-практики и подходы тогда, когда это еще не было мейнстримом. Совмещал их с ITIL и Cobit, пока они еще были в моде. Один из организаторов devopsdays moscow, devops moscow, hangops_ru.

🔴Александр Коротков (Т-Банк). Начал карьеру с разработки инструментов для автоматизации тестирования. После углубился в процессы разработки, непрерывной доставки, обеспечения качества и стабильности. Сейчас увлечён оптимизацией процессов кросс-командного взаимодействия. Суммарный опыт в разработке около 10 лет.

🔴Игорь Курочкин (Enabling.team). Помогал развивать инженерную культуру, процессы и практики в Авито, Учи.ру, Тинькофф, Росбанк, Райффайзен Банк, inDrive, X5 Tech, Wild Apricot, Pushwoosh, Exness, retailCRM, Skyeng, Делимобиль и Lamoda. Руководил направлением анализа и консалтинга в компании Express 42. Работал платформенным и SRE инженером в корпорации Microsoft, технологической компании Skype, стартапах Qik и Scalaxy. Выступал на конференциях HighLoad, AgileDays, South HUB, TeamLeadConf, DevOpsConf, RootConf, DevOops.
⠀
Если вы хотите стать спикером DevOpsConf 2025 — приходите/подключайтесь. Обсудим новости и планы, поговорим о том, что болит и волнует, обменяемся идеями. Мы расскажем про актуальные темы, на которых в этот раз хотим сделать акцент, про все возможные форматы выступления и чем они хороши для вас. Вы узнаете актуальна ли ваша тема и нет ли похожих докладов от других спикеров, а также мы расскажем, как проходит процесс отбора заявок в программу и подготовка принятых докладов к выступлению.

Подать заявку на доклад можно здесь. Дедлайн 22 ноября.
Конференция пройдет 7 и 8 апреля в Москве.
⠀
Встреча обещает быть очень полезной, ждём вас 🙌

Часто о надежности начинают задумываться, когда система уже написана, запущена в боевую эксплуатацию и «вдруг» случился серьезный инцидент. Как идентифицировать важные риски еще на этапе проектирования системы и заложить защитные меры в дизайн системы? А только ли в архитектуре дело? Что насчет процедур и инженерной культуры?

Разберёмся с этими вопросами на докладах:

1) Надежность на масштабе в 45 млн клиентов — инструменты и практики цифрового банка. Алексей Мерсон (Т-Банк)

В любой сложной системе есть механизмы поддержки, их много, и часто они разрозненны. Дежурные команды, оповещения, «железные женщины» и т.д. В докладе Алексея вы узнаете, как связать их в цельную стройную систему, чтобы надёжными были не только инфраструктура и приложения, но также услуги и клиентский опыт.

2) Что продуктовой команде нужно сделать ДО полного блэкаута системы. Наталья Макарова (CDEK)

Наталья покажет блекаут, про который мы все слышали, глазами техлида одной из команд CDEK, поделится своим прошлым опытом по восстановлению работоспособности систем и новыми инсайтами, как подниматься с нуля. С самого нуля. А ещё какие скрипты приготовить, где все будут толкаться при запуске и пр.

3) Как мы в Авито анализируем 5 миллионов трейсов и проводим архитектурный надзор. Иван Нещадин (Авито)

Вы узнаете как осуществлять архитектурный надзор post-factum анализируя трейсы, какие классы проблем можно идентифицировать таким образом и как организовать хранилище подобных данных.

🖐️ Присоединяйтесь к нам 2 и 3 декабря в Москве на крупнейшую профессиональную конференцию для разработчиков высоконагруженных систем HighLoad++ 2024.

✅ Посмотреть программу конференции и купить билет можно на сайте

🔄Четвёрка докладов из секции «Архитектура», которые будут особенно интересны:

- разработчикам, в системах которых так или иначе обрабатываются адреса;
- BE-инженерам, архитекторам, бэкенд-разработчикам;
- и всем тем, кто хочет узнать, как изменилась Алиса с появлением LLM, с какими трудностями столкнулась команда и как их преодолели.

1) Точный адрес – вечная боль! Адресный путь геораспределённого агрегатора курьерской доставки. Михаил Колосов (Газпромбанк.Тех)

Узнайте, как решать вечную проблему адресов в логистике и не только: несовпадение форматов, ошибки в доставке и интеграция с ФИАС. Вы увидите реальные кейсы, технические решения и актуальные подходы к обработке адресов. Доклад Михаила поможет улучшить адресную архитектуру в ваших проектах.

2) Как применить перколятор по назначению и не только. Владислав Сикач (Авито)

Доклад посвящён анализу различных кейсов использования функциональности перколятора на больших объёмах. Владислав также поднимет вопрос о сравнении различных перколяторов — Sphinx, ElasticSearch.

3) Как устроена Алиса нового поколения. Руслан Ахтариев (Яндекс Технологии)

Под капотом новой Алисы три дата-центра и сотни серверов с GPU. Но все равно для обеспечения быстрой работы приходится использовать множество оптимизаций: «рефразеры» для запросов, стриминг, квантизацию и спекулятивный декодинг. Все это — в докладе Руслана.

4) Выделение микросервиса из 15-летнего монолита. Приключение на 1 год. Станислав Кондратьев (hh.ru)

Каждый рефакторинг монолита частично уникален, но только частично. Какие-то, каждый раз свои, шаги и подходы будут повторяться. Очень полезно иметь в своём арсенале запас идей и подходов, потому что рано или поздно монолит придётся рефакторить и вам.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции и билеты на сайте

Редкий пример использования nomad в реальном продакшне в докладе Константина Касева и Марии Васильевой «Переход к Platform as a Service в Яндекс Вертикалях: опыт, проблемы, ошибки» с конференции Saint HighLoad++ 2023, запись которого мы принесли 🙌

Всего пять лет назад в Яндекс Вертикалях разработчики деплоили приложения deb-пакетами. Логи писались в файлы, деплой был долгим и неудобным, мониторинг и алерты лежали на плечах админов — и им же звонили. Они жили на железе и ручном приводе. Из такой точки А начался их путь к прекрасному PaaS будущего.

Теперь в Яндекс Вертикалях живут в облаке, у админов много автоматики, и звонки только по ops-проблемам. Разработчики их сервисов деплоят по кнопке из телеграм-бота или Web UI, пользуются автосгенерированными дашбордами, просматривают логи сервисов в Grafana и анализируют трейсы. В платформе доступны canary- и branch-деплои и запуск периодических задач. Процесс подготовки сервиса к запуску — это написание карты сервиса и манифеста деплоя, что занимает минимум времени. И все это — без вовлечения в процесс службы эксплуатации.

▶️Смотреть запись доклада в VK Видео

Продуктивного просмотра 😎

#записьдокладаHL
@HighLoadChannel

Как минимизировать ущерб и восстановить работу системы проекта, который внезапно столкнулся с нагрузкой в 20 000 RPS в самый ответственный момент? Какие сложности и преимущества внедрения Service Mesh с Istio? Как эффективно управлять многотенантными кластерами Kubernetes? И как поддерживать высокую доступность автоматизированных HR-процессов?

Кейсы с ответами на эти вопросы и практические рекомендации ждут вас в следующих докладах из секции «Эксплуатация систем» 🔄

1) История трансформации: Как мы не справились с 20 000+ RPS и что из этого вынесли. Лев Немировский (ПСБ)

Когда нужно было сделать вчера, вендоры, отсутствие метрик, автотестов и централизированных логов. Что может пойти не так? Да всё! Тут точно будет весело!

2) Опыт эксплуатации Service Mesh в Авито. Игорь Балюк (Авито)

Уникальная возможность узнать о многолетнем опыте эксплуатации Service Mesh в большой компании и ее эволюции с учетом запросов и требований времени.

3) Многотенантный kubernetes. Выжимаем максимум. Александр Качмашев (Точка)

Все знают, как сделать выделенный кубернетес на команду. Но это порождает множество кластеров. Сделать по-настоящему многотенантный или коммунальный кластер сложно. Очень много моментов, которые нужно учесть. Александр поделится своими секретами мастерства для приготовления такого кластера.

4) Сжимаем ресурсы Java в контейнерах: 80% результата за 20% времени и без OOM. Денис Никулин (Сбер)

Отличный доклад, который расскажет, как правильно приготовить JAVA приложение для работы в среде kubernetes и при этом не обжечься. Будут советы, которые помогут сэкономить денег на инфраструктуре, причем значительно, за счет правильной оптимизации java машины и оптимального выбора requests/limits.

Присоединяйтесь к нам 2 и 3 декабря в Москве на самую масштабную тусовку разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Посмотреть программу конференции и купить билет можно на сайте

Сегодня знакомим вас с докладами из секции «DevOps-практики и культура», на которых эксперты: развеют мифы о PowerShell7, поделятся опытом адаптации PHP-приложений под Kubernetes и расскажут, как оптимизировать облачные расходы. Вы также узнаете о важности инженерной культуры и получите советы по управлению инцидентами в распределённых системах. Не пропустите 🖐

1) Когда Powershell лучше, чем Ansible? Рецепты приготовления на 1000+ серверов. Михаил Соколов (ГНИВЦ)

На нынешний день есть несколько мифов об использовании PowerShell7 в индустрии. Очень хочется их разрушить и взять на заметку советы и паттерны для Configuration Management при условии, когда Ansible уже может не справляться или его использование затруднено

2) Теперь готовлю только так: как мы затащили новостные сайты на Drupal 8 в Kubernetes. Алексей Демьянов (Флант)

Автор расскажет историю одного php приложения, которое было адаптировано под kubernetes. Из этого доклада слушатели поймут, что это не так сложно сделать, как говорится «глаза боятся — руки делают». Узнают, какие подводные камни могут ожидать на этом пути, и благодаря докладу избегут их.

3) FinOps: Optimize для K8s. Илья Кочнев (Lamoda Tech)

Облако съело годовой бюджет проекта за неделю? Илья объяснит, что самое неоптимальное — это виртуальные машины, которые недогружены. В частности, узлы K8s. Спикер расскажет, каким образом сохранить деньги без потери эффективности работы приложения.

4) Инженерная культура на масштабе: Как развивать и оценивать практики! Евгений Харченко (Райффайзен Банк)

В докладе затрагиваются вопросы, связанные с внедрением, развитием и оценкой инженерной культуры, процессов и практик в больших технологических и enterprise компаниях.

5) Дизастер нерекавери, или Как на очередных учениях по отказоустойчивости у нас сломались PostgreSQL-кластеры. Артем Федоров (ИВИ)

Каждый любит истории падений. Кто тестирует на проде, тот знает им цену. Вероятно, многие, кто имел дело с распределёнными базами данных, встречался с проблемами Split Brain или перевыборами. Как обезопасить себя во время падений дата-центра, что делать во время и после инцидента — всё здесь!

Присоединяйтесь к нам 2 и 3 декабря в Москве на HighLoad++ 2024 🖐

✅ Программа конференции и билеты на сайте