Всем привет!

Мы уже вовсю готовимся к HighLoad++ 2024, которая пройдёт 28 и 29 ноября в Москве 😎. И пока принимаем заявки на доклады и формируем программу, принесли вам свежую подборку записей докладов. Это доклады с зимней HighLoad++ 2023, которые набрали наибольшее количество голосов от участников конференции по содержанию и подаче. Посмотрите сами, поделитесь с коллегами 🖐️

1) Как мы управляем трафиком тысяч подов в мультикластерной среде Kubernetes. Максим Чудновский (СберТех)

Если у вас в компании больше, чем один Kubernetes-кластер и у вас есть необходимость, чтобы приложения в них общались между собой, то вы явно уже пришли к мультикластерной среде Kubernetes и проблемам, связанным с этим. Данный доклад покажет, как можно это строить и с чем придётся столкнуться.

2) Hadoop в Облаке: история миграции сотен петабайт. Михаил Марюфич (VK, Одноклассники)

Доклад про перенос большого Hadoop-кластера с bare metal в самописную оркестрацию One-cloud, разделение вычислений и хранения для улучшения эксплуатационных характеристик системы. Вы узнаете, как поддерживать такую огромную инсталляцию и как обеспечивать высокую производительность кластера.

3) zkSNARKs — криптографические пруфы для задач масштабирования и безопасности. Сергей Прилуцкий (MixBytes)

Одна из важнейших в криптографии сегодня технология zkSNARKs, на базе которой уже работают сервисы, обеспечивающие масштабируемость и privacy в децентрализованных сетях. Что под капотом, что можно на ней делать, как уже используется и какие проблемы являются ключевыми — об этом в докладе Сергея.

4) Как наши системы приобретают устойчивость, почему ошибки полезны. Сергей Реусин (СберМаркет)

Из доклада вы узнаете о том, как правильно работать с ошибками, но не просто услышите какие-то советы, а погрузитесь в тему анализа, работы с инцидентами и получения от них максимальной пользы на будущее. Полезно как начинающим, так и «бывалым» специалистам.

5) Как собрать контейнер и не вооружить хакера. Антон Жаболенко, Алексей Федулаев (Wildberries)

Доклад посвящен Living off the Land-атакам, которые представляют угрозу для контейнерных инфраструктур. Эти атаки используют легитимные утилиты для вредоносных действий, избегая обнаружения стандартными средствами детектирования. В докладе практические примеры таких атак и способы защиты от них.

Оставайтесь с нами, впереди ещё больше полезного и интересного контента 😉

#записьдокладаHL
@HighLoadChannel

Продолжаем цикл статей об оптимизации и улучшениях Python-кода платформы экспериментов в компании Okko.

В этот раз речь пойдёт об архитектурной организации работы сервиса, которая позволила минимизировать неявные действия. В детали нас погрузит Python-разработчик платформы экспериментов в Okko Артем Борисов.

Подробности в статье: https://habr.com/ru/companies/okko/articles/833424/

Принесли свежий выпуск подкаста от Антона Черноусова, члена Программного комитета HighLoad++

В этом выпуске обсудили CFP на HighLoad++ 2024. Затронули тему архитектуры и паттернов в этой сфере. Вспомнили ряд топовых докладов с Saint HighLoad++ 2024.

А еще не забыли упомянуть как Wiz сбежал от Google. Оттоптались на теме голубых экранов и компании CrowdStrike.  И вспомнили исследование State of DevOps 2024.

🎧 Слушать подкаст на Яндекс.Музыке

Инженерия устойчивости — достаточно новое направление, которое исследует, как сложные адаптивные системы справляются с неожиданностью. Особенно интересно узнать об этом направлении в области безопасности с точки зрения практики.

SRE Unit Lead Сергей Реусин расскажет про сообщество и экспертов, разберет основные принципы и подходы и поделится примерами внедрения в Купере.

Подробности в статье: https://habr.com/ru/companies/kuper/articles/831402/

Если вы хотите сделать публичное выступление на конференции, но все никак не решаетесь или не знаете как. Для всех небольшой, но ёмкий туториал о том, как придумать, приготовить и решиться на публичное выступление ⤵️

Опытный спикер IT-конференций Олег Федоткин поделится лайфхаками: https://habr.com/ru/companies/oleg-bunin/articles/835048/

Обучение огромной core-модели, построенной на архитектуре Transformer, может занимать очень много времени. Inference потребует большого количества памяти компьютера, поэтому перед разработчиками машинного обучения, особенно перед теми, кто оптимизирует работу моделей в продакшене, встаёт проблема оптимизации и ускорения.

ML Lead продукта в SberDevices Александр Абрамов расскажет, как при таких вводных обучать core-модели и какие хаки использовать для их облегчения и ускорения. Речь пойдёт о ML с позиции пайплайнов и продакшена виртуального ассистента Салют.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/834728/

Кунг-фу

Свежий выпуск подкаста от Антона Черноусова, члена ПК HighLoad++. Здесь вас ждут Java-новости, тема алгоритмов и собеседований.

А в конце выпуска обсудили CFP на HighLoad++ 2024 и не немного шутили на тему словесных трюков и других приемов речевой борьбы.

Напоминаем, что срок подачи докладов на зимнюю HighLoad++ 2024 истекает 15 августа. Если вы планируете стать спикером, но ещё не отправили заявку на доклад, пора поторопиться 😎


🎧 Слушать подкаст на Яндекс.Музыке

Когда говорят про А/В-тесты, чаще всего вспоминают параметрические или непараметрические критерии. Но статистические методы хоть и важная, но не единственная часть экспериментов.

Для контролируемых онлайн-экспериментов не менее важны сплитование трафика, удобное управление изменениями пользовательского опыта, обработка данных, дашборды и система мониторинга.

Если в вашей компании ещё нет собственной платформы экспериментов, как в онлайн-кинотеатре Okko, вам пригодится их опыт и результаты организации процесса экспериментов.

Команда развития платформы экспериментов поделится своими методами и подходами, чтобы вы смогли выбрать наиболее эффективный: https://habr.com/ru/companies/okko/articles/

До нейросетей задачи по классификации текста были сложными, ресурсоёмкими и дорогими. Сейчас подобные решения внедряются практически из коробки. Но потребность в классификации входящего текста для дальнейшей обработки продолжает увеличиваться и требует новых подходов и решений.

Архитектор ИИ-направления в компании Raft поделится своим опытом подобных проектов для чат-ботов. Сравнит три подхода к реализации классификатора: классический ML-классификатор, LLM-классификатор и библиотеку semantic-router. Поделится рекомендациями и стоимостью внедрения этих решений.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/835910/

Низкая производительность, как это часто бывает, становится причиной переезда хранилища. А уж насколько событие станет увлекательным и оставит по себе положительные впечатления, зависит не только от выбора самого хранилища, но и от процесса в целом.

Поговорим про методики переезда с PostgreSQL на ClickHouse. Какие грабли лучше сразу обходить подальше, а какие фишки помогут сохранить нервы и сделать всё по уму, расскажет Data Engineer Okko Пётр Гонин. В качестве спойлера — среднее время аналитического запроса после переезда снизилось с 1 минуты до 2 секунд.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/836078/