Что делать, если вы небольшая команда безопасников и у вас есть десятки тысяч репозиториев на проверку?

Александр Мельников в своём докладе «Инвентаризируй это: строим автоматический DevSecOps для 40 тысяч репозиториев» расскажет про то, как они автоматически обходят репозитории, что складывают в базу, на что смотрят в репозиториях и как интегрируются с системой vulnerability management.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🙌

⚡️ Друзья, на HighLoad++ 2024 все офлайн-билеты проданы! Но у вас еще есть возможность присоединиться к нам онлайн.
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в Telegram-чате
- Доступ к трансляции для одного пользователя
⠀
✅ Купить онлайн-билет можно на сайте

* Ранее оформленные заявки доступны для оплаты⠀
Ждем вас в эфире 2 и 3 декабря 🙌

В докладе Игоря Игнатьева (VK) «Security Gate: платформа оркестрации SAST-сканирования своими руками» история-исследование процесса создания платформы безопасности на экстрабольших масштабах в компании.

Внутри будет много полезных инженерных решений и их анализ — от вопросов выбора хранилищ до того, «почему не Open Source».

Доклад будет особенно интересен инженерам по ИБ, а также их руководителям, размышляющим, стоит ли инвестировать время и силы в разработку собственной платформы, обеспечивающей покрытие кодовой базы инструментами SAST-анализа.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Четыре доклада из секции «Архитектура», которые будут особенно интересны:

- разработчикам, Data Driven-компаниям;
- разработчикам бэкенда, DevOps, MLOps, DS;
- разработчикам и архитекторам ПО, IT-менеджерам. Тем, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных;
- разработчикам, которые работают с крупными рекомендательными системами.

1) Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас. Данил Валгушев (Яндекс)

Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать всё это, когда у тебя в системе одновременно идёт тысяча экспериментов? Кто занимался, тот знает, насколько эти вопросы острые.

2) Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы. Александр Сидоров (Wildberries)

Высокий сезон в ретейле — это огромные пиковые нагрузки в первые минуты старта распродаж. Докладчик расскажет про архитектуру поиска Wildberries, которая отлично держит нагрузку, экономна по железу и дает хорошее качество поиска.

3) Машины состояний для товарных данных из YDB и очередей. Виталий Московкин (Яндекс Еда)

Обзор архитектуры системы, которая может пересчитывать состояние миллиардов объектов каждые несколько минут.

4) Как эволюционировала доставка данных для рекламного движка Яндекса: снижаем задержки от часов к минутам. Даниил Гавриловский (Яндекс)

На примере доставки данных в рекламный движок Яндекса вы узнаете, на каких принципах и технологиях строятся действительно большие проекты. Докладчик покажет, как использование специальных бинарных форматов данных помогает достигать высокой производительности на огромных размерах сложных данных.

До скорой встречи на HighLoad++ 2024 🙌

✅ Программа, расписание и онлайн-билеты на сайте

Как появилась технология WASM, какие задачи она пыталась решить изначально, и какие задачи перед ней стоят сейчас? Что такое YTsaurus и как он работает? Как устроен мир работы акций на Яндекс Маркете?

Ответы на эти вопросы вы найдёте в докладах:

1) WASM: цель, устройство, перспективы. Владимир Хомутов (ВебСервер)

Человек, столкнувшийся с WASM, впадает в ступор от своеобразия технологии и неожиданных архитектурных ходов. Это классический комитетский долгострой, а приложения нужны ещё вчера. Поэтому Владимир расскажет о том, как они «упаковали» WASM, чтобы разработчики могли эти приложения создавать.

2) Как проезжать миллион километров в YTsaurus. Владислав Долбилов (Яндекс Автономный транспорт)

Рассказ о многопоточной симуляции для обучения ML на основе акторов, которая хорошо утилизирует железо и GPU. В задаче есть множество подводных камней от детерминированности до кэширования, и спикер покажет, как YTsaurus можно использовать в качестве надежного фундамента для работы с данными.

3) Легко ли раздать больше миллиона скидок за два дня? Как мы строили архитектуру промоакций на Яндекс Маркете. Анна Кустарева (Яндекс Маркет)

Исследование производительности — процесс бесконечный и бесконечно сложный. Когда тебе надо свести разные аудитории в производительную систему, приходится проходить через череду компромиссов и архитектурных выборов. Доклад Анны — ретроспектива о том, как развивалась и будет развиваться архитектура акций.

Присоединяйтесь к нам онлайн 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции и расписание на сайте

Умение разрабатывать высоко-производительные и надежные системы — ключевой навык бэкендера в современных крупных проектах. Это сложно: чтобы попасть в хайлоад, надо иметь опыт в хайлоаде, а чтобы его получить, надо попасть в хайлоад. Замкнутый круг какой-то!

Одно из направлений R&D-центра Devhands.io как раз такое обучение – обучение с экспертами, обучение через исследования и практикум в специализированных облаках.

Мы приглашаем вас в деврум Devhands, чтобы обсудить с нашими экспертами вопросы разработки систем, выдерживающих 1 миллион запросов в секунду, новый проект Valkey и его отличия от Redis, использование кластерных технологий и многое другое.

Для тех, кто только знакомится с разработкой больших систем, мы проведем сессию, посвященную CAP-теореме и PACELC-классификации. Для CTO и HR/LND у нас заготовлен подробный рассказ о программах обучения, о возможностях образовательного облака и о бизнес-кейсах.

🔴2 декабря вас ждут доклады:

Кто сможет в 1M RPS? В забеге участвуют: Valkey, Redis, Memcached, PostgreSQL, MySQL ;) Алексей Рыбак (devhands.io), Алексей Копытов (MyDB)

Корпоративное обучение в области высоких нагрузок: подход devhands. Алексей Рыбак (devhands.io)

wrk2/wrkx: особенности использования, coordinated omission и способы компенсации. Алексей Рыбак (devhands.io)

В следующих постах расскажем о второй части докладов секции, не пропустите 🖐️

🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🔴Безопасность разработки
🔴Безопасность платформы
🔴Безопасность сети
🔴Безопасность организации
🔴Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

✅Узнать подробнее о Яндекс-треке на HighLoad++ 2024

Доклад Сергея Игнатова «Бесконечная война в памяти: ретроспектива методов защиты от бинарных угроз» — это прекрасная систематизация знания про методы защиты от бинарных угроз с выводами о том, как и почему так обстоят дела и что ждет в будущем.

Доклад будет полезен разработчикам, исследователям и инженерам по безопасности, стремящимся улучшить защиту своих систем от бинарных угроз.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅Программа Яндекс-трека

Чтобы узнать о специфике обработки данных электросетей и готовых решениях для бизнеса, а также о том, как улучшить стабильность и масштабируемость IoT-решений в бизнесе, приходите на доклады:

1) Проблема обработки временных рядов данных электросетей в крупных системах сбора и хранения информации. Сергей Юшманов (МТС Диджитал)

Доклад раскроет опыт разработки и внедрения инструмента анализа данных в системах учёта электроэнергии. Слушатели узнают об особенностях сбора и хранения информации о работе счётчиков, выявлении аномалий и фрода, а также о предоставлении аналитических данных энергокомпаниям.

2) Приручить «зоопарк»: как мы искали IT-подход к разнообразному парку самокатов. Андрей Калинин (МТС Юрент)

Сделать аренду самокатов — да что может пойти не так? Но если, с одной стороны, приходится лавировать между бизнесом и техническими возможностями IoT-устройств, задача становится сильно сложнее. В докладе погрузитесь в проблемы масштабирования TCP-соединений, MQTT, унификации без доработок и т. д.

🖐️ До скорой встречи на HighLoad++ 2024. Офлайн-билеты закончились, но вы ещё можете присоединиться к нам онлайн.

✅ Программа конференции, расписание и онлайн-билеты на сайте

DS- и ML-инженеры и все, кому интересна задача сбора и разметки больших данных для обучения и валидации нейронных сетей в эпоху LLM приходите на доклад «Искусственный vs естественный интеллект в задачах разметки»

В рамках доклада вместе с крутыми экспертами пройдемся по следующим темам:

- разметка в эпоху до LLM и сильных SOTA-решений;
- практические кейсы в домене CV: SAM для задач детекции и сегментации, VLM для кепшенинга изображений и видео;
- практические кейсы в домене NLP: SOTA-решения в задаче описания, суммаризации, рерайтинга больших пластов текста;
- практические кейсы в домене звука: транскрибация аудио, озвучка в режиме сингл- и мультиспикер. Кросс-модальная разметка для задач видео и аудио;
- появление LLM на арене: ускорение разметки, синергия человека и нейросетей;
- специализированная разметка: когда нейронные сети не справляются;
- синтетические данные и как очистить авгиевы конюшни;
- что делать, когда кончится Интернет?

Ждём встречи с вами 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции на сайте

Рассказываем про два доклада из секции «Тестирование», которые будут особенно интересны:

- разработчикам телекоммуникационного оборудования, тестировщикам программного и аппаратного обеспечения, разработчикам сетевых функций, инженерам по телекоммуникациям, специалистам по безопасности;

- разработчикам автоматизированного тестирования, которые думают над архитектурой моков на тестовом окружении в кластере кубернетеса или которые хотят увеличить производительность своего тестового окружения, используя Wiremock не только как инструмент мокирования, но и как инструмент динамического управления трафиком.

1) Система тестирования сервисов управления беспроводными корпоративными сетями. Александр Лошкарев (Eltex)

Глубокое исследование с самых полей о том, что сегодня происходит в индустрии. Рекомендуется слушателям, которые хотят узнать, как развивается сетевая тема, причем тут облака и как всё это тестировать.

2) Под капотом Wiremock: разгадка проблемы производительности. Сергей Гоголев (Яндекс Финтех)

Детективная история о том, как команда Яндекс Финтех справилась с линейным ростом памяти и низкой пропускной способностью Wiremock. Доклад про организацию крупного тестового стенда, зачем там, вообще, Wiremock и узкие места этой технологии, которые могут поджидать в реальных проектах.

До скорой встречи на HighLoad++ 2024 🖐️

✅ Расписание конференции на сайте

Павел Черемушкин в своём докладе «Как построен процесс фаззинга в Яндексе» расскажет о том, как в Яндексе автоматизируют поиск уязвимостей порчи памяти при помощи фаззинга в своих сервисах. Как используют ресурсы Яндекса для ускорения этого процесса, а также внутреннем устройстве платформы для координации фаззинга, какие неожиданные сложности решали в процессе ее создания.

Доклад будет интересен специалистам в области разработки и безопасности, которые занимаются анализом защищенности, построением цикла безопасной разработки или повышением стабильности своих продуктов.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅Программа Яндекс-трека на сайте

4 доклада из секции «Нейронные сети и искусственный интеллект (data science)», на которые нужно прийти, если хотите узнать:

- как нейронные сети трансформируют процессы разметки и повышают эффективность;
- как оптимизировать ML-процессы без затрат на подрядчиков и повысить прибыль компании;
- как оптимизация распределенного обучения увеличивает прибыль в рекламе;
- про Face Liveness и его роли в защите от идентификационного фрода.

🔄

1) Ускоряем разметку данных нейронками: пайплайн, метрики и лайфхаки. Дмитрий Антипов (Сбер / абт)

Если вам нужно что-то размечать, то вы наверняка задумаетесь, как прикрутить к этому процессу нейронки, чтобы меньше полагаться на кожаных мешков. А тут человек, который этот путь прошёл, скорее всего, раньше вас, расскажет, где на нём грабельки разложены. Здорово же!

2) Как мы сделали рекомендации, отказались от подрядчика и заработали денег. Данила Федюкин (X5 Digital)

Доклад посвящён решению классической проблемы выбора — заказывать разработку или делать самим. В процессе будет рассказано про то, как анализировать заказанное решение, планировать своё и про технологическую основу получившегося ML-решения в продакшне.

3) Микросервисы на InfiniBand: 800 Gbps в распределенном обучении рекомендательных нейросетей. Алексей Морозов (Яндекс)

Как эффективно организовать коммуникацию и синхронизацию данных между вычислительными узлами? Доклад о том, что ждет разработчика, который хочет выжать максимум как из отдельного хоста, так и из целого кластера на задачах машинного обучения.

4) Специализированные vs мультимодальные модели в Face Liveness: почему мы в VisionLabs выбрали универсальность. Олег Гринчук (VisionLabs)

Доклад про Face Liveness от VisionLabs. Уже используются в Московском транспорте и крупнейших банках. Вы узнаете о ключевые аспектах технологии, включая её отличия от детекции дипфейков. Пройдем полный цикл от сбора данных до полноценного внедрения в продукт!

До скорой встречи на HighLoad++ 2024!

✋ Если вы ещё не распланировали своё участие, то самое время это сделать, расписание на сайте

Какие есть подводные камни при работе с Open Source-продуктами и мифы про их использование? Как Timeweb Cloud применяет свой подход и масштабирует сетевые сервисы под бизнес-задачи клиентов? Как без простоя восстановиться после падения ЦОДа?

Ответы на эти вопросы вы найдёте в докладах 🔄

1) Как перестать бояться и полюбить Open Source. История создания одного продукта. Дмитрий Кудюкин (ITKey)

Комплексный взгляд на Open Source и его внедрения. Доклад затронет струны души как фанатов всего открытого, так и матёрых корпоратов, для которых слово Open Source ругательное.

2) Когда ваше маленькое облако перестало быть маленьким, или Как и почему мы тащим BGP на гипервизоры. Максим Яковлев (Timeweb Cloud)

Сети для многих выглядят как весьма статичные конструкции, конфигурируемые по надобности только при изменениях. Но в современном мире даже сети становятся всё более динамическими и требуют реконфигурации на лету. В этом докладе узнаем о популярном подходе к построению программных сетей в облаках.

3) Как (не)пережить падение ЦОДа. Николай Бутенко (VK, VK Tech)

Доклад поможет по-новому взглянуть на надежность вашего нынешнего ЦОД или того, куда вы только планируете ехать. Узнаете про аудит, который проводил VK Tech в ряде центров. Опыт докладчика и возможные проблемы в ДЦ приложите к вашим системам, честно ответите сами себе о том, затронут они вас или нет.

Ждём вас 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции и расписание на сайте