Media is too big
VIEW IN TELEGRAM
💥 Друзья, Saint HighLoad++ 2024 завершилась!
⠀
Мы благодарим каждого из вас за участие: кто был на площадке, в онлайн, спикеров и партнёров! Эти два дня были очень насыщенные и мы надеемся, что для вас они прошли плодотворно и интересно. Будем рады вашей обратной связи 💚
⠀
До встречи на HighLoad++ 2024 🙌
⠀
Мы благодарим каждого из вас за участие: кто был на площадке, в онлайн, спикеров и партнёров! Эти два дня были очень насыщенные и мы надеемся, что для вас они прошли плодотворно и интересно. Будем рады вашей обратной связи 💚
⠀
До встречи на HighLoad++ 2024 🙌
❤35🔥11🎉2
Как бороться с типовыми причинами отказа? Для начала их нужно обнаружить.
Рассмотрим элементы инженерной практики, которые обеспечивают высокую доступность системы и оперативное расследование инцидентов. Коснёмся памяти, разберём базу данных, поговорим про ТСР-соединения. Посмотрим, как разрабатывают, эксплуатируют и отлаживают высоконагруженные системы в Газпромбанке.
Константин Козловский из Газпромбанк.Тех расскажет про проблемы backend разработки на Java и Kotlin.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/823498/
Рассмотрим элементы инженерной практики, которые обеспечивают высокую доступность системы и оперативное расследование инцидентов. Коснёмся памяти, разберём базу данных, поговорим про ТСР-соединения. Посмотрим, как разрабатывают, эксплуатируют и отлаживают высоконагруженные системы в Газпромбанке.
Константин Козловский из Газпромбанк.Тех расскажет про проблемы backend разработки на Java и Kotlin.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/823498/
Хабр
Точки отказа в HighLoad-системах
Как бороться с типовыми причинами отказа? А самое главное — как их обнаружить? Рассмотрим лучшие элементы инженерной практики, обеспечивающие высокую доступность системы и оперативное расследование...
💯1
Дорогие участники конференции Saint HighLoad++ 2024☀️
Мы заметили, что из-за переноса доклада Ольги Зайковой на другой день, некоторые из вас, кто хотел прийти, всё же не смогли посмотреть. В связи с этим, чтобы вы не расстраивались, мы делимся с вами записью доклада уже сейчас 🙌
Мы заметили, что из-за переноса доклада Ольги Зайковой на другой день, некоторые из вас, кто хотел прийти, всё же не смогли посмотреть. В связи с этим, чтобы вы не расстраивались, мы делимся с вами записью доклада уже сейчас 🙌
YouTube
Как реклама Яндекса генерирует GPT-нейросетями заголовки для 3 миллиардов объявлений / Ольга Зайкова
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
Профессиональная конференция разработчиков высоконагруженных систем Saint…
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
Профессиональная конференция разработчиков высоконагруженных систем Saint…
❤11🔥4🥰4
Что делать, если pprof показывает, что оптимизировать больше нечего, но необходимо выжать из кода еще пару процентов скорости?
Старший программист-разработчик в отделе высоконагруженных систем и оптимизации ВКонтакте Никита Галушко расскажет про small-size объекты и интерфейс и пару трюков со стеком. О влиянии Bounds Check Elimination на производительность и оптимальной конвертации стрингов. Конечно, сложно — но очень интересно!
Подробности в статье: https://habr.com/ru/companies/vk/articles/824484/
Старший программист-разработчик в отделе высоконагруженных систем и оптимизации ВКонтакте Никита Галушко расскажет про small-size объекты и интерфейс и пару трюков со стеком. О влиянии Bounds Check Elimination на производительность и оптимальной конвертации стрингов. Конечно, сложно — но очень интересно!
Подробности в статье: https://habr.com/ru/companies/vk/articles/824484/
Хабр
Выжимаем из Go максимум производительности
Разработчики, которые используют Go, сталкиваются с задачей выжать максимальную производительность из каждой строки кода. Но что делать, если оптимизировать уже нечего, а увеличивать скорость всё...
Давайте посмотрим, может ли опенсорсный продукт от Яндекса YDB Topics конкурировать с Apache Kafka по производительности.
Руководитель группы Александр Зевайкин расскажет о том, какие архитектурные и низкоуровневые правки были внесены, и как это помогло подтянуть производительность до уровня аналогов.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/824826/
Руководитель группы Александр Зевайкин расскажет о том, какие архитектурные и низкоуровневые правки были внесены, и как это помогло подтянуть производительность до уровня аналогов.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/824826/
Хабр
Как мы повышали производительность очереди сообщений
Работа в Яндексе ставит огромное количество технических вызовов, которые интересно решать. И один из них — это производительность основной очереди сообщений YDB Topics . Посмотрим,...
А есть ещё что-то кроме ChatGPT? А можно всё посмотреть?
ML-ликбез по большим языковым моделям — Ирина Николаева Raft расскажет про классический MLops и его принципы. О том, как развернуть LLM: с обзором способов, лицензий и требований к железу. О квантизации и файн тьюнинге, векторных базах данных и LangChain. И, естественно, о том а всегда ли нужны LLM.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/821389/
ML-ликбез по большим языковым моделям — Ирина Николаева Raft расскажет про классический MLops и его принципы. О том, как развернуть LLM: с обзором способов, лицензий и требований к железу. О квантизации и файн тьюнинге, векторных базах данных и LangChain. И, естественно, о том а всегда ли нужны LLM.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/821389/
Хабр
LLMops: что есть, кроме ChatGPT и как это развернуть
Привет, Хабр! Меня зовут Ирина Николаева и я — руководитель R’n’D отдела машинного обучения в компании Raft Digital Solution. Я внедряла различные ML-модели: от анализа временных рядов и Computer...
🔥5
Роман Нестеров сопровождает и развивает отраслевую систему электронного документооборота в «Гринатом» ИТ-интеграторе «Росатома».
Он расскажет как попал в сферу атомной энергетики, чем работа в ней отличается от привычной айтишки. Какой у них стек, график работы и правила. Поделится своими кейсами и планами на будущее. Всем что нужно для того чтобы понять зачем идти в эту сферу, что она даёт и чем драйвит.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/826672/
Он расскажет как попал в сферу атомной энергетики, чем работа в ней отличается от привычной айтишки. Какой у них стек, график работы и правила. Поделится своими кейсами и планами на будущее. Всем что нужно для того чтобы понять зачем идти в эту сферу, что она даёт и чем драйвит.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/826672/
👍1
📝 Друзья, у нас открыт приём докладов на HighLoad++ 2024, которая пройдёт 28 и 29 ноября в Москве
⠀
▪️Заявки принимаются до 15 августа
Нам интересны тематики, которые охватывают всё, что актуально для специалистов, работающих или планирующих работать с системами высоких нагрузок и реального времени, крупных и сложных проектов, а именно:
▫️Архитектура
▫️Базы данных и системы хранения
▫️Безопасность
▫️Трек PHP
▫️Platform Engineering
▫️DevOps-практики и культура
▫️Эксплуатация систем
▫️Аппаратное обеспечение
▫️Тестирование
▫️Производительность enterprise-систем
▫️Интернет вещей
▫️Edge Computing
▫️Технологии будущего
▫️Узкотематические секции
▫️BigData и инфраструктура машинного обучения (data engineering)
▫️Нейронные сети и искусственный интеллект (data science)
🎁 Для всех наших спикеров предусмотрены бонусы:
- Бесплатный билет на конференцию;
- Покрытие расходов на логистику (поезд, самолет или автобус);
- Проживание в комфортабельном отеле рядом с местом проведения конференции;
- Помощь в подготовке к выступлению.
⠀
✅ Узнать подробнее о темах и подать доклад можно на сайте
⠀
▪️Заявки принимаются до 15 августа
Нам интересны тематики, которые охватывают всё, что актуально для специалистов, работающих или планирующих работать с системами высоких нагрузок и реального времени, крупных и сложных проектов, а именно:
▫️Архитектура
▫️Базы данных и системы хранения
▫️Безопасность
▫️Трек PHP
▫️Platform Engineering
▫️DevOps-практики и культура
▫️Эксплуатация систем
▫️Аппаратное обеспечение
▫️Тестирование
▫️Производительность enterprise-систем
▫️Интернет вещей
▫️Edge Computing
▫️Технологии будущего
▫️Узкотематические секции
▫️BigData и инфраструктура машинного обучения (data engineering)
▫️Нейронные сети и искусственный интеллект (data science)
🎁 Для всех наших спикеров предусмотрены бонусы:
- Бесплатный билет на конференцию;
- Покрытие расходов на логистику (поезд, самолет или автобус);
- Проживание в комфортабельном отеле рядом с местом проведения конференции;
- Помощь в подготовке к выступлению.
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥4❤1
Дмитрий Малыхин, руководитель DevOps-направления крупного нефтяного предприятия, расскажет про стек и особенности IT в промышленности.
О том, что туда привлекает, что отпугивает, интригует и заставляет брать на себя ответственность. О мифах вокруг IT в промышленности и взаимном «опылении» интересов.
Подробности в свежей статье: https://habr.com/ru/companies/oleg-bunin/articles/827852/
О том, что туда привлекает, что отпугивает, интригует и заставляет брать на себя ответственность. О мифах вокруг IT в промышленности и взаимном «опылении» интересов.
Подробности в свежей статье: https://habr.com/ru/companies/oleg-bunin/articles/827852/
🔥2❤1👍1
Всем привет! На днях мы опубликуем статью с историей оптимизации сервиса на Python, а перед её выходом у нас есть к вам несколько вопросов 😉
1. Какой самый популярный формат описания данных в веб-разработке?
1. Какой самый популярный формат описания данных в веб-разработке?
Anonymous Quiz
81%
json
6%
xml
3%
protobuf
10%
html
👍3
2. Почему Python такой популярный?
Anonymous Quiz
3%
Программы на нём получаются супербыстрыми
51%
На нём легко и просто начать разрабатывать
46%
Уже есть огромное кол-во библиотек под любую задачу. Устанавливаешь нужную и твоя задача выполнена
😁43😱9
3. Какая основная область применения Python?
Anonymous Quiz
2%
Frontend
20%
Backend
40%
ML/DS
38%
Все три ответа верны
😁9😱1
У каждого эксперимента есть свой сегмент пользователей, определяющий, кто должен получить тестовый опыт.
У сервиса должно быть под сотню экспериментов, а значит под сотню сегментов. Но надо быть готовым на кратное увеличение сегментов. Значит, сервис без учёта сети и прочих инфраструктурных задержек должен отвечать быстрее.
Команда разработки экспериментов Okko про сплитование трафика, о небольших по сложности, но больших оптимизациях в коде, которые они сделали, чтобы разогнать платформу до скорости ракеты: https://habr.com/ru/companies/oleg-bunin/articles/828986/
У сервиса должно быть под сотню экспериментов, а значит под сотню сегментов. Но надо быть готовым на кратное увеличение сегментов. Значит, сервис без учёта сети и прочих инфраструктурных задержек должен отвечать быстрее.
Команда разработки экспериментов Okko про сплитование трафика, о небольших по сложности, но больших оптимизациях в коде, которые они сделали, чтобы разогнать платформу до скорости ракеты: https://habr.com/ru/companies/oleg-bunin/articles/828986/
Хабр
Как компилировать json или история оптимизации python сервиса
Привет, Хабр! В прошлой статье мы, команда разработки платформы для А/Б экспериментов в компании Okko, начали рассказывать историю создания одного из компонентов этой платформы— сервис сплитования...
👍4
Если в топе pprof вы видите GC — у вас серьезные проблемы и не особенно много средств для их решения. С выходом Go 1.20 арсенал слегка расширился: memory arenas выглядят многообещающе.
Тимлид в Т-Банке Максим Горозий расскажет о том, как ускорить ваш код на Go с помощью арен, зачем нужен «region-based memory management» и как оптимизировать код: https://habr.com/ru/companies/oleg-bunin/articles/828972/
Тимлид в Т-Банке Максим Горозий расскажет о том, как ускорить ваш код на Go с помощью арен, зачем нужен «region-based memory management» и как оптимизировать код: https://habr.com/ru/companies/oleg-bunin/articles/828972/
Хабр
Работа с аренами: почти избавляемся от GC
Меня зовут Максим Горозий. Я тимлид в Т-Банке, работаю над нашей образовательной платформой, которая служит для разных направлений бизнеса. В ИТ больше 10 лет и успел поработать в двух...
👍4🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Приглашаем на нашу новую и первую прикладную конференцию по Data Science
AiConf – мероприятие, которое нельзя пропустить Data Science и ML-инженерам.
🟡 Ключевые темы:
- Звук, речь, музыка.
- Компьютерное зрение, CV.
- Обработка естественного языка, NLP.
- Рекомендательные системы, поиск, рекламные системы.
- Automotive: беспилотники, роботы, робо-руки, складские и промышленные механизмы.
- Hardware, оптимизация моделей для экономии железа, в т.ч. оптимизация моделей для работы на маломощных устройства
- Задачи на табличных данных, AutoML, Predictive analytics.
- Разработка агентов, Reinforcement Learning, мультиагенты.
- Мультимодальный подход, Artificial General Intelligence.
- Академический трек: разработка новых архитектур и моделей.
Что ждёт участников:
- 2 насыщенных дня
- 60+ докладов, в каждом из которых решение конкретной задачи
- 700+ участников на площадке
🟡 и по традиции всех наших конференций:
- стенды с активностями от наших партнеров — крупных IT-компаний
- бесплатные полноценные обеды и разнообразные кофе-брейки в течение двух дней. Мы сделаем все, чтобы вы были сыты 😉
- много-много нетворкинга
- и, конечно, afterparty, где вы сможете пообщаться с единомышленниками в неформальной обстановке.
На площадке AiConf будут специальные зоны для деловых встреч. Лидеры индустрии выступят с докладами и ответят на ваши вопросы в дискуссионных зонах. Присоединяйтесь к нам 🙌
А чтобы быть в курсе всех новостей и анонсов, подписывайтесь на канал конференции
✅ Узнать подробнее о программе AiConf и купить билет можно на сайте
AiConf – мероприятие, которое нельзя пропустить Data Science и ML-инженерам.
- Звук, речь, музыка.
- Компьютерное зрение, CV.
- Обработка естественного языка, NLP.
- Рекомендательные системы, поиск, рекламные системы.
- Automotive: беспилотники, роботы, робо-руки, складские и промышленные механизмы.
- Hardware, оптимизация моделей для экономии железа, в т.ч. оптимизация моделей для работы на маломощных устройства
- Задачи на табличных данных, AutoML, Predictive analytics.
- Разработка агентов, Reinforcement Learning, мультиагенты.
- Мультимодальный подход, Artificial General Intelligence.
- Академический трек: разработка новых архитектур и моделей.
Что ждёт участников:
- 2 насыщенных дня
- 60+ докладов, в каждом из которых решение конкретной задачи
- 700+ участников на площадке
- стенды с активностями от наших партнеров — крупных IT-компаний
- бесплатные полноценные обеды и разнообразные кофе-брейки в течение двух дней. Мы сделаем все, чтобы вы были сыты 😉
- много-много нетворкинга
- и, конечно, afterparty, где вы сможете пообщаться с единомышленниками в неформальной обстановке.
На площадке AiConf будут специальные зоны для деловых встреч. Лидеры индустрии выступят с докладами и ответят на ваши вопросы в дискуссионных зонах. Присоединяйтесь к нам 🙌
А чтобы быть в курсе всех новостей и анонсов, подписывайтесь на канал конференции
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Алексей Шокуров управляет направлением Data Governance и Data Quality в цифровом СИБУРе, а начинал, как и многие, с админства в институте. По образованию он инженер разгонных блоков и космических аппаратов, и погружение в производство началось еще в институте. Его учили разрабатывать ракеты и спутники.
А дальше оказалось, что в России это крайне малооплачиваемая отрасль. В итоге хобби стало работой, но знания, полученные в ходе обучения, здорово помогают в текущих задачах.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/829168/
А дальше оказалось, что в России это крайне малооплачиваемая отрасль. В итоге хобби стало работой, но знания, полученные в ходе обучения, здорово помогают в текущих задачах.
Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/829168/
👍5🔥4❤1
Популярные распределенные SQL-движки, такие как Trino, Presto и Dremio, умеют выполнять SQL-запросы непосредственно к файлам в data lake. Это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище.
О том, как реализованы различные оптимизации SQL-движков для эффективной работы с data lake, расскажет руководитель компании Querify Labs Владимир Озеров: https://habr.com/ru/companies/oleg-bunin/articles/828836/
О том, как реализованы различные оптимизации SQL-движков для эффективной работы с data lake, расскажет руководитель компании Querify Labs Владимир Озеров: https://habr.com/ru/companies/oleg-bunin/articles/828836/
Хабр
Быстрая обработка данных в data lake с помощью SQL
Кому пришла в голову идея отправлять SQL запросы в data lake? Оказывается, это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения...