🔥 Оптимизация ресурсов для инференса LLM без лишних сложностей

Если хотите не только обучить LLM, но и приручить ее (а выходные для этого само то 😂), мы поможем подобрать инфраструктуру.

Список полезных ресурсов помжет разобраться в настройке, тестировании и оптимизации больших языковых моделей:

⚪️ Модели и их документация

• Карточка модели Qwen2.5-32B-Instruct-AWQ на Hugging Face — содержит описание модели, параметры и инструкции по использованию.
• Документация по квантованию: GGUF, AWQ и GPTQ — полезно для понимания методов оптимизации памяти.

⚪️ Оценка и расчёт ресурсов

• Статья NVIDIA, как оценить требования к VRAM при выборе GPU для инференса.
• Онлайн-калькулятор VRAM LLM Calc — удобный инструмент для расчёта необходимой памяти в зависимости от параметров модели и квантования.

⚪️ Фреймворки для инференса

• Ollama — простой инструмент для локального инференса LLM.
• SGLang — фреймворк для ускорения инференса, с открытым кодом.
• VLLM — высокопроизводительный фреймворк для серверного инференса.
• Документация по настройке VLLM Engine Args — подробное описание параметров для оптимизации работы VLLM.

⚪️ Инструменты нагрузочного тестирования

Универсальные инструменты: Locust, k6, Gatling, Apache JMeter, Яндекс.Танк — подходят для тестирования производительности бэкендов.

⚪️ Инструменты NVIDIA для инференса:

• Perf Analyzer — утилита для анализа производительности инференса.
• Gen AI Perf — специализированный инструмент для LLM.
• Режимы Gen AI Perf: Analyze и Sessions — помогают анализировать производительность в различных сценариях.

⚪️ Бэкенды Triton для LLM

• VLLM Backend — интеграция VLLM с Triton Inference Server.
• TensorRT LLM Backend — бэкенд для ускорения инференса с использованием TensorRT.
• Triton CLI — упрощает импорт конфигураций и запуск инференса на Triton.

⚪️ Бенчмарки и сравнения

• TensorRT LLM Performance Overview — бенчмарки производительности TensorRT LLM от NVIDIA.
• Статья BentoML — сравнение различных бэкендов для инференса LLM.

Эта подборка охватывает все этапы работы с LLM: от выбора модели до тестирования производительности.

Пользуйтесь и делитесь с коллегами 🫡

@DevOpsKaz 😛

📣 Приходите на большую облачную конференцию в Алматы

29 мая пройдет VK Cloud Nomad Fest — конференция про облачные технологии, работу с данными, построение карьеры в ИТ, развитие личного бренда. Вы узнаете про сервисы для работы с ИТ-инфраструктурой, коммуникациями и финансами.

Вас ждут 15 докладов от технических специалистов, ИТ-директоров и карьерных экспертов. А еще, панельные дискуссии и общение с новыми коллегами из сферы ИТ.

В программе:

⚪️ Катастрофоустойчивость инфраструктуры
⚪️ Работа с КВОИКИ в облаке
⚪️ Практическое применение AI в бизнесе
⚪️ Истории запуска стартапов с грантом VK Cloud
⚪️ Создание продукта с нуля — сессия QazCloud

В первой части будет активный обмен опытом и практика применения актуальных технологий. Во второй — активный отдых, неформальное общение, консультации от архитекторов и HR, барбекю на открытом огне, живая музыка и DJ-сет.

👉 Зарегистрируйтесь, чтобы узнать подробнее

#партнерский_пост

@DevOpsKaz 😛

🔥 GitHub пишет код для защиты кода — и активно использует CodeQL

Этот пост для вас, если хотите интегрировать CodeQL в CI/CD, улучшить безопасность кода без лишних затрат времени и защитить продукт от уязвимостей ещё на этапе разработки.

⚪️ В чем суть:

GitHub интегрировал CodeQL в свою платформу, чтобы автоматически сканировать код на наличие уязвимостей. Это особенно полезно для крупных проектов, где вручную проверять код слишком долго и дорого.

CodeQL поддерживает Java, Python, C++ и другие — и умеет выявлять типичные проблемы вроде SQL-инъекций, XSS-атак и других угроз.

⚪️ Как работает:

CodeQL создаёт базу данных из кода проекта, а затем применяет к ней запросы, которые ищут подозрительные паттерны. Например, он может найти места, где данные пользователя напрямую попадают в SQL-запрос без проверки. GitHub использует это в фиче Code Scanning, которая доступна в репозиториях и помогает сразу видеть проблемы.

Также CodeQL позволяет писать кастомные запросы, чтобы искать специфические уязвимости, которые важны для конкретного проекта.

👉 Узнайте больше, как GitHub применяет это на своей платформе

@DevOpsKaz 😛

📣 Подайте заявку на Pentest award 2025 и выиграйте призы

Новая яркая лампочка в гирлянде рынка кибербезопасности — компетентных специалистов, которые остаются за кадром большой работы по поиску уязвимостей.

Участие все еще бесплатное, а прием заявок продлится до 30 июня.

⚪️ Главный приз — Macbook и стеклянная именная статуэтка
⚪️ 2-3 место — призеры получат iPhone и смарт-часы.
⚪️ OFFZONE подарит финалистам билеты на свою конференцию 2025, а учебный центр CyberEd гранты на обучение.

Ну и конечно, самая ценная награда за участие — почет и уважение сообщества этичных хакеров.

👉 Отправляйте заявки на сайте, участвуйте и побеждайте!

#партнерский_пост

@DevOpsKaz 😛

🔥 Образовательный дайджест на май

Где можно прокачаться в IT в последний месяц весны? Рассказываем:

🔵 Успехи студентов курса DevOps Upgrade

Участники курса справились с самым сложным. За 6 месяцев они освоили CI/CD, глубоко погрузились в Kubernetes и узнали многое другое — и теперь готовы к следующему шагу. Осталось пройти финальное тестирование

DevOps Upgrade — это курс с высокой нагрузкой и большими результатами. Для IT-специалистов, которые хотят прокачать hard skills, повысить свою стоимость на рынке труда и построить карьеру подготовленного DevOps-инженера.

🔵 Вебинар «Траблшутинг K8s: инструменты и лайфхаки для разработчиков» — 14 мая в 21:00 (Алматы)

◼️ вспомним kubectl;
◼️ посмотрим сайдкар контейнеры и узнаем, зачем их использовать;
◼️ разберёмся с сетевыми проблемами;
◼️ научимся использовать strace для сложных случаев.

👉 Занять место

🔵 Курс «Kubernetes: База» — cтарт 12 мая

Получите фундамент навыков по работе с системой автоматизации развёртывания, масштабирования и управления приложениями в контейнерах.

👉 Какой подход вы используете, чтобы работать с долгоживущими сессиями от пользователей? Разбираем долгоживущие подключения в k8s в гайде.

🔵 Курс «Golang-разработчик» — старт 19 мая

Научитесь создавать реальные проекты, используя актуальные подходы разработки на Go и соберёте полноценный сервис для портфолио.

👉 Чек-лист готовности приложения на Golang, чтобы вы могли заранее оценить риски и убедиться, что ваше приложение готово к запуску в прод

🔵 Курс «Архитектура приложений» — старт 26 мая

Научитесь смотреть на систему, как архитектор и анализировать её; проектировать ПО, учитывая изменчивость ИТ-систем; рефакторить код и многое другое.

Бесплатный roadmap для развития архитектурного мышления поможет:

◼️ пересмотреть выбранные архитектурные решения;
◼️ понимать, как работают архитекторы, дополнять и корректировать их работу;
◼️ двигаться дальше по карьерному треку технического специалиста.

👉 Забрать roadmap

🔵 Курс «Kubernetes для разработчиков» — старт 26 мая

Научим правильно разрабатывать приложение под k8s и запускать его в кластере, смотреть логи, собирать метрики, писать Helm-чарты, CI/CD, дебажить приложения в кубе.

🔵 DevSecOps Bootcamp: безопасность без отрыва от продакшена — старт 7 июня

Для компаний, в которых безопасность — не просто compliance. DevSecOps позволяет предотвратить риски, внедрив безопасность на всех этапах разработки.

За 4 дня и неделю практики команда научится встраивать безопасность в процессы — от кода до CI/CD — чтобы ускорить релизы и снизить риски. Экспертиза двух лидеров рынка: Kaspersky + Positive Technologies.

🔵 DevOpsDays Tashkent 2025 — уже 24 мая

Покупайте билет и участвуйте в DevOpsDays Tashkent, чтобы набраться опыта и завести полезные связи.

@DevOpsKaz 😛

🔥 Как упростить работу с PostgreSQL в Kubernetes. Разбираем PGO от Crunchy Data

Если вы управляете базами данных в Kubernetes, то знаете, сколько времени уходит на настройку, мониторинг и обновления. В статье на Medium автор подробно рассказывает про PGO (Postgres Operator) от Crunchy Data — инструмент, который автоматизирует работу с PostgreSQL.

👉 Читать статью полностью и узнать, чем лучше Zalando Operator.

⚪️ Что такое PGO

Это оператор Kubernetes, который берёт на себя рутину: от развертывания PostgreSQL-кластеров до настройки высокой доступности (HA) и резервного копирования. Работает с Patroni, чтобы кластеры оставались на плаву даже при сбоях.

⚪️Чем поможет нам

— Автоматизация: разворачивайте кластеры, настраивайте реплики и бэкапы (pgbackrest) без ручной работы.
— Оптимизация: можно сделать мощный Primary и лёгкие реплики, чтобы не тратить лишние ресурсы.
— Мониторинг: встроенный pgmonitor (лучше postgres_exporter) даёт видимость состояния кластера. Интеграция с Grafana также доступна.
— Безопасность: контейнеры без root, суперпользователь ограничен — меньше рисков утечек данных.
— GitOps: PGO дружит с Helm и Kustomize.

❗️ Обновление мажорных версий PostgreSQL сложное — нужно использовать CRD и перезапускать кластер. Поэтому планируйте заранее.

PGO — отличный выбор, если нужна надёжная PostgreSQL в Kubernetes с минимумом ручного труда. Особенно для e-commerce или финтеха, где важны HA и отказоустойчивость.

@DevOpsKaz 😛

👀 No-as-a-Service (NaaS) — забавный API, который выдаёт случайные причины для отказа

NaaS предлагает креативные или реалистичные поводы сказать «нет» — будь то для шутки, симуляции отказа или даже интеграции в проекты.

Случайный текст отказа выбирается из базы с более чем 1000 универсальных причин — от серьёзных («Я занят, у меня дедлайн») до абсурдных («Я занят, у меня встреча с диваном, и он не принимает отказов»).

Как работает:

⚪️ API написан на Node.js. Вся база причин хранится в файле reasons.json
⚪️ После GET-запроса на /no API возвращает JSON с одной случайной причиной
⚪️ Есть лимит в 120 запросов в минуту на IP, чтобы избежать перегрузки (библиотека express-rate-limit)
⚪️ API можно встроить в чат-ботов или системы автоматизации, чтобы генерировать отказы в реальном времени
⚪️Проект под лицензией MIT, можно свободно использовать и модифицировать

Теперь вам точно есть, чем заняться в выходные 😜😂 Пробуйте и делитесь с коллегами 🫡

@DevOpsKaz 😛

👀 Что происходит с инструментами мониторинга: Keep и Grafana OnCall

Недавно стало известно, что компания Elastic приобрела агрегатор событий из систем мониторинга Keep. За этим определенно стоит что-то большое, чем простое поглощение. Интересно, как Elastic интегрирует этот инструмент в свои продукты?

На этом фоне предлагаем вспомнить про Grafana OnCall, который славился красивыми алертами в Slack и других мессенджерах. Его OSS-версию закрыли, сделав платной частью коммерческих продуктов Grafana. Сам проект Grafana OnCall OSS переходит в режим только для чтения и обслуживания. Полное архивирование запланировано на 24 марта 2026 года. Код останется открытым под лицензией AGPLv3, но новых функций ждать не стоит — только критические исправления и патчи безопасности.

И теперь судьба Keep вызывает вопросы: не повторит ли он путь OnCall, став платным внутри экосистемы Elastic?

Похоже, крупные игроки вроде Elastic и Grafana всё чаще монетизируют свои проекты, закрывая или ограничивая бесплатные OSS-версии. Keep, возможно, ждёт аналогичный путь — от бесплатного агрегатора к платной интеграции в Elastic Stack. Это тренд: компании усиливают коммерческие продукты, жертвуя открытой частью.

Нам остаётся наблюдать, тестировать и адаптироваться. А что думаете вы? Делитесь в комментариях! 👇

@DevOpsKaz 😛

🔥 Программа стримов beetech conf 31 мая в Алматы

beetech conf — это ежегодная IT-конференция для всех, кто двигает IT и технологии вперёд.

В этом году QazCode, Beeline Казахстан и DAR Tech подготовили насыщенную программу:

⚪️ Актуальные темы в сферах IT и AI
⚪️ Спикеры из казахстанских и международных компаний
⚪️ Квартирники, практические воркшопы и консультации с экспертами

Стрим AI & Beyond

⚪️ Елдан Абдрашим, Apple. AI/ML в Big Tech: архитектура, лучшие практики и реальные фейлы
⚪️ Абылайхан Турласов, Zencoder. LLM Антипсихотики или Guideddecoding
⚪️ Осип Чин-Го-Пин, Yandex Qazaqstan. Яндекс.Поиск. Антифрод. Роботы

Стрим General

⚪️ Олжас Каиржанов, Kolesa Group. ML в монетизации: как сделать платные услуги эффективными, чтобы их покупали
⚪️ Алексей Шаравар, СЕО QazCode. Как мы перешли от внутренней
разработки к экспорту казахстанского кода
⚪️ Антон Зотин, Orhanizational Coach, Trainer, Facilitator agilesm.com Delivery Hero (Mercedes-Benz, Raiffeisen Bank, Roche, Semrush). Нафига придумали Agile?

И многие другие эксперты.

👉 Посмотреть программу и купить билеты

❗️ Билетов всё меньше. Успейте купить

#партнерский_пост

👀 Отчёт об инциденте: сбой Spotify

Судя по вашим реакциям, вам понравились постмортемы инцидентов. Публикуем новый — на этот раз от Spotify.

16 апреля 2025 года в Spotify произошёл масштабный сбой, затронувший пользователей по всему миру. Команда сервиса рассказывает, что произошло и какие меры предприняли, чтобы избежать подобных ситуаций в будущем.

Далее со слов команды Spotify:

«Мы используем Envoy Proxy для периметровых сетевых систем. Периметр — это первый уровень ПО, который принимает трафик и распределяет его по другим сервисам. Для этого мы используем облачные регионы.

Чтобы расширить возможности Envoy, мы создаем кастомные фильтры. Например, фильтр для ограничения скорости (rate limiting).

В день инцидента мы изменили порядок применения фильтров Envoy. Это изменение посчитали низкорисковым, поэтому применили его сразу везде. Однако случился баг в одном из фильтров, что привело к аварийному завершению работы Envoy. Этот краш затронул все экземпляры Envoy одновременно.

Мгновенный перезапуск экземпляров Envoy и повторные попытки на стороне клиентских приложений создали всплеск нагрузки на периметр.

Этот внезапный рост трафика указал на ошибку в конфигурации: максимальный heap size Envoy был установлен выше допустимого лимита памяти в Kubernetes. Из-за этого новые экземпляры Envoy при запуске получали огромный объём трафика, превышали лимит памяти Kubernetes, и Kubernetes автоматически их отключал. Этот цикл повторялся.

Для устранения сбоя мы увеличили общую ёмкость периметровых серверов, что позволило снизить потребление памяти Envoy ниже лимитов Kubernetes и остановить бесконечный цикл перезапусков.

Вот что мы делаем для улучшения наших систем и предотвращения подобных инцидентов:

— Исправили баг, из-за которого Envoy аварийно завершал работу.
— Устранили несоответствие между размером кучи Envoy и лимитами памяти Kubernetes.
— Улучшим процесс внедрения изменений конфигурации на периметре.
— Усовершенствуем мониторинг, чтобы быстрее обнаруживать подобные проблемы»

Что думаете, коллеги? 🤔

@DevOpsKaz 😛

🔥 Новости мира DevOps и не только

⚪️ Вышла новая версия Grafana 12 с крутыми обновлениями:

— Наблюдаемость как код: версионируйте и автоматизируйте дашборды с помощью новых инструментов и шаблонов.
— Динамические дашборды: упрощённая навигация с вкладками и условным отображением панелей.
— Улучшенные таблицы: обработка 40 000+ строк с ростом производительности CPU на 97,8% благодаря react-data-grid.
— SQL-выражения: объединяйте данные из Loki, MySQL, PostgreSQL и других источников.
— Grafana Alerting: упрощён импорт правил оповещений из Prometheus и Loki.
— Drilldown в GA: переход между дашбордами стал стабильной функцией.

⚪️ OpenReports: стандарт отчётов для Kubernetes

Kubernetes Policy Working Group представила проект OpenReports — единый стандарт для отчётов операторов (Trivy, Kyverno и др.). Новый API Reference решает проблемы централизованной видимости, анализа и автоматизации аудита.

⚪️ Finflow: AI для бизнеса в Казахстане

Казахстанский стартап Finflow помогает малому и среднему бизнесу управлять финансами. AI заменяет бухгалтера, строит прогнозы и бюджеты. Проект уже привлёк $80 000 инвестиций при выручке $35 000.

@DevOpsKaz 😛

🔥 Решение для 99% любых бизнес-микросервисов в Kubernetes

По умолчанию контейнеры в Kubernetes наследуют определённый набор возможностей (capabilities) — кучу привилегий словно с root-доступом.

Это называется Default Capabilities, и вот что в них есть:

— Разрешить менять владельцев файлов (cap_chown).
— Игнорировать права доступа к файлам (cap_dac_override).
— Привязываться к портам (<1024, cap_net_bind_service).
— И даже писать в журнал ядра (cap_audit_write) или создавать файлы (cap_mknod)

Всего — 14 привилегий, которые могут выйти боком.

Чтобы избежать рисков, добавьте в настройки workloads:

securityContext:
  capabilities:
    drop:
    - ALL

Это выключает все лишние привилегии.

С инфраструктурными сервисами принцип тот же — давайте как можно меньше привилегий.

@DevOpsKaz 😛