Forwarded from DevOps&SRE Library
Forwarded from DevOps FM
В прошлом мы уже обсуждали зомби-ресурсы в облаке, теперь пришло время зомби-процессов — и не где-нибудь, а внутри Docker-контейнера с Go-приложением.
Савас Вендова делится кейсом, в котором его сервер стабильно падал с ошибкой
Redis Pub/Sub
из-за проблем с утечкой памяти. Причиной были зомби: дочерние процессы Node.js не завершались корректно даже после os.Process.Kill()
в Go. А поскольку приложение запускалось как PID 1 внутри Docker, оно не собирало съедающие ресурсы зомби-процессы.Проблему решили с помощью Tini — init-решения для контейнеров. Оно перехватывает SIGCHLD и корректно завершает все процессы. Подробный разбор кейса с примерами читаем здесь.
Желаем всем, кто отдыхает, хороших выходных, а тем, кто дежурит — спокойных смен без серьёзных алертов и зомби!
#devops #docker #go #zombieprocesses
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Мониторим ИТ
Migrating to ClickStack from Elastic
В этом руководстве описан подход к миграции с Elastic Stack на ClickStack. Фокус сделан на стратегии параллельной работы, которая минимизирует риск, используя сильные стороны ClickHouse в рабочих нагрузках наблюдаемости. Документация ClickHouse.
В этом руководстве описан подход к миграции с Elastic Stack на ClickStack. Фокус сделан на стратегии параллельной работы, которая минимизирует риск, используя сильные стороны ClickHouse в рабочих нагрузках наблюдаемости. Документация ClickHouse.
Forwarded from DevOps Deflope News
Новое исследование Google: 65 % времени разработчиков тратится впустую без платформенного подхода
Google и ESG опросили 500 ИТ-специалистов. Коротко о главном в исследовании состояния платформенной инженерии:
• 65 % времени разработчиков уходит на задачи, которые может решать внутренняя платформа
• 55 % компаний уже поддерживают внедрение platform engineering
• Только 27 % полноценно интегрировали платформенный подход во все команды
• 84 % компаний признают, что внутренней экспертизы не хватает для эффективного развития платформ
Разработчики продолжают тратить бо́льшую часть времени не на продукт, а на инфраструктуру. Platform engineering — ответ на эту историю.
Именно здесь DevOps-команды играют ключевую роль, превращают разрозненные процессы в работающую платформу и интегрируют её в максимальное количество команд.
Google и ESG опросили 500 ИТ-специалистов. Коротко о главном в исследовании состояния платформенной инженерии:
• 65 % времени разработчиков уходит на задачи, которые может решать внутренняя платформа
• 55 % компаний уже поддерживают внедрение platform engineering
• Только 27 % полноценно интегрировали платформенный подход во все команды
• 84 % компаний признают, что внутренней экспертизы не хватает для эффективного развития платформ
Разработчики продолжают тратить бо́льшую часть времени не на продукт, а на инфраструктуру. Platform engineering — ответ на эту историю.
Именно здесь DevOps-команды играют ключевую роль, превращают разрозненные процессы в работающую платформу и интегрируют её в максимальное количество команд.
The New Stack
Google Study: 65% of Developer Time Wasted Without Platforms
New research reveals how platform engineering can unlock 65% of wasted developer time, with AI integration becoming critical for business success.
👎10
Forwarded from DevOps
🛠️ Awesome DevOps MCP Servers
MCP (Model Context Protocol) — открытый протокол, который позволяет AI-моделям безопасно взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверы. В этом списке собраны лучшие MCP-серверы для DevOps-задач:
• Инфраструктура как код (IaC)
– Terraform:
– Pulumi:
• Управление Kubernetes
–
–
–
• Облачные провайдеры
– AWS:
– Alibaba Cloud:
• Управление проектами и тикетами
– Freshdesk:
– Jira:
– Topdesk:
…и многое другое: CI/CD, сервисы мониторинга, управление версиями и безопасность.
🔗 Изучайте и расширяйте:
https://github.com/rohitg00/awesome-devops-mcp-servers
MCP (Model Context Protocol) — открытый протокол, который позволяет AI-моделям безопасно взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверы. В этом списке собраны лучшие MCP-серверы для DevOps-задач:
• Инфраструктура как код (IaC)
– Terraform:
dulltz/mcp-server-hcp-terraform
, jashkahar/Terraform-MCP-Server
, nwiizo/tfmcp
– Pulumi:
pulumi/mcp-server
• Управление Kubernetes
–
rohitg00/kubectl-mcp-server
— natural language доступ к kubectl
, helm
, istioctl
в безопасном Docker –
manusa/kubernetes-mcp-server
— поддержка CRUD для любых ресурсов и OpenShift –
portainer/portainer-mcp
— управление контейнерами и мониторинг через Portainer • Облачные провайдеры
– AWS:
awslabs/mcp
(официальный), alexei-led/aws-mcp-server
– Alibaba Cloud:
aliyun/alibaba-cloud-ops-mcp-server
• Управление проектами и тикетами
– Freshdesk:
effytech/freshdesk-mcp
– Jira:
nguyenvanduocit/jira-mcp
– Topdesk:
dbsanfte/topdesk-mcp
…и многое другое: CI/CD, сервисы мониторинга, управление версиями и безопасность.
🔗 Изучайте и расширяйте:
https://github.com/rohitg00/awesome-devops-mcp-servers
👎5👍3
Forwarded from DevOps Deflope News
«С вами подкаст DevOps Дефлопе»
После перерыва разогреваемся на теме AI. В эфире — Никита Борзых и Виталий Хабаров, да не одни, а с новыми ведущими.
Ребята расскажут, как ИИ помогает искать ошибки в конфигах и YAML’ах, разбираться с нагрузкой на API-сервер Kubernetes и чинить кластер OpenStack. А ещё порассуждают, какие задачи компании смогут отдать машинам и на какие ИИ-инструменты стоит посмотреть DevOps-инженерам.
Слушайте на удобной площадке
или на нашем YouTube
После перерыва разогреваемся на теме AI. В эфире — Никита Борзых и Виталий Хабаров, да не одни, а с новыми ведущими.
Ребята расскажут, как ИИ помогает искать ошибки в конфигах и YAML’ах, разбираться с нагрузкой на API-сервер Kubernetes и чинить кластер OpenStack. А ещё порассуждают, какие задачи компании смогут отдать машинам и на какие ИИ-инструменты стоит посмотреть DevOps-инженерам.
Слушайте на удобной площадке
или на нашем YouTube
Forwarded from Yandex Cloud
Звонки и эскалации в Yandex Monitoring теперь в общем доступе ➡️
В декабре прошлого года мы анонсировали новую функциональность в Мониторинге — звонки и эскалации. Она позволяет настраивать последовательные уведомления при срабатывании алёрта, в том числе со звонком на телефон. Так вы или ваша команда не пропустите важное уведомление.
Чтобы включить функцию, больше не нужно писать в поддержку. Ищите новый функционал во вкладке «Политика эскалаций» в Yandex Monitoring🔍
📖 Смотрите обзор и читайте подробности в документации.
Ставьте☁️ , если планируете тестировать звонки и эскалации
В декабре прошлого года мы анонсировали новую функциональность в Мониторинге — звонки и эскалации. Она позволяет настраивать последовательные уведомления при срабатывании алёрта, в том числе со звонком на телефон. Так вы или ваша команда не пропустите важное уведомление.
Чтобы включить функцию, больше не нужно писать в поддержку. Ищите новый функционал во вкладке «Политика эскалаций» в Yandex Monitoring
Ставьте
Please open Telegram to view this post
VIEW IN TELEGRAM
👎8👍2🔥1
Forwarded from DevOps FM
Не каждый работает с инфраструктурой, где чувствительные данные разбросаны между десятками микросервисов, облаками и кодовой базой. Тем интереснее узнать, как такие системы устроены и как в них обеспечивают безопасность.
В Uber рассказали, как они создали централизованную платформу управлением секретами, которая изменила их подход к защите распределённых систем. Они объединили более 25 разрозненных хранилищ в отказоустойчивую систему на базе Vault, автоматизировали 20 000 ротаций в месяц и сократили дистрибуцию секретов на 90%. А ещё — разработали собственный протокол для обмена с внешними сервисами и движутся к модели secretless благодаря SPIRE.
О том, как это удалось реализовать — в статье.
#devops #security #infrastructure
Please open Telegram to view this post
VIEW IN TELEGRAM
Облако ITENTIS CLOUD: технологии топов, цена без наценки (и живая поддержка!)
Нашли брендовую вещь в надежном маркете на 30% дешевле? Вот и мы так же. 😉
ITENTIS CLOUD — не "бюджетный" вариант. Это ВСЕ те же технологии, что у Яндекса, Mail или VK (VPC, Kubernetes, S3, снимки, автомасштабирование), но...
🔥 ...ЗНАЧИТЕЛЬНО ДЕШЕВЛЕ! 🔥
Зачем платить за бренд? Получите то же самое (а кое-что лучше) и сэкономьте. Не верите? Сравните тарифы! Надежные дата-центры Tier III, как у всех.
И главное — наша поддержка. Вот где мы их РЕАЛЬНО обходим:
💩 У них: очереди, боты, ответ "в течение 24 часов".
😍 У нас: живой, компетентный специалист 24/7. Не бот! Настоящий человек, который РАЗБЕРЕТСЯ. Ответ за минуты. Сложный Kubernetes? Объясним и поможем. Это наш стандарт.
Что вы получаете за меньшие деньги:
1. Та же "начинка": все ключевые технологии (VPC, Kubernetes, S3 и т.д.) — как у топов.
2. Надежность: Tier III, 2FA, шифрование, брандмауэры.
3. Скорость: запуск кластера быстрее доставки пиццы.
4. Простой контроль: интуитивное управление.
5. ГЛАВНОЕ: цена, от которой улыбнетесь + поддержка, которая реально спасает.
"А подвох?" Да нигде!
14 дней БЕСПЛАТНО: Протестируйте всё.
БЕСПЛАТНАЯ миграция: Перенесем ваши проекты без простоев.
Гарантия возврата: Риск — ноль.
‼️ Понравится? Расскажите друзьям! Реферальная программа: за каждого клиента — бонус или скидка. Без мишуры.
Итог: ITENTIS CLOUD = Технологии топов + Честная цена + Человеческая поддержка 24/7.
Хватит переплачивать и ждать ответа! Получите максимум.
👉 Действуйте выгодно:
1. Сравните тарифы: https://itentis.cloud
2. Пишите:
🤖 Telegram-бот: @itentis_bot (Фраза: "Хочу облако дешевле Яндекса!")
✉️ Почта: [email protected]
4. Следите за обновлениями в @itentis
Мощное облако. Честная цена. Люди на связи.
Нашли брендовую вещь в надежном маркете на 30% дешевле? Вот и мы так же. 😉
ITENTIS CLOUD — не "бюджетный" вариант. Это ВСЕ те же технологии, что у Яндекса, Mail или VK (VPC, Kubernetes, S3, снимки, автомасштабирование), но...
🔥 ...ЗНАЧИТЕЛЬНО ДЕШЕВЛЕ! 🔥
Зачем платить за бренд? Получите то же самое (а кое-что лучше) и сэкономьте. Не верите? Сравните тарифы! Надежные дата-центры Tier III, как у всех.
И главное — наша поддержка. Вот где мы их РЕАЛЬНО обходим:
💩 У них: очереди, боты, ответ "в течение 24 часов".
😍 У нас: живой, компетентный специалист 24/7. Не бот! Настоящий человек, который РАЗБЕРЕТСЯ. Ответ за минуты. Сложный Kubernetes? Объясним и поможем. Это наш стандарт.
Что вы получаете за меньшие деньги:
1. Та же "начинка": все ключевые технологии (VPC, Kubernetes, S3 и т.д.) — как у топов.
2. Надежность: Tier III, 2FA, шифрование, брандмауэры.
3. Скорость: запуск кластера быстрее доставки пиццы.
4. Простой контроль: интуитивное управление.
5. ГЛАВНОЕ: цена, от которой улыбнетесь + поддержка, которая реально спасает.
"А подвох?" Да нигде!
14 дней БЕСПЛАТНО: Протестируйте всё.
БЕСПЛАТНАЯ миграция: Перенесем ваши проекты без простоев.
Гарантия возврата: Риск — ноль.
‼️ Понравится? Расскажите друзьям! Реферальная программа: за каждого клиента — бонус или скидка. Без мишуры.
Итог: ITENTIS CLOUD = Технологии топов + Честная цена + Человеческая поддержка 24/7.
Хватит переплачивать и ждать ответа! Получите максимум.
👉 Действуйте выгодно:
1. Сравните тарифы: https://itentis.cloud
2. Пишите:
🤖 Telegram-бот: @itentis_bot (Фраза: "Хочу облако дешевле Яндекса!")
✉️ Почта: [email protected]
3. Скажите: "Читал пост про ЭКОНОМИЮ в облаке!" 🚀 (Получите бонус!)4. Следите за обновлениями в @itentis
Мощное облако. Честная цена. Люди на связи.
👎5
Forwarded from DevOps Deflope News
Нашли интересный проект — BLAFS — инструмент для «обезжиривания» Docker-контейнеров, который может сократить их размер на 65-95%.
Основная идея простая. Большинство контейнеров содержат кучу файлов, которые никогда не используются. BLAFS отслеживает, какие файлы реально нужны приложению во время работы, и удаляет всё остальное.
Процесс из трёх этапов: конвертация файловой системы в формат BLAFS, профилирование с реальными нагрузками и финальное удаление неиспользуемых файлов.
Интересно, что подход работает на уровне файловой системы и сохраняет слоистую структуру Docker-образов. Это отличается от других решений вроде SlimToolkit.
Пробовали ли вы инструменты для оптимизации размера контейнеров? Какие результаты получали?
Основная идея простая. Большинство контейнеров содержат кучу файлов, которые никогда не используются. BLAFS отслеживает, какие файлы реально нужны приложению во время работы, и удаляет всё остальное.
Процесс из трёх этапов: конвертация файловой системы в формат BLAFS, профилирование с реальными нагрузками и финальное удаление неиспользуемых файлов.
Интересно, что подход работает на уровне файловой системы и сохраняет слоистую структуру Docker-образов. Это отличается от других решений вроде SlimToolkit.
Пробовали ли вы инструменты для оптимизации размера контейнеров? Какие результаты получали?
GitHub
GitHub - negativa-ai/BLAFS: A tool for Container Debloating that removes bloat and improves performance.
A tool for Container Debloating that removes bloat and improves performance. - negativa-ai/BLAFS
This media is not supported in your browser
VIEW IN TELEGRAM
#мероприятия #штурвал
Регистрируйтесь на K8s Community Day — главную сходку сообщества 😋
31 июля в Москве состоится первая независимая конфа Kubernetes Community Day для открытого сообщества профессионалов по куберу и тех, кто только начинает.
Что ждет участников?
◽️ Два пространства с хардкорными докладами, дискуссиями и воркшопами, интерактивы и IT StandUp.
◽️ Живое общение с комьюнити в уютной атмосфере — без HR-стендов и дорогих билетов.
◽️ Выступления от крутых экспертов из Yandex Cloud, еcom.tеch, VK, Luntry, «Лаборатории Числитель», Lamoda Tech, МКБ, Rebrain, Cloud ru и др.
◽️ Честные истории про кейсы, факапы и «боли».
Формат: офлайн и онлайн.
🤝 Участие бесплатное. Регистрация уже открыта!
Информационные партнеры: Computerra, ICT Online, Cybermedia, Global Digital Space, AM Live, ict2go.
Регистрируйтесь на K8s Community Day — главную сходку сообщества 😋
31 июля в Москве состоится первая независимая конфа Kubernetes Community Day для открытого сообщества профессионалов по куберу и тех, кто только начинает.
Что ждет участников?
◽️ Два пространства с хардкорными докладами, дискуссиями и воркшопами, интерактивы и IT StandUp.
◽️ Живое общение с комьюнити в уютной атмосфере — без HR-стендов и дорогих билетов.
◽️ Выступления от крутых экспертов из Yandex Cloud, еcom.tеch, VK, Luntry, «Лаборатории Числитель», Lamoda Tech, МКБ, Rebrain, Cloud ru и др.
◽️ Честные истории про кейсы, факапы и «боли».
Формат: офлайн и онлайн.
🤝 Участие бесплатное. Регистрация уже открыта!
Информационные партнеры: Computerra, ICT Online, Cybermedia, Global Digital Space, AM Live, ict2go.
👎3❤2👍1🔥1
Forwarded from Мониторим ИТ
KubeShark: Wireshark for Kubernetes
Wireshark — известный инструмент для захвата пакетов, анализа и устранения неполадок. TCPDump/Wireshark дает возможность визуализировать и понимать, что происходит в сети. Представьте, если бы что-то подобное было возможно в K8s, если бы вы могли видеть, что именно происходит при развертывании кластера, получении подов, создании учетной записи службы и как различные процессы взаимодействуют друг с другом и т. д.
Чтобы увидеть, что именно происходит при запуске команды kubectl, можно просто использовать флаг verbose, например, kubectl get pods -v=6. Уровень вербализации начинается с 0 и заканчивается на 9, где 0 — это минимум, а 9 — максимум вербализации.
Kubectl с флагом -v позволяет видеть вызовы API L7, но не позволяет отслеживать сетевой трафик. Kubeshark захватывает L3 и L7, фактически у него есть доступ ко всему пакету L2. А еще он включает дашборд для визуализации примерно того же самого, как и в Wireshark.
Статья с описанием kubeshark (❗️статья на medium.com)
Репыч на Гитхабе
Wireshark — известный инструмент для захвата пакетов, анализа и устранения неполадок. TCPDump/Wireshark дает возможность визуализировать и понимать, что происходит в сети. Представьте, если бы что-то подобное было возможно в K8s, если бы вы могли видеть, что именно происходит при развертывании кластера, получении подов, создании учетной записи службы и как различные процессы взаимодействуют друг с другом и т. д.
Чтобы увидеть, что именно происходит при запуске команды kubectl, можно просто использовать флаг verbose, например, kubectl get pods -v=6. Уровень вербализации начинается с 0 и заканчивается на 9, где 0 — это минимум, а 9 — максимум вербализации.
Kubectl с флагом -v позволяет видеть вызовы API L7, но не позволяет отслеживать сетевой трафик. Kubeshark захватывает L3 и L7, фактически у него есть доступ ко всему пакету L2. А еще он включает дашборд для визуализации примерно того же самого, как и в Wireshark.
Статья с описанием kubeshark (❗️статья на medium.com)
Репыч на Гитхабе
👍2
Forwarded from DevOps&SRE Library
Why Every Platform Engineer Should Care About Kubernetes Operators
https://www.pulumi.com/blog/why-every-platform-engineer-should-care-about-kubernetes-operators
https://www.pulumi.com/blog/why-every-platform-engineer-should-care-about-kubernetes-operators
Forwarded from /usr/bin
Несколько интересных утилит Linux, которые могут заменить те, что вы используете каждый день
🚀 Забытые планировщики
или
🚀 Запуск служб «на лету» с
🚀 Автоматическая оптимизация производительности с
🚀 Защита от удаления с
🚀 Забытые планировщики
at
и batch
, с которыми не нужно редактировать файлы как с cron
.echo "shutdown -h now" | at 11:00 PM
или
echo "updatedb" | batch
🚀 Запуск служб «на лету» с
systemd-run
. Подходит для тестирования служб или планирования задач по обслуживанию с полной поддержкой systemd. Запуск без создания файла службы:systemd-run --unit=backup-job tar -czf /backup/home.tar.gz /home
🚀 Автоматическая оптимизация производительности с
tuned
. Динамически регулирует параметры системы в зависимости от типа рабочей нагрузки (виртуализация, пропускная способность, задержка и т. д.). Предварительно изучите принцип работы утилиты.dnf install tuned
tuned-adm profile throughput-performance
🚀 Защита от удаления с
chattr
. Даже root не сможет удалить или изменить файл пока не удалить неизменяемый бит.chattr +i /etc/passwd
👍7
Forwarded from /usr/bin
kpatch
kpatch — это утилита для исправления ядра Linux, которая позволяет патчить работающее ядро без перезагрузки или перезапуска каких-либо процессов. Она позволяет системным администраторам немедленно применять критические исправления безопасности к ядру, не дожидаясь завершения длительных задач, выхода пользователей из системы или запланированных окон перезагрузки.
Репыч на Гитхабе
kpatch — это утилита для исправления ядра Linux, которая позволяет патчить работающее ядро без перезагрузки или перезапуска каких-либо процессов. Она позволяет системным администраторам немедленно применять критические исправления безопасности к ядру, не дожидаясь завершения длительных задач, выхода пользователей из системы или запланированных окон перезагрузки.
Репыч на Гитхабе
👍4
Forwarded from Мониторим ИТ
Как мы написали поверх Sentry кастомную систему профилирования приложения на проде
В этой статье автор рассказывает что можно сделать, если пользователи постоянно жалуются, что приложение тормозит, а вы не знаете, почему. Читать на Хабре.
В этой статье автор рассказывает что можно сделать, если пользователи постоянно жалуются, что приложение тормозит, а вы не знаете, почему. Читать на Хабре.
👎5👍2
Forwarded from DevOps
📚 DevOps Knowledge Hub — универсальная база знаний для инженеров. Этот GitHub-репозиторий собрал в себе всё необходимое для освоения DevOps: от основ Docker и Kubernetes до продвинутых инструментов вроде ArgoCD и Terraform. Автор структурировал материалы по категориям, включив не только теорию, но и практические примеры — compose-файлы, манифесты, bash-скрипты и даже готовые сценарии для GitHub Actions.
Репозиторий дублируется на отдельном сайте (devops.pradumnasaraf.dev), где информация представлена в более удобном для чтения формате. Такой подход превращает проект в живую документацию, которая будет полезна как новичкам, так и опытным специалистам для быстрого освежения знаний.
🤖 GitHub
@devopsitsec
Репозиторий дублируется на отдельном сайте (devops.pradumnasaraf.dev), где информация представлена в более удобном для чтения формате. Такой подход превращает проект в живую документацию, которая будет полезна как новичкам, так и опытным специалистам для быстрого освежения знаний.
🤖 GitHub
@devopsitsec
👍1
Forwarded from /usr/bin
Как работает DNS в Linux. Часть 2: все уровни DNS-кэширования
В первой части было разобрано, как в Linux работает процесс разрешения имен — от вызова getaddrinfo() до получения IP-адреса. Однако если бы каждый вызов требовал нового DNS-запроса, это было бы неэффективно и сильно нагружало как систему, так и сеть. Поэтому используется кэширование.
Кэширование DNS может быть везде — в glibc, в systemd-resolved, в браузерах и даже в приложениях на Go. Кэш помогает увеличить скорость работы, но создает дополнительные сложности при отладке. Например: вы меняете DNS-запись, но сервер продолжает ходить по старому IP-адресу. Или, Dig показывает правильный адрес, а curl всё равно подключается к устаревшему.
В этой статье разобраны различные уровни кэшей самой системы, приложений и языков программирования, контейнеров, прокси. А также их мониторинг и сброс.
В первой части было разобрано, как в Linux работает процесс разрешения имен — от вызова getaddrinfo() до получения IP-адреса. Однако если бы каждый вызов требовал нового DNS-запроса, это было бы неэффективно и сильно нагружало как систему, так и сеть. Поэтому используется кэширование.
Кэширование DNS может быть везде — в glibc, в systemd-resolved, в браузерах и даже в приложениях на Go. Кэш помогает увеличить скорость работы, но создает дополнительные сложности при отладке. Например: вы меняете DNS-запись, но сервер продолжает ходить по старому IP-адресу. Или, Dig показывает правильный адрес, а curl всё равно подключается к устаревшему.
В этой статье разобраны различные уровни кэшей самой системы, приложений и языков программирования, контейнеров, прокси. А также их мониторинг и сброс.
Forwarded from GitHub Open Sauce
golangci/golangci-lint
Быстрый запускатель линтеров для Go
#golang
https://github.com/golangci/golangci-lint
Быстрый запускатель линтеров для Go
#golang
https://github.com/golangci/golangci-lint
Forwarded from Sysadmin Tools 🇺🇦
Preq
https://github.com/prequel-dev/preq
#monitoring #reliability #sre
preq is the community-driven problem detector for Common Reliability Enumerations (CREs)
https://github.com/prequel-dev/preq
#monitoring #reliability #sre