К нам пришёл пользователь с DSL-конфигом, желающий выполнить задачу на удалённом кластере Hadoop. Из конфига мы сформировали spark-submit команду, которая отправляет наш mlp-entrypoint скрипт в кластер Hadoop в подготовленном zip-архиве. Сам скрипт мы положили рядом с conda pack архивами пользователей.

⚠️ Но что-то пошло не так.

Привет, это Денис Ваньков, руководитель группы «ML платформа».
На поддержке у моей команды есть два продукта.
✅ Python-пакет, который избавляет DS-разработчиков от ручного формирования spark-submit команды и даёт полезные инструменты внутри Spark-приложения.
✅ Веб-интерфейс, который изолирует от пользователя настройки и интеграции с кластером Hadoop, берёт на себя ответственность за отправку задач в кластер и предоставляет UI для мониторинга состояния задачи.

Давайте представим ситуацию: наш Python-сервис едет на Python 3.8 и к нам приходит пользователь с conda pack и зависимостями, собранными под Python 3.10 и обратно несовместимыми с нашим Python-пакетом.

Как мы пофиксили эту проблему, смотрите в карточках ⬆️

#ozontech_experts #python

Присылайте в комментарии фотографии причин вашей неровной осанки 💚

Сделали наши CI/CD-процессы безопаснее: внедрили Open Policy Agent (OPA) и продумали для него Rego-правила. Docker при этом остаётся гибким, а мы избегаем множества потенциальных угроз.

Привет, на связи команда безопасности Платформы и её тимлид Владимир Букин. О том, как мы внедряли, поддерживаем и улучшаем наш плагин авторизации для Docker socket, я написал статью ⬅️

Залетайте, чтобы вдохновиться и понять, как создать необходимый уровень защиты ваших CI/CD.

#ozontech_habr #cybersec #cicd