Llama Firewall или как проверить логику и безопасность вашего AI агента
#llama #ollama #llm #ai #аи #ллм #agent
AI-агенты перестали быть экспериментом — они уже читают ваши документы, пишут код
и выполняют команды в терминале. Но чем больше автономии мы им даем, тем актуальнее становится вопрос: а что если агент сделает не то, что нужно?
Llama Firewall — попытка решить эту дилемму через многослойную систему проверок. Ссылка на оригинальную статью
Поскольку использование моделек от Llama напрямую из HF- задача не всегда тривиальная, а именно их предлагается использовать в фреймворке, мы сделаем фокус на результатах, которые были получены во время создания фреймворка и посмотрим что он умеет.
По сути данная статья является небольшим анализом статьи по Llama Firewall.
🔗 Читать далее
🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK
#llama #ollama #llm #ai #аи #ллм #agent
AI-агенты перестали быть экспериментом — они уже читают ваши документы, пишут код
и выполняют команды в терминале. Но чем больше автономии мы им даем, тем актуальнее становится вопрос: а что если агент сделает не то, что нужно?
Llama Firewall — попытка решить эту дилемму через многослойную систему проверок. Ссылка на оригинальную статью
Поскольку использование моделек от Llama напрямую из HF- задача не всегда тривиальная, а именно их предлагается использовать в фреймворке, мы сделаем фокус на результатах, которые были получены во время создания фреймворка и посмотрим что он умеет.
По сути данная статья является небольшим анализом статьи по Llama Firewall.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from SecuriXy.kz
🔐 RCE уязвимость в MCP Inspector - не дайте LLM захватить вашу машину
Не секрет, что AI (LLM) сегодня активно внедряется в рабочие процессы компаний - для автоматизации задач, генерации кода, DevOps и не только. Но с быстрыми экспериментами часто приходит и большой риск.
🧠 Если вы интегрируете LLM (например, ChatGPT, Claude, Capilot и тп) с локальными инструментами через MCP-протокол, будьте крайне осторожны с отладочным веб-интерфейсом - MCP Inspector. Это веб-интерфейс, через который можно отправлять команды от имени LLM на исполнение в вашей системе: curl, python3, ls и т.д.
По умолчанию он работает на 127.0.0.1:6274 и требует токен. Но: некоторые забывают, что переменная
В таком случае любой, кто найдёт интерфейс - получает удалённое выполнение команд (RCE).
🎯 В скупе с например CVE-2025-49596 Auth Bypass и другими еще не открытыми злоумышленник может:
Выгрузить чувствительные файлы (/etc/passwd, .ssh/id_rsa, .env), установить майнер или бэкдор и пробросить обратную оболочку (reverse shell) и использовать машину как точку входа в инфраструктуру.
🛡️ Как защититься?
1. Никогда не отключайте авторизацию (`DANGEROUSLY_OMIT_AUTH=true`) - даже на локалхосте.
2. MCP Inspector должен быть доступен только локально, и только по мере необходимости.
3. Убедитесь, что порт 6274 не проброшен наружу (особенно при использовании Docker).
4. Изолируйте среду с интеграцией в DMZ без прямых доступов к основной инфраструктуре.
🧊 Мы все ходим по тонкому льду: инструменты вроде MCP развиваются стремительно, и не всегда проходят должную проверку безопасности. Учитывайте это - особенно при работе с LLM, которые могут исполнять произвольные команды внутри вашей системы.
Не секрет, что AI (LLM) сегодня активно внедряется в рабочие процессы компаний - для автоматизации задач, генерации кода, DevOps и не только. Но с быстрыми экспериментами часто приходит и большой риск.
🧠 Если вы интегрируете LLM (например, ChatGPT, Claude, Capilot и тп) с локальными инструментами через MCP-протокол, будьте крайне осторожны с отладочным веб-интерфейсом - MCP Inspector. Это веб-интерфейс, через который можно отправлять команды от имени LLM на исполнение в вашей системе: curl, python3, ls и т.д.
По умолчанию он работает на 127.0.0.1:6274 и требует токен. Но: некоторые забывают, что переменная
DANGEROUSLY_OMIT_AUTH=true
полностью отключает авторизацию, порты могут случайно оказаться проброшены наружу (через Docker, nginx, ngrok и др.);В таком случае любой, кто найдёт интерфейс - получает удалённое выполнение команд (RCE).
🎯 В скупе с например CVE-2025-49596 Auth Bypass и другими еще не открытыми злоумышленник может:
Выгрузить чувствительные файлы (/etc/passwd, .ssh/id_rsa, .env), установить майнер или бэкдор и пробросить обратную оболочку (reverse shell) и использовать машину как точку входа в инфраструктуру.
🛡️ Как защититься?
1. Никогда не отключайте авторизацию (`DANGEROUSLY_OMIT_AUTH=true`) - даже на локалхосте.
2. MCP Inspector должен быть доступен только локально, и только по мере необходимости.
3. Убедитесь, что порт 6274 не проброшен наружу (особенно при использовании Docker).
4. Изолируйте среду с интеграцией в DMZ без прямых доступов к основной инфраструктуре.
🧊 Мы все ходим по тонкому льду: инструменты вроде MCP развиваются стремительно, и не всегда проходят должную проверку безопасности. Учитывайте это - особенно при работе с LLM, которые могут исполнять произвольные команды внутри вашей системы.
Forwarded from Pentest Notes
🚨Обнаружены 4 Критические RCE уязвимости в модулях для CMS Bitrix стороннего разработчика "Сотбит".
Снова у нас небезопасная десериализация. Уязвимости плагинов связаны с недостаточной проверкой входных данных. Эксплуатация уязвимостей может позволить нарушителю, действующему удаленно, выполнить произвольный код. Эксплоит уже существует и активно используется. Разработчик рекомендует обновиться до последней версии или применить патч.
Список уязвимых плагинов:
⚫️ Сотбит: Оригами (решение удалено, версии 14.1.0 и старее)
⚫️ Сотбит: Расширенные отзывы (версии 1.4.1 и старее)
⚫️ Сотбит: Быстрая загрузка картинок в визуальном редакторе
⚫️ Сотбит: Мультирегиональность
⚫️ Сотбит: Парсер контента
Критичность - 8,8/10 CVSS 3.0
Идентификаторы BDU:
https://bdu.fstec.ru/vul/2025-06581
https://bdu.fstec.ru/vul/2025-06612
https://bdu.fstec.ru/vul/2025-06613
https://bdu.fstec.ru/vul/2025-06614
Расположение файлов решений "Сотбит" (по умолчанию):
/bitrix/components/sotbit*
/bitrix/modules/sotbit*
/bitrix/tools/sotbit*
/bitrix/wizards/sotbit*
/bitrix/gadgets/sotbit*
/bitrix/blocks/sotbit*
/local/components/sotbit*
/local/modules/sotbit*
/local/tools/sotbit*
/local/wizards/sotbit*
/local/gadgets/sotbit*
/local/blocks/sotbit*
Снова у нас небезопасная десериализация. Уязвимости плагинов связаны с недостаточной проверкой входных данных. Эксплуатация уязвимостей может позволить нарушителю, действующему удаленно, выполнить произвольный код. Эксплоит уже существует и активно используется. Разработчик рекомендует обновиться до последней версии или применить патч.
Список уязвимых плагинов:
Критичность - 8,8/10 CVSS 3.0
Идентификаторы BDU:
https://bdu.fstec.ru/vul/2025-06581
https://bdu.fstec.ru/vul/2025-06612
https://bdu.fstec.ru/vul/2025-06613
https://bdu.fstec.ru/vul/2025-06614
Расположение файлов решений "Сотбит" (по умолчанию):
/bitrix/components/sotbit*
/bitrix/modules/sotbit*
/bitrix/tools/sotbit*
/bitrix/wizards/sotbit*
/bitrix/gadgets/sotbit*
/bitrix/blocks/sotbit*
/local/components/sotbit*
/local/modules/sotbit*
/local/tools/sotbit*
/local/wizards/sotbit*
/local/gadgets/sotbit*
/local/blocks/sotbit*
Please open Telegram to view this post
VIEW IN TELEGRAM
Джейлбрейкаем чатботы: ChatGPT без фильтров
От меня: интересная статья про рабочие способы обхода цензуры у разных нейросетей и это всё ещё очень просто)
Сегодня мы копнём в одну из самых спорных и недооценённых тем в мире ИИ — джейлбрейки чатботов. То самое, что позволяет убрать встроенные тормоза и меньше читать “I'm sorry, I cannot help with that” и заставить чатбот говорить с вами как с взрослым человеком, а не как корпоративный душнила.
Мы разберёмся как и зачем вообще снимают ограничения с LLM, какие схемы до сих пор работают (спойлер: кое-что работает), и как модели пытаются защищаться. А так же обсудим, почему не каждый джейлбрейк это серая зона морали.
Что такое джейлбрейк нейросети
В нашем контексте jailbreak - это способ обмануть защитные ограничения (guardrails) модели или её обёртки, чтобы она выдавала нам ответы, которая по задумке разработчиков не должна.
По сути, это попытка вырваться из запрограммированных рамок поведения навязанных на уровне либо системного промпта, либо фильтрами платформы, либо архитектурными ограничениями (весов модели).
К слову, джейлбрейк бывает не только LLM, но и других генеративных ИИ (например, уговорить Midjourney нарисовать вам *морально сомнительный контент*).
🔗 Читать далее
🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK
От меня: интересная статья про рабочие способы обхода цензуры у разных нейросетей и это всё ещё очень просто)
Сегодня мы копнём в одну из самых спорных и недооценённых тем в мире ИИ — джейлбрейки чатботов. То самое, что позволяет убрать встроенные тормоза и меньше читать “I'm sorry, I cannot help with that” и заставить чатбот говорить с вами как с взрослым человеком, а не как корпоративный душнила.
Мы разберёмся как и зачем вообще снимают ограничения с LLM, какие схемы до сих пор работают (спойлер: кое-что работает), и как модели пытаются защищаться. А так же обсудим, почему не каждый джейлбрейк это серая зона морали.
Что такое джейлбрейк нейросети
В нашем контексте jailbreak - это способ обмануть защитные ограничения (guardrails) модели или её обёртки, чтобы она выдавала нам ответы, которая по задумке разработчиков не должна.
По сути, это попытка вырваться из запрограммированных рамок поведения навязанных на уровне либо системного промпта, либо фильтрами платформы, либо архитектурными ограничениями (весов модели).
К слову, джейлбрейк бывает не только LLM, но и других генеративных ИИ (например, уговорить Midjourney нарисовать вам *морально сомнительный контент*).
Please open Telegram to view this post
VIEW IN TELEGRAM
#заметка
Запуск gitlab runner в dind (docker in docker) режиме
МНЕ НАПИСАЛИ, ЧТО Я ДЕЛАЮ ЭТО НЕ СЕКУРНО. Поэтому ждите новую версию
0️⃣ Инициализация gitlab runner
Токен и url получаем в
1️⃣ Регистрация gitlab-runner (я не стандартным вариантом это делаю)
Копируем конфиг:
Вставляем конфиг в локальной файловой системе:
2️⃣ Применение настроек
3️⃣ Чекаем логи
Если видем строчки:
Значит всё ок.
4️⃣ Пробуем деплоить
🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK
Запуск gitlab runner в dind (docker in docker) режиме
МНЕ НАПИСАЛИ, ЧТО Я ДЕЛАЮ ЭТО НЕ СЕКУРНО. Поэтому ждите новую версию
sudo docker run -d --name gitlab-runner --restart always -v /srv/gitlab-runner/config:/etc/gitlab-runner -v /var/run/docker.sock:/var/run/docker.sock gitlab/gitlab-runner:latest
Токен и url получаем в
<repo> > Settings > CI/CD > Runners > Project Runners > New project runner
Копируем конфиг:
concurrent = 4
check_interval = 0
connection_max_age = "15m0s"
shutdown_timeout = 0
[session_server]
session_timeout = 1800
[[runners]]
name = "<runner_name>"
url = "https://<domain>"
id = 8
limit = 3
token = "glrt-<token>"
token_obtained_at = 2025-04-13T20:58:53Z
token_expires_at = 0001-01-01T00:00:00Z
executor = "docker"
[runners.cache]
MaxUploadedArchiveSize = 0
[runners.cache.s3]
[runners.cache.gcs]
[runners.cache.azure]
[runners.docker]
tls_verify = false
image = "docker"
privileged = true
disable_entrypoint_overwrite = false
oom_kill_disable = false
disable_cache = false
volumes = ["/cache", "/var/run/docker.sock:/var/run/docker.sock"]
shm_size = 0
network_mtu = 0
Вставляем конфиг в локальной файловой системе:
sudo nano /srv/gitlab-runner/config/config.toml
sudo docker restart gitlab-runner
sudo docker logs gitlab-runner
Если видем строчки:
Configuration loaded
Initializing executor providers
Значит всё ок.
Please open Telegram to view this post
VIEW IN TELEGRAM
Если что не агитирую, но если что вдруг, ссылка на чат в Мах ВОТ
Чатик сделан не для общения на данный момент, а для багхантинга. Велком тыкать)
20 человек уже зашло🕺
Чатик сделан не для общения на данный момент, а для багхантинга. Велком тыкать)
20 человек уже зашло
Please open Telegram to view this post
VIEW IN TELEGRAM
Скоро уже OFFZONE. Успели купить билеты или подать на доклад? Нет??
А еще я пошушукался с организаторами и они сказали, что особенно ждут доклады на следующие зоны: AI, community, appsec. Так что ждем ваши классные доклады!
Please open Telegram to view this post
VIEW IN TELEGRAM
Условия участия:
Важно: Раздача промокодов на подписку будет происходить не всем победителям в день розыгрыша, чтобы избежать спам-блока. Дальнейшие инструкции по получению подписок будут опубликованы в отдельном посте после оглашения победителей.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Alfa Digital
Самый первый ❤️
Коллеги из AppSec Альфа-Банка запускают свой митап, и первая встреча пройдёт уже 10 июля в 18:30 в Москве — в пространстве ExitLoft.
Покажем на реальных кейсах, чем живёт AppSec в Альфа-Банке, расскажем, зачем перешли на сервисную модель SSDLC, как развиваем MLSecOps и какие приёмы Offensive AppSec помогают нам находить уязвимости до того, как это сделают другие. А завершим всё афтепати с общением под открытым небом.
➡️ Если вам интересно, как устроена безопасность приложений изнутри, регистрируйтесь по ссылке!
#анонс #cybersec
➿ ➿ ➿ ➿ ➿ ➿
@alfadigital_jobs — канал о работе в IT и Digital в Альфа-Банке
Коллеги из AppSec Альфа-Банка запускают свой митап, и первая встреча пройдёт уже 10 июля в 18:30 в Москве — в пространстве ExitLoft.
Покажем на реальных кейсах, чем живёт AppSec в Альфа-Банке, расскажем, зачем перешли на сервисную модель SSDLC, как развиваем MLSecOps и какие приёмы Offensive AppSec помогают нам находить уязвимости до того, как это сделают другие. А завершим всё афтепати с общением под открытым небом.
#анонс #cybersec
@alfadigital_jobs — канал о работе в IT и Digital в Альфа-Банке
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM