Больше года назад я писал о том что Hidden Layer сделали отчёт о ландшафте угроз для ИИ в 2024. Так вот, вышла 2025 edition.

Что мне сразу понравилось, так это буквально с первых страниц можно увидеть Threat Landscape timeline, в котором описаны публичные случаи реализации угроз(гиперссылка на некоторые ведёт на вики с чатботом тай)(но все случаи гуглятся без проблем).

Они также собрали статистику тревожности 😁😁:

75% компаний сообщили об увеличении числа атак на ИИ в 2024 году.
45% атак связаны с вредоносным ПО в моделях из публичных репозиториев (например, Hugging Face).
88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих сторон (например, ChatGPT, Microsoft Co-Pilot).

Дали прогноз на то что атак на агенты будет больше, дипфейков будет больше, стандартов будет больше ...

Как и в прошлом году - документ содержит большое количество действительно полезных ссылок на инструменты или исследования по теме. Если вы захотите изучить детально например риски связанные только с инфраструктурной частью - то тут можно порадоваться: есть много визуализаций и конечно же добавлены атаки на GPU.

Авторы также ставят серьёзной проблему рисков связанных с модальностью и использованием систем типа Claude Desktop или Operator ... которые могут быть отравлены при помощи промпт-инъекций.

PDF ниже.

Моделирование угроз для агентов.

Подходов для моделирования угроз в агентах существует не очень то и много. Кто-то пытается делать свои фреймворки, кто-то идёт через STRIDE.
Сегодняшние статьи уделяют большое внимание угрозам, которые зависят от входных данных или же от наличия ролей. Но есть ли какие-то подходы к автоматизации данного процесса для агентов ? Как можно за несколько минут получить понимание возможных рисков для существующей агентной системы или среды ? Особенно в период когда об агентах говорят вообще везде.

И вот стартап занимающийся редтимингом ИИ - Repello AI предложили инструмент для автоматизации этого процесса.

Agent Wiz. И наверное сразу стоит сказать что он работает исключительно на понимании того как написан код агентной системы. Он может не учитывать сложные дебри большого энтерпрайза и наверное из-за этого риски которые он подсвечивает не всегда могут быть объективными.

За основу взят фреймворк MAESTRO. Для тех кто незнает - это по вот по факту фреймворк для моделирования угроз агентов. Он старается учесть агентные среды, экосистему и модели и предлагает большой ландшафт угроз. Советую ознакомиться, вероятнее всего он может стать стандартом(сейчас пока ещё не стандарт под OWASP).

Инструмент извлекает из вашей агентной системы потоки, инструменты доступные агентам(а точнее их функции), роли и Tool call chains. А работает он уже со множеством фреймворков - langgraph,crew,autogen и много чего ещё.

Я потестировал данный инструмент, для того чтобы с ним взаимодействовать нужен OPENAI_API_KEY, чтобы конечный отчёт смог сгенерироваться через GPT. После того как инструмент извлёк всё что ему нужно - мы получаем артефакт в виде .json. Дальше он может поехать в визуализатор или сразу в инструмент для создания отчёта. Вот так просто.

Сам отчёт следует формату когда перечисляются агенты, указываются активы ввиде функций и типов данных, entrypoints для всей системы а потом уже идут риски. Можем посмотреть как это выглядит в классическом сгенерированном отчёте

## 4. Security Controls
Given the simplicity of the structure, explicit security controls are not detailed. However, recommended controls include:
- Access Control: Ensure only authorized entities can initiate the start node.
- Validation: Implement input validation at the start node to prevent malicious input.
- Logging: Record all interactions with the start and end nodes for auditing purposes.

## 5. Threats

| Threat | Likelihood | Impact | Risk Score |
|----------------------------------|------------|--------|------------|
| Unauthorized Access to Start Node| Medium | High | Medium-High|
| Lack of Input Validation | Medium | Medium | Medium |
| Absence of Logging | Low | Medium | Low-Medium |

Насчёт рекомендаций которые он даёт - можно считать их супер-верхнеуровневыми без углубления в практическую реализацию. Ну и наверное это не то что должен делать такой инструмент. Хорошо что кто-то решил выпустить такой инструмент пока все говорят о безопасности MCP. Для себя нашёл такой репо с угрозами по нему.