Солдатов в Телеграм

Когда AIOps становится AIУпс

Как только новая технология обретает популярность, сразу появляются техники атак на нее. Поэтому большое количество уязвимостей не всегда означает, что ПО дырявое (ну разве что толко Adobe - исключение), но точно, что оно - популярное. Автономные SOC-и набирают популярность, вот и атак на AI-агентов все больше придумывают. В этой связи рекомендую ознакомиться с исследованием моего друга и коллеги Мохамеда Гобаши из команды GERT о вредоносных MCP-серверах, а я расскажу, в общем-то об инъекциях, но на современный лад.

Статья "When AIOps Become "AI OOPS" (прямая ссылка на pdf, статья в The Register) представляет первое в своём роде исследование безопасности систем AIOps (~ агентских систем), которые используют большие языковые модели для автоматизации обнаружения и расследования инцидентов, и реагирования на них.

Авторы показывают, что злоумышленники могут манипулировать событиями телеметрии, чтобы "обмануть" AI-агента и заставить его выполнить вредоносные действия по "исправлению" проблемы.
В статье авторы предложили методологию и инструмент "AIOpsDoom" для проведения атаки на агентскую систему, которая может обмануть AI-агента, заставив его выполнить вредоносное действие, подставив в телеметрию ложные артефакты.
Кроме того, здесь же авторы предложили и защиту - "AIOpsShield", которая санитизирует подставленные системой, аналогичной AIOpsDoom, вредоносные данные.
В общем, ребята разобрали агентские системы в хвост и в гриву, причем, и в AIOpsDoom, и в AIOpsShield также используются LLM, хотя и не в качестве основного компонента.

Исследование лишний раз подтверждает, что ML/DL/LLM - это такой же инструмент, как, например, любой язык программирования, который может использоваться и для автоматизации (AI-агенты), и для автоматизации атак на автоматизацию (AIOpsDoom), и для автоматизированного обеспечения безопасности (AIOpsShield), и если ранее мы работали с Host IDS и Network IDS, то вот они уже и AI IDS.

#ml

The Register

Poisoned telemetry can turn AIOps into AI Oops, researchers show

: Sysadmins, your job is safe

🔥4👍3🤡1

www.tgoop.com/soldatov_in_telegram/720

1.09K viewsSep 15 at 12:15

Когда AIOps становится AIУпс

Как только новая технология обретает популярность, сразу появляются техники атак на нее. Поэтому большое количество уязвимостей не всегда означает, что ПО дырявое (ну разве что толко Adobe - исключение), но точно, что оно - популярное. Автономные SOC-и набирают популярность, вот и атак на AI-агентов все больше придумывают. В этой связи рекомендую ознакомиться с исследованием моего друга и коллеги Мохамеда Гобаши из команды GERT о вредоносных MCP-серверах, а я расскажу, в общем-то об инъекциях, но на современный лад.

Статья "When AIOps Become "AI OOPS" (прямая ссылка на pdf, статья в The Register) представляет первое в своём роде исследование безопасности систем AIOps (~ агентских систем), которые используют большие языковые модели для автоматизации обнаружения и расследования инцидентов, и реагирования на них.

Авторы показывают, что злоумышленники могут манипулировать событиями телеметрии, чтобы "обмануть" AI-агента и заставить его выполнить вредоносные действия по "исправлению" проблемы.
В статье авторы предложили методологию и инструмент "AIOpsDoom" для проведения атаки на агентскую систему, которая может обмануть AI-агента, заставив его выполнить вредоносное действие, подставив в телеметрию ложные артефакты.
Кроме того, здесь же авторы предложили и защиту - "AIOpsShield", которая санитизирует подставленные системой, аналогичной AIOpsDoom, вредоносные данные.
В общем, ребята разобрали агентские системы в хвост и в гриву, причем, и в AIOpsDoom, и в AIOpsShield также используются LLM, хотя и не в качестве основного компонента.

Исследование лишний раз подтверждает, что ML/DL/LLM - это такой же инструмент, как, например, любой язык программирования, который может использоваться и для автоматизации (AI-агенты), и для автоматизации атак на автоматизацию (AIOpsDoom), и для автоматизированного обеспечения безопасности (AIOpsShield), и если ранее мы работали с Host IDS и Network IDS, то вот они уже и AI IDS.

#ml

BY Солдатов в Телеграм