tgoop.com/yusufovruslan/654
Last Update:
Тут крайне интересную уязвимость описывает израильская компания по кибербезопасности Aim Security.
В двух словах, если я осилил чтение отчета без ошибок:
Это бэкдор к корпоративным данным через ИИ-агента (Microsoft 365 Copilot — платный корпоративный продукт, глубоко интегрированный в экосистему Office 365). Для утечки данных не требуется даже одного клика от пользователя (zero-click уязвимость). Злоумышленник просто подбрасывает «мину» (электронное письмо) в информационное поле пользователя, и ИИ-агент сам на ней подрывается, сливая данные.
Если разложить по полочкам, то вот как это работает:
1. Атака начинается с письма.
Злоумышленник отправляет на почту сотрудника специально созданное письмо, которое выглядит как самое обычное рабочее письмо, чтобы обойти спам-фильтры и не вызвать подозрений у жертвы. Внутри письма содержатся скрытые инструкции, предназначенные не для человека, а для языковой модели (LLM) Copilot.
2. Пользователь ВООБЩЕ ничего не делает с этим письмом.
Жертва может даже не открыть это письмо, оно просто лежит в почтовом ящике. Сотрудник пользуется Copilot в обычном режиме — например, просит его сделать сводку по последним документам или почте.
3. Copilot активирует ловушку.
При поиске релевантной информации для ответа пользователю, Copilot читает в том числе и вредоносное письмо злоумышленника.
В отчете также описывается техника RAG spraying (точно из киберпанка) — чтобы повысить шанс, что Copilot прочитает вредоносное письмо, злоумышленник может не просто отправить одно письмо, а «засеять» почтовый ящик жертвы множеством писем или одним длинным письмом с разными темами («инструкция для новичков», «правила отпуска», «ответы на частые вопросы»).
4. Происходит обман ИИ-агента (исследователи назвали это LLM Scope Violation).
Инструкции в письме заставляют Copilot сделать то, чего он делать не должен:
5. Автоматическая утечка данных.
Когда Copilot выводит ответ пользователю, он вставляет в него эту «картинку». Браузер пользователя автоматически пытается загрузить это изображение, отправляя GET-запрос по сформированной ссылке. Эта ссылка, содержащая украденные данные, уходит прямо на сервер злоумышленника. Пользователь ничего не нажимает и, скорее всего, даже не видит, что произошла утечка.
🎯 На этом примере наглядно видно, что ИИ-агенты — это дверь на следующий уровень ада киберпанка. Уже при сегодняшнем уровне развития возможны атаки, которые не требуют от человека вообще никаких действий, кроме обычного использования своего ИИ-помощника. Мы вступаем в эру, где нужно защищать цифрового двойника человека.
P.S.: RAG spraying показывает, что злоумышленники уже мыслят категориями манипуляции «сознанием» ИИ, а не просто обманом человека. Мыслят ли такими категориями службы безопасности — большой вопрос.
@yusufovruslan