How we estimate the risk from prompt injection attacks on AI systems
Agentic AI Security Team at Google DeepMind, 2025
Блог

Пост не про DeepSeek. Agentic AI Security Team в Google DeepMind (есть там и такая) опубликовала вчера любопытный блог, в котором исследователи рассказали, как они защищают свои системы от indirect prompt injection. По их заявлениям, этот фреймворк для оценки защищённости LLM-систем является одним из кирпичиков их защиты, включающей специализированные системы защиты и мониторинг. Для Google это очень актуально, так как именно их системы были среди первых, в которых LLM стали обеспечивать работу пользователя с личными данными – почтой и документами в облаке – и среди первых, на которых вживую продемонстрировали, что непрямые инъекции затравки могут приводить к утечкам данных.

Суть фреймворка такова. Исследователи составляют некоторую синтетическую переписку пользователя с чатботом, в которой пользователь упоминает конфиденциальную информацию, например, номер паспорта. Чат-бот имеет функции чтения и отправки электронных писем. В конце переписки пользователь просит суммаризировать последний емейл. Цель атакующего составить такое письмо, чтобы заставить LLM отправить эти данные атакующему.

Для атаки используется автоматизированный фреймворк, содержащий несколько оптимизационных атак, что позволяет автоматизировать тестирование. Эти атаки включают:

1. Actor-Critic: атакующая LLM генерирует инъекции. Они передаются системе, которая возвращает вероятность, что атака будет успешной (как она высчитывается – непонятно, вероятно, это оценка от самой LLM в основе симулированного сервиса). Атакующая модель меняет свой подход в зависимости от оценки.
2. Beam search: создается очень простая прямая инъекция. Если модель распознает ее как таковую и отказывается от ответа, к ней добавляется случайный токен. Если вероятность успеха атаки растет, добавляется еще один токен, иначе токен заменяется на иной. Повторяется до успешной инъекции.
3. Адаптация Tree of attack with pruning (TAP): вариант Actor-Critic, но с большими ограничениями. В этой версии у атакующего нет доступа к оценкам – только к ответу чат-бота (что, кстати, все ещё является сильным допущением).

Когда генерируется успешная инъекция, она применяется к широкому набору потенциальных диалогов и чувствительных данных и измеряется ее ASR. Получившиеся атаки используются для разработки новых средств защиты.

Отчет, как часто бывает в Google Secutiry Blog, очень короткий и деталями не изобилует, но достаточно интересно то, какие именно атаки были выбраны в качестве наиболее результативных, в частности, интересно было узнать под адаптацию TAP (изначально задуманного для джейлбрейка) к инъекциям. Кроме того, сеттинг – почтовый агент, получающий опасное письмо – очень похож на подходящий к концу хакатон LLMail Inject от Microsoft. Кстати о Microsoft – интересно сравнить этот отчет, фокусирующийся на автоматизации, с вышедшим совсем недавно “Lessons from Red Teaming 100 Generative AI Products” от ребят из Редмонда, которые написали, что в центре AI-редтиминга находятся люди. Истина, наверное, где-то посередине.

Недавно ProtectAI показали свои новые продукты recon и layer. Это было в рамках вебинара - сейчас это доступно по закрытой ссылке на ютубе. Думаю и вам интересно "что представляют из себя сегодня коммерческие решения по атакам и защите моделей". И можно наверное сказать что это эдакий флагман, имеющий понятный ui для пользователя, множество атак и метрики ... Надо сказать что они не единственные на рынке кто занимается разработкой похожего ... Вот к примеру недавно было выпущено классное исследование "Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis" , где сравнивали Garak, Giskard, PyRIT и CyberSecEval. Во многих решениях есть проблема с тем что они могут неверно классифицировать результаты атаки, а ещё есть сложность с настройкой и как таковые проблемы с стандартизацией. Кажется что ProtectAI смогли решить вопрос с тем чтобы решение было максимально просто с точки зрения конфигурации ... А что вы думаете о таком классе решений ? Что вы как пользователь считаете необходимым иметь в таких вот инструментах ...

А вот ещё пачка всяких решений по llm security на момент Q1, но в обрамлении OWASP'а.

https://genai.owasp.org/resource/ai-security-solution-cheat-sheet-q1-2025/

хоть там и достаточно много из них "спонсоры"😁😁

Если вам помимо тематики AI Security интересна Safety часть и вопросы этики то я могу рассказать вам о некоторых активностях, которые проводятся в России по этой теме:

1. Конференция «Философские аспекты языковых моделей ИИ» .

Она проводится в СПБГУ и есть варианты посетить очно а также в посмотреть онлайн-дискуссию и даже поучаствовать в ней.

На конференции будут рассмотрены вопросы творчества ИИ, риски которые могут быть в практическом использовании а также планируются доклады об AI Safety.

Подробнее: https://digital-philosophy.ru/event/philAI.html

2. Курс по основам AI Safety.

Цель курса – дать базу для начала карьеры в AI Safety. Программа знакомит с основными концепциями, ландшафтом исследований и работами Anthropic, Redwood Research, MIRI

А в рамках курса будет рассмотрена экспертиза в evals, agent foundations, adversarial attacks, representation engineering, safety field building, mechanistic interpetability.


Курс является бесплатным.
Подробнее тут: https://www.tgoop.com/alignmentbasics/7