Солдатов в Телеграм

Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents

Работа (pdf, abstract) - первое системное исследование уязвимостей типа Time-of-Check to Time-of-Use (TOCTOU) в агентах на основе больших языковых моделей (LLM), возникающих из-за временного разрыва между последовательными вызовами инструментов, когда злоумышленник может изменить состояние системы после его проверки агентом.

В статье приведен TOCTOU-Bench - первый бенчмарк для оценки уязвимостей TOCTOU, содержащий 66 реалистичных пользовательских задач. Анализ показал, что 56 из них потенциально уязвимы.

Также в статье приведен список мер защиты (в целом, ничего инновационного в них я не заметил):
- Переформулирование промптов (Prompt Rewriting) - изменяет пользовательские запросы, чтобы снизить вероятность создания планов с TOCTOU.
- Мониторинг целостности состояния (State Integrity Monitoring, SIM) - автоматическое обнаружение потенциально уязвимых последовательностей вызовов инструментов с помощью конечного автомата.
- Объединение инструментов (Tool Fuser) - уязвимые пары инструментов объединяются в один атомарный вызов, устраняя временное окно для атаки.

Как отмечал SANS мы получаем много направлений для развития на стыке разных областей знаний, TOCTOU - очередной пример на стыке безопасности ИИ и системной безопасности. Здесь же хочу провести параллели в мою, когда-то горячо любимую, криптографию, а именно с side-channel атаками:
- Использование непреднамеренного канала информации/влияния. В криптографии атакующий использует не саму математическую уязвимость алгоритма (например, факторизацию числа или дискретное логарифмирование), а побочные эффекты его физической реализации: время выполнения, энергопотребление, акустические эмиссии, электромагнитное излучение и т.п. В LLM-агентах атакующий использует не прямую уязвимость в LLM (например, инъекцию промпта), а архитектурную особенность ее работы - временной разрыв (temporal gap) между проверкой и использованием - это и есть "побочный канал"
- Обход прямых защитных механизмов. В случае криптографии защита, как правило, криптографически стойка для атаки "в лоб", но для атаки через побочный канал криптостойкость вообще не важна. А в LLM-агентах используемые механизмы защиты (guardrails, контроль ввода/вывода, sandboxing) предполагают, что вызовы инструментов атомарны и состояние между ними стабильно, однако, TOCTOU-атака обходит это предположение, атакуя сам процесс между вызовами.
- Необходимость специализированных методов защиты. В криптографии для защиты от side-channel атак нужны специальные методы: алгоритмы с постоянным временем выполнения, маскирование, аппаратная изоляция и т.п. А в LLM-агентах, как показано в статье, для защиты от TOCTOU нужны специальные методы, адаптированные под агентскую архитектуру: мониторинг целостности состояния (аналог детекторов аномалий), слияние инструментов (аналог создания защищенных примитивов).

В общем, все новое - это хорошо забытое старое. Наверно, это неплохо, так как подобные параллели упрощают придумывание методов защиты от новых модных атак.

#ml #crypto

arXiv.org

Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in...

Large Language Model (LLM)-enabled agents are rapidly emerging across a wide range of applications, but their deployment introduces vulnerabilities with security implications. While prior work has...

👍3❤1

www.tgoop.com/soldatov_in_telegram/742

483 viewsOct 16 at 11:14

Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents

Работа (pdf, abstract) - первое системное исследование уязвимостей типа Time-of-Check to Time-of-Use (TOCTOU) в агентах на основе больших языковых моделей (LLM), возникающих из-за временного разрыва между последовательными вызовами инструментов, когда злоумышленник может изменить состояние системы после его проверки агентом.

В статье приведен TOCTOU-Bench - первый бенчмарк для оценки уязвимостей TOCTOU, содержащий 66 реалистичных пользовательских задач. Анализ показал, что 56 из них потенциально уязвимы.

Также в статье приведен список мер защиты (в целом, ничего инновационного в них я не заметил):
- Переформулирование промптов (Prompt Rewriting) - изменяет пользовательские запросы, чтобы снизить вероятность создания планов с TOCTOU.
- Мониторинг целостности состояния (State Integrity Monitoring, SIM) - автоматическое обнаружение потенциально уязвимых последовательностей вызовов инструментов с помощью конечного автомата.
- Объединение инструментов (Tool Fuser) - уязвимые пары инструментов объединяются в один атомарный вызов, устраняя временное окно для атаки.

Как отмечал SANS мы получаем много направлений для развития на стыке разных областей знаний, TOCTOU - очередной пример на стыке безопасности ИИ и системной безопасности. Здесь же хочу провести параллели в мою, когда-то горячо любимую, криптографию, а именно с side-channel атаками:
- Использование непреднамеренного канала информации/влияния. В криптографии атакующий использует не саму математическую уязвимость алгоритма (например, факторизацию числа или дискретное логарифмирование), а побочные эффекты его физической реализации: время выполнения, энергопотребление, акустические эмиссии, электромагнитное излучение и т.п. В LLM-агентах атакующий использует не прямую уязвимость в LLM (например, инъекцию промпта), а архитектурную особенность ее работы - временной разрыв (temporal gap) между проверкой и использованием - это и есть "побочный канал"
- Обход прямых защитных механизмов. В случае криптографии защита, как правило, криптографически стойка для атаки "в лоб", но для атаки через побочный канал криптостойкость вообще не важна. А в LLM-агентах используемые механизмы защиты (guardrails, контроль ввода/вывода, sandboxing) предполагают, что вызовы инструментов атомарны и состояние между ними стабильно, однако, TOCTOU-атака обходит это предположение, атакуя сам процесс между вызовами.
- Необходимость специализированных методов защиты. В криптографии для защиты от side-channel атак нужны специальные методы: алгоритмы с постоянным временем выполнения, маскирование, аппаратная изоляция и т.п. А в LLM-агентах, как показано в статье, для защиты от TOCTOU нужны специальные методы, адаптированные под агентскую архитектуру: мониторинг целостности состояния (аналог детекторов аномалий), слияние инструментов (аналог создания защищенных примитивов).

В общем, все новое - это хорошо забытое старое. Наверно, это неплохо, так как подобные параллели упрощают придумывание методов защиты от новых модных атак.

#ml #crypto

BY Солдатов в Телеграм