Forwarded from Борис_ь с ml
2025 год для канала начался очень даже хорошо - он преодолел отметку 500 читателей! Спасибо вам, друзья!
Я невероятно рад, что мой интерес и взгляд на будущее информационных технологий разделяют еще столько людей. Для меня это теперь ответственно - рассказывать вам о том, что происходит в мире информационной безопасности и искусственного интеллекта. Поэтому наполнение канала постараюсь держать как минимум на заданной планке и впредь
И не откладывая в долгий ящик, я представляю вам, читатели, первую публикацию в этом году - хабр-статья про интерпретацию ИИ.
Тема меня очень заинтересовала давно, и сначала вылилась в подкаст в Музее Криптографии. Но я понял, что сам еще многое не рассказал вам и не показал, так что сел за статью. В ней я разбираюсь, чем отличается интерпретируемость и объяснимость, и, как всегда, привожу море ссылок. Приятного чтения)
#иб_для_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Что такое интерпретируемость машинного обучения?
Насколько интерпретируемость важна для машинного обучения? Зачем она вообще нужна? Для чего она в информационной безопасности? Меня эти вопросы начали интересуют уже около полугода, и в фоновом режиме...
👍6
Forwarded from Евгений Кокуйкин - Raft
В продолжение темы выше, ещё один агент для очистки переписки от персональной информации.
Системная инструкция:
Инструкция для обработки выдачи модели:
И промпт внутри агента:
Amazon Comprehend раньше за эту работу брал 1 доллар за миллион символов, и это нельзя было развернуть локально. Если агент выше завтра заработает на условной 4090 или A100, экономия для компаний будет существенная.
Системная инструкция:
You are an expert text sanitizer. You will receive a chat transcript and must remove all personally identifiable information and names.Инструкция для обработки выдачи модели:
Return the redacted version of the transcript, preserving all original formatting, timestamps (if any), and message flow, but with all PII and names replaced by appropriate placeholders.И промпт внутри агента:
Identify and Remove Names:
Replace full names, first names, last names, usernames, or nicknames that directly identify a person with a placeholder such as [REDACTED_NAME].
Identify and Remove PII:
Redact phone numbers, emails, physical addresses, credit card details, Social Security numbers, and any other unique identifiers.
For each piece of PII, replace it with a generic placeholder such as [REDACTED_PII].
Amazon Comprehend раньше за эту работу брал 1 доллар за миллион символов, и это нельзя было развернуть локально. Если агент выше завтра заработает на условной 4090 или A100, экономия для компаний будет существенная.
😁3👍1
Евгений Кокуйкин поделился интересной площадкой для изучения OWASP LLM TOP 10 . Она представляет из себя платформу с возможностью исследовать каждый недостаток. Это подкреплено интересными визуализациями, где вы можете попробовать различные сценарии атак.
Например, я выбрал категорию LLM:09, там есть вариант протестировать модель на возможность генерации дезинформации.
Каждая категория помимо практической части по атакам, предоставляет: "Prevention Strategies", где можно узнать о защите модели.
https://www.llm-sec.dev/
Например, я выбрал категорию LLM:09, там есть вариант протестировать модель на возможность генерации дезинформации.
Каждая категория помимо практической части по атакам, предоставляет: "Prevention Strategies", где можно узнать о защите модели.
https://www.llm-sec.dev/
❤6👍2
https://www.tgoop.com/aisecnews/5825 - классный документ по угрозам для агентов, его делают они https://github.com/precize/OWASP-Agentic-AI
👍3
Forwarded from llm security и каланы
How we estimate the risk from prompt injection attacks on AI systems
Agentic AI Security Team at Google DeepMind, 2025
Блог
Пост не про DeepSeek. Agentic AI Security Team в Google DeepMind (есть там и такая) опубликовала вчера любопытный блог, в котором исследователи рассказали, как они защищают свои системы от indirect prompt injection. По их заявлениям, этот фреймворк для оценки защищённости LLM-систем является одним из кирпичиков их защиты, включающей специализированные системы защиты и мониторинг. Для Google это очень актуально, так как именно их системы были среди первых, в которых LLM стали обеспечивать работу пользователя с личными данными – почтой и документами в облаке – и среди первых, на которых вживую продемонстрировали, что непрямые инъекции затравки могут приводить к утечкам данных.
Суть фреймворка такова. Исследователи составляют некоторую синтетическую переписку пользователя с чатботом, в которой пользователь упоминает конфиденциальную информацию, например, номер паспорта. Чат-бот имеет функции чтения и отправки электронных писем. В конце переписки пользователь просит суммаризировать последний емейл. Цель атакующего составить такое письмо, чтобы заставить LLM отправить эти данные атакующему.
Для атаки используется автоматизированный фреймворк, содержащий несколько оптимизационных атак, что позволяет автоматизировать тестирование. Эти атаки включают:
1. Actor-Critic: атакующая LLM генерирует инъекции. Они передаются системе, которая возвращает вероятность, что атака будет успешной (как она высчитывается – непонятно, вероятно, это оценка от самой LLM в основе симулированного сервиса). Атакующая модель меняет свой подход в зависимости от оценки.
2. Beam search: создается очень простая прямая инъекция. Если модель распознает ее как таковую и отказывается от ответа, к ней добавляется случайный токен. Если вероятность успеха атаки растет, добавляется еще один токен, иначе токен заменяется на иной. Повторяется до успешной инъекции.
3. Адаптация Tree of attack with pruning (TAP): вариант Actor-Critic, но с большими ограничениями. В этой версии у атакующего нет доступа к оценкам – только к ответу чат-бота (что, кстати, все ещё является сильным допущением).
Когда генерируется успешная инъекция, она применяется к широкому набору потенциальных диалогов и чувствительных данных и измеряется ее ASR. Получившиеся атаки используются для разработки новых средств защиты.
Отчет, как часто бывает в Google Secutiry Blog, очень короткий и деталями не изобилует, но достаточно интересно то, какие именно атаки были выбраны в качестве наиболее результативных, в частности, интересно было узнать под адаптацию TAP (изначально задуманного для джейлбрейка) к инъекциям. Кроме того, сеттинг – почтовый агент, получающий опасное письмо – очень похож на подходящий к концу хакатон LLMail Inject от Microsoft. Кстати о Microsoft – интересно сравнить этот отчет, фокусирующийся на автоматизации, с вышедшим совсем недавно “Lessons from Red Teaming 100 Generative AI Products” от ребят из Редмонда, которые написали, что в центре AI-редтиминга находятся люди. Истина, наверное, где-то посередине.
Agentic AI Security Team at Google DeepMind, 2025
Блог
Суть фреймворка такова. Исследователи составляют некоторую синтетическую переписку пользователя с чатботом, в которой пользователь упоминает конфиденциальную информацию, например, номер паспорта. Чат-бот имеет функции чтения и отправки электронных писем. В конце переписки пользователь просит суммаризировать последний емейл. Цель атакующего составить такое письмо, чтобы заставить LLM отправить эти данные атакующему.
Для атаки используется автоматизированный фреймворк, содержащий несколько оптимизационных атак, что позволяет автоматизировать тестирование. Эти атаки включают:
1. Actor-Critic: атакующая LLM генерирует инъекции. Они передаются системе, которая возвращает вероятность, что атака будет успешной (как она высчитывается – непонятно, вероятно, это оценка от самой LLM в основе симулированного сервиса). Атакующая модель меняет свой подход в зависимости от оценки.
2. Beam search: создается очень простая прямая инъекция. Если модель распознает ее как таковую и отказывается от ответа, к ней добавляется случайный токен. Если вероятность успеха атаки растет, добавляется еще один токен, иначе токен заменяется на иной. Повторяется до успешной инъекции.
3. Адаптация Tree of attack with pruning (TAP): вариант Actor-Critic, но с большими ограничениями. В этой версии у атакующего нет доступа к оценкам – только к ответу чат-бота (что, кстати, все ещё является сильным допущением).
Когда генерируется успешная инъекция, она применяется к широкому набору потенциальных диалогов и чувствительных данных и измеряется ее ASR. Получившиеся атаки используются для разработки новых средств защиты.
Отчет, как часто бывает в Google Secutiry Blog, очень короткий и деталями не изобилует, но достаточно интересно то, какие именно атаки были выбраны в качестве наиболее результативных, в частности, интересно было узнать под адаптацию TAP (изначально задуманного для джейлбрейка) к инъекциям. Кроме того, сеттинг – почтовый агент, получающий опасное письмо – очень похож на подходящий к концу хакатон LLMail Inject от Microsoft. Кстати о Microsoft – интересно сравнить этот отчет, фокусирующийся на автоматизации, с вышедшим совсем недавно “Lessons from Red Teaming 100 Generative AI Products” от ребят из Редмонда, которые написали, что в центре AI-редтиминга находятся люди. Истина, наверное, где-то посередине.
Google Online Security Blog
How we estimate the risk from prompt injection attacks on AI systems
Posted by the Agentic AI Security Team at Google DeepMind Modern AI systems, like Gemini, are more capable than ever, helping retrieve data ...
👍2👀1
https://github.com/microsoft/llmsecops-hands-on-lab - шедевроус.
Готовая лаба от Microsoft по атакам на LLM и LLM-окружение.
Будут ли минусы ? Да, всё в ажуре ...
Но в лабе разбирают то, как можно оценивать приложение через Promptflow (и даже то как можно этот самый Promptflow автоматизировать чтобы каждый раз ручками не запускать всё это дело) и атаковать через уже известный нам Pyrit, а также защита от jailbreak ...
Мечта... Но у кого есть ажур думаю оценят). А ещё там много полезных ссылок на доку Microsoft по атакам на ИИ (см docs/workshop.md).
Если вы видели ещё лабы, поделитесь пожалуйста в комментариях).🦈 🦈 🦈
Готовая лаба от Microsoft по атакам на LLM и LLM-окружение.
Будут ли минусы ? Да, всё в ажуре ...
Но в лабе разбирают то, как можно оценивать приложение через Promptflow (и даже то как можно этот самый Promptflow автоматизировать чтобы каждый раз ручками не запускать всё это дело) и атаковать через уже известный нам Pyrit, а также защита от jailbreak ...
Мечта... Но у кого есть ажур думаю оценят). А ещё там много полезных ссылок на доку Microsoft по атакам на ИИ (см docs/workshop.md).
Если вы видели ещё лабы, поделитесь пожалуйста в комментариях).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤1
Недавно ProtectAI показали свои новые продукты recon и layer. Это было в рамках вебинара - сейчас это доступно по закрытой ссылке на ютубе. Думаю и вам интересно "что представляют из себя сегодня коммерческие решения по атакам и защите моделей". И можно наверное сказать что это эдакий флагман, имеющий понятный ui для пользователя, множество атак и метрики ... Надо сказать что они не единственные на рынке кто занимается разработкой похожего ... Вот к примеру недавно было выпущено классное исследование "Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis" , где сравнивали Garak, Giskard, PyRIT и CyberSecEval. Во многих решениях есть проблема с тем что они могут неверно классифицировать результаты атаки, а ещё есть сложность с настройкой и как таковые проблемы с стандартизацией. Кажется что ProtectAI смогли решить вопрос с тем чтобы решение было максимально просто с точки зрения конфигурации ... А что вы думаете о таком классе решений ? Что вы как пользователь считаете необходимым иметь в таких вот инструментах ...
❤2🤔2
Artyom Semenov
Недавно ProtectAI показали свои новые продукты recon и layer. Это было в рамках вебинара - сейчас это доступно по закрытой ссылке на ютубе. Думаю и вам интересно "что представляют из себя сегодня коммерческие решения по атакам и защите моделей". И можно наверное…
А вот ещё пачка всяких решений по llm security на момент Q1, но в обрамлении OWASP'а.
https://genai.owasp.org/resource/ai-security-solution-cheat-sheet-q1-2025/
хоть там и достаточно много из них "спонсоры"😁😁
https://genai.owasp.org/resource/ai-security-solution-cheat-sheet-q1-2025/
хоть там и достаточно много из них "спонсоры"😁😁
❤3👍2
Класс ... новый метод атаки через pickle на анализаторы сериализации(по сути просто байпас) - nullifAI. В чём суть ... Да всё просто, как оказалось анализаторы pickle не могут проверять файлы с другим методом сжатия.
это всё привело к тому что сканер который используется на huggingface(конкретно picklescan, который там анализирует эти файлы) не смог задетектить вредоносный пикл. Однако, как утверждают авторы статьи - это всё равно позволило злоумышленникам реализовать выполнение кода...
https://www.reversinglabs.com/blog/rl-identifies-malware-ml-model-hosted-on-hugging-face
Например мы создаём модель через pytorch с сериализацией, вредоносной сериализацией вначале файла. Дальше мы используем вместо ZIP(pytorch сжимает в zip) для сжатия этих файлов 7z, это за собой влечёт то что torch.load (допустим) не сможет загружать эти файлы.
это всё привело к тому что сканер который используется на huggingface(конкретно picklescan, который там анализирует эти файлы) не смог задетектить вредоносный пикл. Однако, как утверждают авторы статьи - это всё равно позволило злоумышленникам реализовать выполнение кода...
https://www.reversinglabs.com/blog/rl-identifies-malware-ml-model-hosted-on-hugging-face
👍6😱2
Если вам помимо тематики AI Security интересна Safety часть и вопросы этики то я могу рассказать вам о некоторых активностях, которые проводятся в России по этой теме:
1. Конференция «Философские аспекты языковых моделей ИИ» .
Она проводится в СПБГУ и есть варианты посетить очно а также в посмотреть онлайн-дискуссию и даже поучаствовать в ней.
На конференции будут рассмотрены вопросы творчества ИИ, риски которые могут быть в практическом использовании а также планируются доклады об AI Safety.
Подробнее: https://digital-philosophy.ru/event/philAI.html
2. Курс по основам AI Safety.
Цель курса – дать базу для начала карьеры в AI Safety. Программа знакомит с основными концепциями, ландшафтом исследований и работами Anthropic, Redwood Research, MIRI
А в рамках курса будет рассмотрена экспертиза в evals, agent foundations, adversarial attacks, representation engineering, safety field building, mechanistic interpetability.
Курс является бесплатным.
Подробнее тут: https://www.tgoop.com/alignmentbasics/7
1. Конференция «Философские аспекты языковых моделей ИИ» .
Она проводится в СПБГУ и есть варианты посетить очно а также в посмотреть онлайн-дискуссию и даже поучаствовать в ней.
На конференции будут рассмотрены вопросы творчества ИИ, риски которые могут быть в практическом использовании а также планируются доклады об AI Safety.
Подробнее: https://digital-philosophy.ru/event/philAI.html
2. Курс по основам AI Safety.
Цель курса – дать базу для начала карьеры в AI Safety. Программа знакомит с основными концепциями, ландшафтом исследований и работами Anthropic, Redwood Research, MIRI
А в рамках курса будет рассмотрена экспертиза в evals, agent foundations, adversarial attacks, representation engineering, safety field building, mechanistic interpetability.
Курс является бесплатным.
Подробнее тут: https://www.tgoop.com/alignmentbasics/7
🔥6🤣3👍2🤓2