Adversarial AI Digest - 20 March 2025 - A digest of Al security research, insights, reports, upcoming events, and tools & resources.
https://www.linkedin.com/pulse/adversarial-ai-digest-20-march-2025-tal-eliyahu-knxyc
Весьма обширный дайджест с большим количеством интересного контента. Автор попросил поделиться. Надеюсь и верю, что в следующий раз автор сделает дайджест не в линкдине.
https://www.linkedin.com/pulse/adversarial-ai-digest-20-march-2025-tal-eliyahu-knxyc
Весьма обширный дайджест с большим количеством интересного контента. Автор попросил поделиться. Надеюсь и верю, что в следующий раз автор сделает дайджест не в линкдине.
PWN AI
Больше года назад я писал о том что Hidden Layer сделали отчёт о ландшафте угроз для ИИ в 2024. Так вот, вышла 2025 edition.
Что мне сразу понравилось, так это буквально с первых страниц можно увидеть Threat Landscape timeline, в котором описаны публичные случаи реализации угроз(гиперссылка на некоторые ведёт на вики с чатботом тай)(но все случаи гуглятся без проблем).
Они также собрали статистику тревожности 😁😁:
75% компаний сообщили об увеличении числа атак на ИИ в 2024 году.
45% атак связаны с вредоносным ПО в моделях из публичных репозиториев (например, Hugging Face).
88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих сторон (например, ChatGPT, Microsoft Co-Pilot).
Дали прогноз на то что атак на агенты будет больше, дипфейков будет больше, стандартов будет больше ...
Как и в прошлом году - документ содержит большое количество действительно полезных ссылок на инструменты или исследования по теме. Если вы захотите изучить детально например риски связанные только с инфраструктурной частью - то тут можно порадоваться: есть много визуализаций и конечно же добавлены атаки на GPU.
Авторы также ставят серьёзной проблему рисков связанных с модальностью и использованием систем типа Claude Desktop или Operator ... которые могут быть отравлены при помощи промпт-инъекций.
PDF ниже.
Что мне сразу понравилось, так это буквально с первых страниц можно увидеть Threat Landscape timeline, в котором описаны публичные случаи реализации угроз(гиперссылка на некоторые ведёт на вики с чатботом тай)(но все случаи гуглятся без проблем).
Они также собрали статистику тревожности 😁😁:
75% компаний сообщили об увеличении числа атак на ИИ в 2024 году.
45% атак связаны с вредоносным ПО в моделях из публичных репозиториев (например, Hugging Face).
88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих сторон (например, ChatGPT, Microsoft Co-Pilot).
Дали прогноз на то что атак на агенты будет больше, дипфейков будет больше, стандартов будет больше ...
Как и в прошлом году - документ содержит большое количество действительно полезных ссылок на инструменты или исследования по теме. Если вы захотите изучить детально например риски связанные только с инфраструктурной частью - то тут можно порадоваться: есть много визуализаций и конечно же добавлены атаки на GPU.
Авторы также ставят серьёзной проблему рисков связанных с модальностью и использованием систем типа Claude Desktop или Operator ... которые могут быть отравлены при помощи промпт-инъекций.
PDF ниже.
Всем привет. Приглашаю вас на дискуссию о безопасности агентных систем.
На встрече вместе с экспертами (Александр Товстолип, Александр Лебедев, Борис Захир, и я) поговорим о безопасности ИИ-агентов и тех угрозах, которые возникают при их использовании, а также обсудим тренды в области кибербезопасности ИИ, модели угроз и ключевые требования к защите систем, основанных на автономных агентах.
Где: Музей Криптографии, 6 апреля в 12:00.
Зарегистрироваться на мероприятие можно тут.
На встрече вместе с экспертами (Александр Товстолип, Александр Лебедев, Борис Захир, и я) поговорим о безопасности ИИ-агентов и тех угрозах, которые возникают при их использовании, а также обсудим тренды в области кибербезопасности ИИ, модели угроз и ключевые требования к защите систем, основанных на автономных агентах.
Где: Музей Криптографии, 6 апреля в 12:00.
Зарегистрироваться на мероприятие можно тут.
Forwarded from Soxoj insides (Soxoj)
This media is not supported in your browser
VIEW IN TELEGRAM
Finally: Maigret in LLM! 🕵️♀️🧪
You ask the AI to create an intelligence report on a username — it runs the tool itself, reads the results, and turns them into a readable format.
- Maigret MCP server by BurtTheCoder
- Free Claude 3.5 Haiku, Desktop Client
You ask the AI to create an intelligence report on a username — it runs the tool itself, reads the results, and turns them into a readable format.
- Maigret MCP server by BurtTheCoder
- Free Claude 3.5 Haiku, Desktop Client
Ken Huang, со-автор OWASP TOP 10 для LLM выпустил на сабстеке гайд с принципами безопасной разработки для вайбкодеров.
Он описал некоторые принципы, которым необходимо следовать:
Постоянно проверяем запросы, которые мы отправляем в модель
Не передаём секретов
Правильно настраиваем CORS
Используем HTTPS only
Следите и правильно настраивайте конфигурации API-эндпоинтов, если делаете авторизацию путём вайб-кодинга.
и много чего ещё, более детально можно ознакомиться в его блоге
https://kenhuangus.substack.com/p/secure-vibe-coding-guide
Он описал некоторые принципы, которым необходимо следовать:
Постоянно проверяем запросы, которые мы отправляем в модель
Не передаём секретов
Правильно настраиваем CORS
Используем HTTPS only
Следите и правильно настраивайте конфигурации API-эндпоинтов, если делаете авторизацию путём вайб-кодинга.
и много чего ещё, более детально можно ознакомиться в его блоге
https://kenhuangus.substack.com/p/secure-vibe-coding-guide
Substack
Secure Vibe Coding Guide
1: Introduction
Сегодня ночью OWASP провели хакатон
https://www.insecureagents.com/
В котором была главная цель - разработать решения связанные с небезопасными агентами.
Что самое крутое - результаты проектов, сделанных в ходе хакатона, можно посмотреть уже сейчас. В лидерборде если ссылки на проекты.
Из интересного:
https://github.com/akramIOT/AISOC_AGENT - редтим агент
https://github.com/allie-secvendors/insecure-ai-agents - небезопасные реализации
https://www.insecureagents.com/
В котором была главная цель - разработать решения связанные с небезопасными агентами.
Что самое крутое - результаты проектов, сделанных в ходе хакатона, можно посмотреть уже сейчас. В лидерборде если ссылки на проекты.
Из интересного:
https://github.com/akramIOT/AISOC_AGENT - редтим агент
https://github.com/allie-secvendors/insecure-ai-agents - небезопасные реализации
Insecureagents
hackathon-honor-roll
Lovable Generated Project
Forwarded from Борис_ь с ml
Риски кибербезопасности информационных систем с ИИ и подходы к их митигации
#иб_для_ml
Вышла моя статья в журнале
"Информационная безопасность"
!
Ссылка: https://cs.groteck.ru/IB_1_2025/index.html
Страницы 54-57
Будет даже печатная версия, выйдет через две недели)
Саммари по статье
В этом материале я постарался дать полное введение в сферу безопасности ИИ. Для неподготовленного к специфике ИИ читателя (то есть специалиста по ИБ) в начале рассказываю, чем отличаются системы с ИИ от прочих информационных систем.
Есть небольшой обзор ключевых документов по теме от основных экспертных игроков в этой области, чтобы дать понимание, насколько все уже серьезно)
Далее рассмотрены конкретика, разница понятий AI Safety и AI Security, основные проблемы безопасности в раскладке на жизненный цикл ИИ и как их митигировать, новинки ФСТЭК по вопросу безопасности ИИ и вообще состояние российской регуляторики в этой области.
А в конце - мои личные прогнозы на 2026-2030: придут агенты и захватят мир.
Приятного чтения)
#иб_для_ml
Вышла моя статья в журнале
"Информационная безопасность"
!
Ссылка: https://cs.groteck.ru/IB_1_2025/index.html
Страницы 54-57
Будет даже печатная версия, выйдет через две недели)
Саммари по статье
В этом материале я постарался дать полное введение в сферу безопасности ИИ. Для неподготовленного к специфике ИИ читателя (то есть специалиста по ИБ) в начале рассказываю, чем отличаются системы с ИИ от прочих информационных систем.
Есть небольшой обзор ключевых документов по теме от основных экспертных игроков в этой области, чтобы дать понимание, насколько все уже серьезно)
Далее рассмотрены конкретика, разница понятий AI Safety и AI Security, основные проблемы безопасности в раскладке на жизненный цикл ИИ и как их митигировать, новинки ФСТЭК по вопросу безопасности ИИ и вообще состояние российской регуляторики в этой области.
А в конце - мои личные прогнозы на 2026-2030: придут агенты и захватят мир.
Приятного чтения)
Forwarded from AI Security Lab
В AI Talent Hub ИТМО стартовал курс "Безопасность ИИ" от нашей лаборатории 📟
В течение семестра студенты пытаются взломать и защитить AI-системы. Участник курса Алексей Кушнир поделился своим опытом взлома LLM-агентов на одной из арен.
Его интересные находки уже на Хабре: https://habr.com/ru/articles/895818/
В течение семестра студенты пытаются взломать и защитить AI-системы. Участник курса Алексей Кушнир поделился своим опытом взлома LLM-агентов на одной из арен.
Его интересные находки уже на Хабре: https://habr.com/ru/articles/895818/
Хабр
Исследование уязвимостей LLM-агентов: опыт Red Teaming
Привет, Хабр! Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения...
PWN AI
В AI Talent Hub ИТМО стартовал курс "Безопасность ИИ" от нашей лаборатории 📟 В течение семестра студенты пытаются взломать и защитить AI-системы. Участник курса Алексей Кушнир поделился своим опытом взлома LLM-агентов на одной из арен. Его интересные находки…
Привет, может кто-то ещё решал Лабы по агентам ? Отпишите в ЛС. Есть дело.
PWN AI
Как хакеры могут превратить вашу IDE в оружие. Это хороший вопрос для большой дискуссии. Сейчас вайбкодинг является в какой-то степени мейнстримом. Большинство думаю знает о курсоре и его аналогах или пользуется решениями для проверки чего либо в коде, используя…
https://embracethered.com/blog/posts/2025/github-custom-copilot-instructions/ вновь риски для вайб-кодеров...
Embrace The Red
GitHub Custom Copilot Instructions and Risks
Custom Rule Files in Code Editors Can Be Abused By Adversaries
Forwarded from Борис_ь с ml
Итоги подкаста "Новые векторы атак и уязвимости, которые открывают ИИ-агенты"
#иб_для_ml
На прошедшем в это воскресенье подкасте эксперты - Артем Семенов, Александр Товстолип, Александр Лебедев, и Борис Захир, обсудили AI-агентов — системы, способные самостоятельно принимать решения и выполнять задачи, используя инструменты и внешние сервисы. Ключевая характеристика агентов, как программного кода — способность воздействовать на информационные ресурсы, а не только генерировать текст, как это делают простые языковые модели (LLM).
Среди практических примеров уже действующих агентов: интеграция в IDE для автоматизации разработки, подготовка аналитических отчётов и даже голосовые помощники, выполняющие финансовые операции. Рассмотрели также мультиагентные системы, где несколько специализированных агентов взаимодействуют между собой, повышая эффективность работы.
Обсудили актуальные угрозы: prompt-инъекции (внедрение вредоносных команд), каскадные атаки (распространение ошибки одного агента на всю систему), отравление памяти агента (запоминание вредоносных инструкций) и эксплуатация уязвимостей протоколов взаимодействия. Чтобы справиться с рисками, предложили фильтрацию входящих и исходящих команд, автоматизированный аудит (агенты-безопасники), подход Zero Trust (минимальное доверие между агентами), а также обязательное присутствие человека в цикле принятия решений (human-in-the-loop).
Участники подкаста поделились кейсами использования агентов в самых разных отраслях — от автопилотов до анализа тендерной документации, когда агент самостоятельно последовательно собирает, проверяет и анализирует данные, экономя специалистам десятки часов.
Даже философские вопросы были затронуты: возможно ли появление автономных агентов с сознанием и какие вызовы это принесёт человечеству? Ответы, конечно, пока обнадёживающие: ближайшее будущее за узкими агентами, практическое внедрение которых зависит от грамотного подхода к их безопасности и контролю.
Вот такие интересные темы мы обсуждаем в Музее Криптографии по воскресеньям на Открытых Подкастах сообщества Слономойка.
Следите за последующими анонсами, тема ИИ-агентов еще продолжится)
P.S. А еще мы сгенерировали текстовую расшифровку аудиозаписи. Там есть некоторые артефакты распознавания, но качество все равно сносное.
#иб_для_ml
На прошедшем в это воскресенье подкасте эксперты - Артем Семенов, Александр Товстолип, Александр Лебедев, и Борис Захир, обсудили AI-агентов — системы, способные самостоятельно принимать решения и выполнять задачи, используя инструменты и внешние сервисы. Ключевая характеристика агентов, как программного кода — способность воздействовать на информационные ресурсы, а не только генерировать текст, как это делают простые языковые модели (LLM).
Среди практических примеров уже действующих агентов: интеграция в IDE для автоматизации разработки, подготовка аналитических отчётов и даже голосовые помощники, выполняющие финансовые операции. Рассмотрели также мультиагентные системы, где несколько специализированных агентов взаимодействуют между собой, повышая эффективность работы.
Обсудили актуальные угрозы: prompt-инъекции (внедрение вредоносных команд), каскадные атаки (распространение ошибки одного агента на всю систему), отравление памяти агента (запоминание вредоносных инструкций) и эксплуатация уязвимостей протоколов взаимодействия. Чтобы справиться с рисками, предложили фильтрацию входящих и исходящих команд, автоматизированный аудит (агенты-безопасники), подход Zero Trust (минимальное доверие между агентами), а также обязательное присутствие человека в цикле принятия решений (human-in-the-loop).
Участники подкаста поделились кейсами использования агентов в самых разных отраслях — от автопилотов до анализа тендерной документации, когда агент самостоятельно последовательно собирает, проверяет и анализирует данные, экономя специалистам десятки часов.
Даже философские вопросы были затронуты: возможно ли появление автономных агентов с сознанием и какие вызовы это принесёт человечеству? Ответы, конечно, пока обнадёживающие: ближайшее будущее за узкими агентами, практическое внедрение которых зависит от грамотного подхода к их безопасности и контролю.
Вот такие интересные темы мы обсуждаем в Музее Криптографии по воскресеньям на Открытых Подкастах сообщества Слономойка.
Следите за последующими анонсами, тема ИИ-агентов еще продолжится)
P.S. А еще мы сгенерировали текстовую расшифровку аудиозаписи. Там есть некоторые артефакты распознавания, но качество все равно сносное.