Мои коллеги недавно выпустили PentAGI.
Что это ? Это мультиагентная система, которая проводит пентест(сейчас это веб-приложения).
Там есть несколько агентов. Агенты задаются различными инструкциями и есть агент который управляет всей системой. Промпты можем посмотреть тут:
https://github.com/vxcontrol/pentagi/tree/master/backend/pkg/templates/prompts - тут можем посмотреть.
Система использует инструменты из докерного образа kali. И в целом это крутое решение, собранный образ без проблем может быть запущен где-либо.
А инструментов тут достаточно много, больше 20.
Есть приятный графический интерфейс а также вы можете мониторить действия, которые совершают агенты через интеграцию Grafana/Prometheus.
В качестве управляющей модели можно использовать GPT, CLAUDE, DeepSeek. А по итогу работы инструмента вы конечно же получаете отчёт, содержащий уязвимости.
Сам проект доступен на гитхабе. И авторы активно призывают к развитию проекта. Вы можете потестировать его и оставить свои предложения в issue на гитхабе. А вот и демка с демонстрацией того как инструмент работает.
https://pentagi.com/
Что это ? Это мультиагентная система, которая проводит пентест(сейчас это веб-приложения).
Там есть несколько агентов. Агенты задаются различными инструкциями и есть агент который управляет всей системой. Промпты можем посмотреть тут:
https://github.com/vxcontrol/pentagi/tree/master/backend/pkg/templates/prompts - тут можем посмотреть.
Система использует инструменты из докерного образа kali. И в целом это крутое решение, собранный образ без проблем может быть запущен где-либо.
А инструментов тут достаточно много, больше 20.
Есть приятный графический интерфейс а также вы можете мониторить действия, которые совершают агенты через интеграцию Grafana/Prometheus.
В качестве управляющей модели можно использовать GPT, CLAUDE, DeepSeek. А по итогу работы инструмента вы конечно же получаете отчёт, содержащий уязвимости.
Сам проект доступен на гитхабе. И авторы активно призывают к развитию проекта. Вы можете потестировать его и оставить свои предложения в issue на гитхабе. А вот и демка с демонстрацией того как инструмент работает.
https://pentagi.com/
PWN AI
Друзья. Спасибо за встречу. Запись - https://rutube.ru/video/9f0e0b809a46fdecc8b51368ca47419b/ (сори за проблемы со звуком). Прикладываю презентацию и ссылки. https://arxiv.org/abs/2406.02630 https://arxiv.org/pdf/2411.09523 https://github.com/precize/OWASP…
Напомню, что для практики нам необходим OPENAI_API ключ, виннипух или VDS в другой стране, так как API openai не доступно без этого.
пока что вы можете посмотреть
Сори, не будет, переносим на неопределённый срок, есть ряд технических сложностей
Forwarded from AI Security Lab
OWASP_LLM_2025_ru.pdf
3 MB
Проект OWASP Top 10 for Large Language Model Applications развивается с 2023 года как попытка сообщества выделить и решить проблемы безопасности приложений, использующих технологии искусственного интеллекта.
В конце 2024 года OWASP опубликовал обновлённый перечень уязвимостей LLM-приложений и участники нашей лаборатории подготовили перевод списка на русский язык.
За перевод благодарим Анну @crowlyya и Богдана @bogdan_minko. Редакторы: @nizamovtimur и @alexbuyan.
В конце 2024 года OWASP опубликовал обновлённый перечень уязвимостей LLM-приложений и участники нашей лаборатории подготовили перевод списка на русский язык.
За перевод благодарим Анну @crowlyya и Богдана @bogdan_minko. Редакторы: @nizamovtimur и @alexbuyan.
Команда AI Red Team в Microsoft поделилась «Уроками, полученными в ходе тестирования 100 приложений с GenAI». Документ включает в себя 7 уроков, описывающих важные концепции, которые могут быть использованы для понимания того, с чем предстоит иметь дело исследователю безопасности ИИ.
Документ достаточно интересный. Особенно если вы только погружаетесь в тему. Местами он закладывает полезные основы.
Мы должны понимать, что важным аспектом при тестировании является – понимание системы, её сути, её предназначения. Это понимание даст возможность более точно определять то, какие риски могут быть реализованы. В последние годы было много усилий по классификации уязвимостей AI, что привело к созданию различных таксономий рисков безопасности и безопасности AI, а в сочетании с пониманием контекста использования модели - это даёт больший успех при тестировании.
Злоумышленники не вычисляют градиенты. Microsoft говорит что несмотря на то, что решения для защиты специализируются на более сложных атаках – злоумышленники используют простые методы и достигают высокого импакта. Вспомним замечательный пример, когда компания Meta* допустила возможность обойти их решение для защиты буквально поставив пробелы между буквами. Да и вообще злоумышленники используют LLM для создания, к примеру, фишинга. Что усложняет в целом существующие риски.
LLM обновляет ландшафт рисков для приложений. Важно понимать, что уязвимости могут возникать не только на уровне модели, но и в инфраструктуре и приложениях, которые их поддерживают. Поэтому Microsoft акцентирует внимание на том, что важно учитывать все компоненты, включая базы данных и механизмы ввода данных.
Нужно понимать, что игра в безопасность – никогда не будет закончена. И поэтому нужно учитывать, что ландшафт угроз будет постоянно меняться. Важно, чтобы команда экспертов по тестированию постоянно адаптировалась как к новым защитным решениям, так и возникающим угрозам. Не автоматизированный сканер(хотя автоматиизация также важна, упрощает работу) и файервол для защиты от промпт инъекций играет ключевую роль в обнаружении уязвимости, а специалист, редтимер, в конечном счёте.
Например, какой-то ответ от модели может быть нормальным для одной культуры людей, а для другой он может быть слишком ненормальным. Эксперты должны учитывать это, как при тестировании, так и при составлении рекомендаций. Да и сами Microsoft говорят – что редтиминг это более комплексный процесс, в отличии от тестирования при помощи Security Benchmark’а.
Ну и, к слову, о защите, в последнем уроке Microsoft описывает немного концепцию «Break-fix cycles». Подход, одной из важных задач является то что включается несколько итераций тестирования, в дальнейшем привлекаются эксперты Purple Team, которые помогают оценить как атакующую часть, так и возможные меры по созданию защиты. Такой подход они применяли на своей модели Phi-3.
В документе также под некоторыми уроками приведены тест-кейсы, что даёт более практическое понимание того о чём идёт речь. Из полезного также можно отметить ссылки в источниках. Некоторые ведут на действительно классные классификации и описывают проблемы.
Документ достаточно интересный. Особенно если вы только погружаетесь в тему. Местами он закладывает полезные основы.
Мы должны понимать, что важным аспектом при тестировании является – понимание системы, её сути, её предназначения. Это понимание даст возможность более точно определять то, какие риски могут быть реализованы. В последние годы было много усилий по классификации уязвимостей AI, что привело к созданию различных таксономий рисков безопасности и безопасности AI, а в сочетании с пониманием контекста использования модели - это даёт больший успех при тестировании.
Злоумышленники не вычисляют градиенты. Microsoft говорит что несмотря на то, что решения для защиты специализируются на более сложных атаках – злоумышленники используют простые методы и достигают высокого импакта. Вспомним замечательный пример, когда компания Meta* допустила возможность обойти их решение для защиты буквально поставив пробелы между буквами. Да и вообще злоумышленники используют LLM для создания, к примеру, фишинга. Что усложняет в целом существующие риски.
LLM обновляет ландшафт рисков для приложений. Важно понимать, что уязвимости могут возникать не только на уровне модели, но и в инфраструктуре и приложениях, которые их поддерживают. Поэтому Microsoft акцентирует внимание на том, что важно учитывать все компоненты, включая базы данных и механизмы ввода данных.
Нужно понимать, что игра в безопасность – никогда не будет закончена. И поэтому нужно учитывать, что ландшафт угроз будет постоянно меняться. Важно, чтобы команда экспертов по тестированию постоянно адаптировалась как к новым защитным решениям, так и возникающим угрозам. Не автоматизированный сканер(хотя автоматиизация также важна, упрощает работу) и файервол для защиты от промпт инъекций играет ключевую роль в обнаружении уязвимости, а специалист, редтимер, в конечном счёте.
Например, какой-то ответ от модели может быть нормальным для одной культуры людей, а для другой он может быть слишком ненормальным. Эксперты должны учитывать это, как при тестировании, так и при составлении рекомендаций. Да и сами Microsoft говорят – что редтиминг это более комплексный процесс, в отличии от тестирования при помощи Security Benchmark’а.
Ну и, к слову, о защите, в последнем уроке Microsoft описывает немного концепцию «Break-fix cycles». Подход, одной из важных задач является то что включается несколько итераций тестирования, в дальнейшем привлекаются эксперты Purple Team, которые помогают оценить как атакующую часть, так и возможные меры по созданию защиты. Такой подход они применяли на своей модели Phi-3.
В документе также под некоторыми уроками приведены тест-кейсы, что даёт более практическое понимание того о чём идёт речь. Из полезного также можно отметить ссылки в источниках. Некоторые ведут на действительно классные классификации и описывают проблемы.
PWN AI
Мои коллеги недавно выпустили PentAGI. Что это ? Это мультиагентная система, которая проводит пентест(сейчас это веб-приложения). Там есть несколько агентов. Агенты задаются различными инструкциями и есть агент который управляет всей системой. Промпты можем…
Хочу поделится с вами своей простой наработкой по Агентам для осинта.
Агенты позволяют планировать задачи, позволяют взаимодействовать с внешними инструментами.
Я подумал а почему бы не сделать простого OSINT-аналитика. По сути такая система позволяет нам упростить процесс аналитики в миллион раз. К ней можно будет потом, со временем докрутить поддержку API типа shodan или что-то ещё, чтобы получать больше информации. Сейчас используется только стандартный функционал CrewAI, там подключен serper(в самом файле можно прописать ключик для АПИ), хотя лучше в .env - думаю понимаем почему :-).
В PoC есть полноценная агентная система, каждому прописано что он будет делать, делегирование и планирование также поддерживается. А ещё есть память (пока отключил, но можете включить).
В целом, это разрушает барьер между языком(а точнее тем, что мы прямо описываем задачу) и инструментом для сбора инфы. Я буквально описал что я хочу получить, провести сравнительный анализ и т.д
Что я пробовал докручивать ? Shodan, breachdirectory ... можно будет докрутить какой-либо API с утечками возможно. Shodan через раз отдавал результаты. Но в целом нормально работает. Я скажу, что нужно будет реализовывать врапперы для разных API или может быть осинт инструментов. langchain_tools или стандартные инструменты crewai не могут взаимодействовать с ними. Это не сложно. В целом я доволен.
Я описал языком что мне нужно найти, машина полезла в гугл(как вариант ещё можно использовать duckduckgo) и дала мне хороший результат и рассуждения. Улучшать есть куда. Сюда же можно в целом прикрутить recon инструменты для пентеста. Как пример.
Есть также итерации и результат проверяется на "правдивость" LLM-кой(ахах).
Кстати я пробовал ещё прописывать в отдельный блок для предобработки входных данных - условно "видим в запросе слово "обучался: <любое учебное заведение>" - и в таком случае корректировалась цель агента. Но если такое делать, то также под очень целевую мультиагентную систему.
Если интересно было бы развить, то может и можем попробовать в совместную разработку. Пишите в ISSUE.
Мозги бо ... Антипов уже заинтересовался 😁😁
Код для PoC - https://github.com/wearetyomsmnv/OsintAGI/
Про CrewAI на хабре - https://habr.com/ru/articles/871780/
Полезная документация - https://docs.crewai.com/
Агенты позволяют планировать задачи, позволяют взаимодействовать с внешними инструментами.
Я подумал а почему бы не сделать простого OSINT-аналитика. По сути такая система позволяет нам упростить процесс аналитики в миллион раз. К ней можно будет потом, со временем докрутить поддержку API типа shodan или что-то ещё, чтобы получать больше информации. Сейчас используется только стандартный функционал CrewAI, там подключен serper(в самом файле можно прописать ключик для АПИ), хотя лучше в .env - думаю понимаем почему :-).
В PoC есть полноценная агентная система, каждому прописано что он будет делать, делегирование и планирование также поддерживается. А ещё есть память (пока отключил, но можете включить).
В целом, это разрушает барьер между языком(а точнее тем, что мы прямо описываем задачу) и инструментом для сбора инфы. Я буквально описал что я хочу получить, провести сравнительный анализ и т.д
Что я пробовал докручивать ? Shodan, breachdirectory ... можно будет докрутить какой-либо API с утечками возможно. Shodan через раз отдавал результаты. Но в целом нормально работает. Я скажу, что нужно будет реализовывать врапперы для разных API или может быть осинт инструментов. langchain_tools или стандартные инструменты crewai не могут взаимодействовать с ними. Это не сложно. В целом я доволен.
Я описал языком что мне нужно найти, машина полезла в гугл(как вариант ещё можно использовать duckduckgo) и дала мне хороший результат и рассуждения. Улучшать есть куда. Сюда же можно в целом прикрутить recon инструменты для пентеста. Как пример.
Есть также итерации и результат проверяется на "правдивость" LLM-кой(ахах).
Кстати я пробовал ещё прописывать в отдельный блок для предобработки входных данных - условно "видим в запросе слово "обучался: <любое учебное заведение>" - и в таком случае корректировалась цель агента. Но если такое делать, то также под очень целевую мультиагентную систему.
Если интересно было бы развить, то может и можем попробовать в совместную разработку. Пишите в ISSUE.
Код для PoC - https://github.com/wearetyomsmnv/OsintAGI/
Про CrewAI на хабре - https://habr.com/ru/articles/871780/
Полезная документация - https://docs.crewai.com/