В фреймворках для создания агентов тоже могут быть RCE...
Это классное исследование проливает свет на уязвимость в smolagent, фреймворк от huggingface.
Это классное исследование проливает свет на уязвимость в smolagent, фреймворк от huggingface.
Тут OWASP открыл репозиторий с примерами уязвимых реализаций агентных систем ...
https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/tree/main/initiatives/agent_security_initiative
Можем посмотреть примеры небезопасной реализации агентов в LangGraph, CrewAI а также swarm от open AI. Интересный репозиторий.
https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/tree/main/initiatives/agent_security_initiative
Можем посмотреть примеры небезопасной реализации агентов в LangGraph, CrewAI а также swarm от open AI. Интересный репозиторий.
🔥7👍2❤1
Forwarded from PurpleBear (Vadim Shelest)
One LLM chat to rule them all
Использование больших языковых моделей в наши дни уже стало привычной рутиной для большинства людей во многих областях деятельности. Регулярно появляются новые модели с новой функциональностью, на примере с DeepSeek R1 спровоцировавшей панику на фондовом рынке в конце января. Мне как и думаю большинству из вас тогда сразу же захотелось ее потестировать, чтобы заставить бездушную машину поразмышлять о смысле жизни, будущем атакующей кибербезопасности и о том как Алексей Лукацкий может писать столько постов в своем канале🤠 а также других риторических вопросах.
Представляю вашему вниманию небольшой обзор двух достойных приложений с LLM чатами в веб-интерфейсе с открытым исходным, которые можно развернуть самостоятельно и значительно увеличить потенциал использования больших языковых моделей. А дочитав до конца вы узнаете, как получить в свое распоряжение API для более 100 различных моделей абсолютно бесплатно😎
Использование больших языковых моделей в наши дни уже стало привычной рутиной для большинства людей во многих областях деятельности. Регулярно появляются новые модели с новой функциональностью, на примере с DeepSeek R1 спровоцировавшей панику на фондовом рынке в конце января. Мне как и думаю большинству из вас тогда сразу же захотелось ее потестировать, чтобы заставить бездушную машину поразмышлять о смысле жизни, будущем атакующей кибербезопасности и о том как Алексей Лукацкий может писать столько постов в своем канале🤠 а также других риторических вопросах.
Представляю вашему вниманию небольшой обзор двух достойных приложений с LLM чатами в веб-интерфейсе с открытым исходным, которые можно развернуть самостоятельно и значительно увеличить потенциал использования больших языковых моделей. А дочитав до конца вы узнаете, как получить в свое распоряжение API для более 100 различных моделей абсолютно бесплатно😎
Telegraph
One LLM chat to rule them all
Использование больших языковых моделей в наши дни уже стало привычной рутиной для большинства людей во многих областях деятельности. LLM чат боты используются в качестве ассистентов для поиска и обобщения информации, создания кода, написания и перевода статей…
🔥3👍1
Forwarded from Cyber Detective
Nuclei AI Prompts
Nuclei v3.3.9 (@pdiscoveryio) has -ai option to generate and run nuclei templates on the fly in natural language.
This is a list of prompts for this option:
- sensitive data exposure
- SQLi
- XSS
- SSRF
and more
https://github.com/reewardius/Nuclei-AI-Prompts
By twitter.com/reewardius
Nuclei v3.3.9 (@pdiscoveryio) has -ai option to generate and run nuclei templates on the fly in natural language.
This is a list of prompts for this option:
- sensitive data exposure
- SQLi
- XSS
- SSRF
and more
https://github.com/reewardius/Nuclei-AI-Prompts
By twitter.com/reewardius
🔥5❤2
Потрясающий эфир, в котором много крутых экспертов. Рекомендую к просмотру если вам интересны практические примеры применения генеративок сегодня. АМ лайф, если вы хотите провести встречу про llm-security - пишите )))
https://vk.com/video-21732035_456240971?list=ln-DE5QRVzX1hwnLiXSuh
https://vk.com/video-21732035_456240971?list=ln-DE5QRVzX1hwnLiXSuh
🔥2
Вышло исследование с классной статистикой по Supply Chain и уязвимостям в компонентах, которые используются при разработке LLM.
Группа исследователей из Huazhong University of Science and Technology проанализировали 529 уязвимостей в 75 проектах LLM, охватывающих 13 ключевых этапов жизненного цикла при разработке LLM.
(это к примеру MlFlow или ollama или h2o, см рисунок 1). (в период январь 2023 – октябрь 2024). Информация бралась из базы protectai, advisory github и решений HiddenLayer, Jfrog.
Чаще всего конечно попадались уязвимости именно на уровне приложений реализующих взаимодействие с моделями(например langchain) - где-то 50 процентов из всего найденного.
42 процента это проблемы с фреймворками для обучения (например torch, tensorflow).
Чаще всего в решениях были уязвимости связанные с возможностью инъекции непосредственно в приложение(например xss, sql), а также некорректный контроль доступа к ресурсам.
Так как уязвимостей становится всё больше, а поверхность атаки также увеличивается - исследователи рекомендуют использовать sandbox'ы а также всегда проверять вводимые данные.
ссылка
Группа исследователей из Huazhong University of Science and Technology проанализировали 529 уязвимостей в 75 проектах LLM, охватывающих 13 ключевых этапов жизненного цикла при разработке LLM.
(это к примеру MlFlow или ollama или h2o, см рисунок 1). (в период январь 2023 – октябрь 2024). Информация бралась из базы protectai, advisory github и решений HiddenLayer, Jfrog.
Чаще всего конечно попадались уязвимости именно на уровне приложений реализующих взаимодействие с моделями(например langchain) - где-то 50 процентов из всего найденного.
42 процента это проблемы с фреймворками для обучения (например torch, tensorflow).
Чаще всего в решениях были уязвимости связанные с возможностью инъекции непосредственно в приложение(например xss, sql), а также некорректный контроль доступа к ресурсам.
Так как уязвимостей становится всё больше, а поверхность атаки также увеличивается - исследователи рекомендуют использовать sandbox'ы а также всегда проверять вводимые данные.
ссылка
🔥3❤1👍1
Дамы и господа, ни к чему не обязывающий опрос. Хочется узнать у вас работаете ли вы там, где необходимо совмещать ИБ и ИИ. (нужно выбрать несколько вариантов)
Anonymous Poll
14%
Да, занимаюсь больше машинным обучением для безопасности
18%
Да, стараюсь сделать машинное обучение безопасным
6%
Да, пишу научные публикации по теме безопасности машинного обучения
18%
Мне просто это интересно и в дальнейшем планирую работать в сфере защиты искусственного интеллекта.
43%
Хочу для себя понять как можно применить ИИ в ИБ
23%
Мне интересна безопасность LLM и всё что с этим связано, и планирую связать с этим свой путь.
19%
Пока не вижу перспектив в защите ИИ, однако эта тема меня также интересует.
Интересный вектор на Reasoning-модели(Модели, которые могут рассуждать, например новый Claude 3.7, DeepSeek R1) - появился на свет.
Атака OVERTHINK заставляет модель думать в 18 раз медленнее и я проверил этот вектор. При том что она медленнее думает, количество затрачиваемых токенов космически возрастает, как и ресурсы на вычисление(ну можно сказать что это разновидность т.н Sponge Атак).
В публичном PoC, в коде, описывается использование внешнего датасета, из которого выбираются задачи, которые в целом не нарушают требования к security(тоесть это вообще не про промпт-инъекции) - например логические задачки или что-то из математики. Эти задачи сами по себе должны вызвать большое количество рассуждений.
Дальше происходит происходит инъекция ложных задач, но которые идеально вписываются в общий контекст, можно использовать внешние ссылки. Особенно если в статье обсуждается решение изначальной проблемы. При появлении новых задач органично вписывающихся в контекст увеличивается время рассуждения и модель тратит больше ресурсов на анализ.
Атакующий может делать что-то вроде конструктора - идеально сочетая изначальные задачи с дополнительными (чтобы использовать больше токенов).
В конечном счёте, конечный пользователь начинает ощущать дискомфорт при взаимодействии с моделью, если она интегрирована в приложение. Так как всё начинает работать медленнее.
Из вариантов митигации, в статье описывается что можно использовать кеширование, чтобы отвечать на повторяющиеся запросы, а также ограничивать ресурсы на конкретные задачи.
Атака OVERTHINK заставляет модель думать в 18 раз медленнее и я проверил этот вектор. При том что она медленнее думает, количество затрачиваемых токенов космически возрастает, как и ресурсы на вычисление(ну можно сказать что это разновидность т.н Sponge Атак).
В публичном PoC, в коде, описывается использование внешнего датасета, из которого выбираются задачи, которые в целом не нарушают требования к security(тоесть это вообще не про промпт-инъекции) - например логические задачки или что-то из математики. Эти задачи сами по себе должны вызвать большое количество рассуждений.
Дальше происходит происходит инъекция ложных задач, но которые идеально вписываются в общий контекст, можно использовать внешние ссылки. Особенно если в статье обсуждается решение изначальной проблемы. При появлении новых задач органично вписывающихся в контекст увеличивается время рассуждения и модель тратит больше ресурсов на анализ.
Атакующий может делать что-то вроде конструктора - идеально сочетая изначальные задачи с дополнительными (чтобы использовать больше токенов).
В конечном счёте, конечный пользователь начинает ощущать дискомфорт при взаимодействии с моделью, если она интегрирована в приложение. Так как всё начинает работать медленнее.
Из вариантов митигации, в статье описывается что можно использовать кеширование, чтобы отвечать на повторяющиеся запросы, а также ограничивать ресурсы на конкретные задачи.
🔥3❤1
Media is too big
VIEW IN TELEGRAM
Давно не виделись ! А тем временем я приглашаю вас послушать о том кто-же такие "Шифропанки".
В Музее криптографии Я и Даша Курнаева - расскажем вам историю зарождения движения шифропанков, их значимость в ИБ-культуре, а также то как они скрываются сейчас - в эпоху больших данных. Более подробное описание - тут.
Хоть это и не про атаки на ИИ, но очень смежная тема.
Приходите на ламповую встречу. Это бесплатно. Уж ради ромашкового чая то стоит прийти😁 😁 😁 .
Нужно зарегистрироваться заранее. Это можно сделать по этой ссылке.
Встречаемся в 12:00, 30го марта в Музее Криптографии.
псс, если не сложно - сделайте репост.🤑 🤑
В Музее криптографии Я и Даша Курнаева - расскажем вам историю зарождения движения шифропанков, их значимость в ИБ-культуре, а также то как они скрываются сейчас - в эпоху больших данных. Более подробное описание - тут.
Хоть это и не про атаки на ИИ, но очень смежная тема.
Приходите на ламповую встречу. Это бесплатно. Уж ради ромашкового чая то стоит прийти
Нужно зарегистрироваться заранее. Это можно сделать по этой ссылке.
Встречаемся в 12:00, 30го марта в Музее Криптографии.
псс, если не сложно - сделайте репост.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍5❤4😎2🗿1
Forwarded from Борис_ь с ml
ИИ-агенты для проведения пентеста
#ml_для_иб
Недавно занялся одной научной задачей, и собрал источники по автоматизированным пентест-агентам.
Получился неплохой список, которым я решил поделиться.
1. https://github.com/vxcontrol/pentagi
2. https://github.com/palisaderesearch/intercode
3. https://github.com/xvnpw/ai-security-analyzer
4. https://github.com/KHenryAegis/VulnBot
5. https://github.com/xbow-engineering/validation-benchmarks
6. https://github.com/gyoisamurai/GyoiThon
7. Link: Black-Box Detection of Cross-Site Scripting Vulnerabilities Using Reinforcement Learning https://github.com/WSP-LAB/Link https://www.researchgate.net/publication/360179780_Link_Black-Box_Detection_of_Cross-Site_Scripting_Vulnerabilities_Using_Reinforcement_Learning
8. Can LLMs Hack Enterprise Networks? Autonomous Assumed Breach Penetration-Testing Active Directory Networks - https://arxiv.org/pdf/2502.04227
9. Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security - https://arxiv.org/abs/2406.07561v1
10. BreachSeek: A Multi-Agent Automated Penetration Tester https://arxiv.org/abs/2409.03789
11. HackSynth: LLM Agent and Evaluation Framework for Autonomous Penetration Testing https://arxiv.org/abs/2412.01778
12. LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks https://arxiv.org/html/2310.11409v5
Introducing PenTest++: Elevating Ethical Hacking with AI and Automation https://arxiv.org/abs/2502.09484
13. D-CIPHER: Dynamic Collaborative Intelligent Agents with Planning and Heterogeneous Execution for Enhanced Reasoning in Offensive Security https://arxiv.org/html/2502.10931v1
14. Construction and Evaluation of LLM-based agents for Semi-Autonomous penetration testing https://arxiv.org/abs/2502.15506
Данная публикация носит исключительно научно-обзорный характер.
P.S. Спасибо Артем и Николай.
P. P. S. Параллельно я встретил еще несколько статей про генерацию фишинга
#ml_для_иб
Недавно занялся одной научной задачей, и собрал источники по автоматизированным пентест-агентам.
Получился неплохой список, которым я решил поделиться.
1. https://github.com/vxcontrol/pentagi
2. https://github.com/palisaderesearch/intercode
3. https://github.com/xvnpw/ai-security-analyzer
4. https://github.com/KHenryAegis/VulnBot
5. https://github.com/xbow-engineering/validation-benchmarks
6. https://github.com/gyoisamurai/GyoiThon
7. Link: Black-Box Detection of Cross-Site Scripting Vulnerabilities Using Reinforcement Learning https://github.com/WSP-LAB/Link https://www.researchgate.net/publication/360179780_Link_Black-Box_Detection_of_Cross-Site_Scripting_Vulnerabilities_Using_Reinforcement_Learning
8. Can LLMs Hack Enterprise Networks? Autonomous Assumed Breach Penetration-Testing Active Directory Networks - https://arxiv.org/pdf/2502.04227
9. Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security - https://arxiv.org/abs/2406.07561v1
10. BreachSeek: A Multi-Agent Automated Penetration Tester https://arxiv.org/abs/2409.03789
11. HackSynth: LLM Agent and Evaluation Framework for Autonomous Penetration Testing https://arxiv.org/abs/2412.01778
12. LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks https://arxiv.org/html/2310.11409v5
Introducing PenTest++: Elevating Ethical Hacking with AI and Automation https://arxiv.org/abs/2502.09484
13. D-CIPHER: Dynamic Collaborative Intelligent Agents with Planning and Heterogeneous Execution for Enhanced Reasoning in Offensive Security https://arxiv.org/html/2502.10931v1
14. Construction and Evaluation of LLM-based agents for Semi-Autonomous penetration testing https://arxiv.org/abs/2502.15506
P.S. Спасибо Артем и Николай.
P. P. S. Параллельно я встретил еще несколько статей про генерацию фишинга
🔥11👍4👀1