Telegram Web
В фреймворках для создания агентов тоже могут быть RCE...

Это классное исследование проливает свет на уязвимость в smolagent, фреймворк от huggingface.
Тут OWASP открыл репозиторий с примерами уязвимых реализаций агентных систем ...

https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/tree/main/initiatives/agent_security_initiative

Можем посмотреть примеры небезопасной реализации агентов в LangGraph, CrewAI а также swarm от open AI. Интересный репозиторий.
🔥7👍21
Forwarded from PurpleBear (Vadim Shelest)
One LLM chat to rule them all

Использование больших языковых моделей в наши дни уже стало привычной рутиной для большинства людей во многих областях деятельности. Регулярно появляются новые модели с новой функциональностью, на примере с DeepSeek R1 спровоцировавшей панику на фондовом рынке в конце января. Мне как и думаю большинству из вас тогда сразу же захотелось ее потестировать, чтобы заставить бездушную машину поразмышлять о смысле жизни, будущем атакующей кибербезопасности и о том как Алексей Лукацкий может писать столько постов в своем канале🤠 а также других риторических вопросах.

Представляю вашему вниманию небольшой обзор двух достойных приложений с LLM чатами в веб-интерфейсе с открытым исходным, которые можно развернуть самостоятельно и значительно увеличить потенциал использования больших языковых моделей. А дочитав до конца вы узнаете, как получить в свое распоряжение API для более 100 различных моделей абсолютно бесплатно😎
🔥3👍1
Forwarded from Cyber Detective
Nuclei AI Prompts

Nuclei v3.3.9 (@pdiscoveryio) has -ai option to generate and run nuclei templates on the fly in natural language.

This is a list of prompts for this option:

- sensitive data exposure
- SQLi
- XSS
- SSRF

and more

https://github.com/reewardius/Nuclei-AI-Prompts

By twitter.com/reewardius
🔥52
Потрясающий эфир, в котором много крутых экспертов. Рекомендую к просмотру если вам интересны практические примеры применения генеративок сегодня. АМ лайф, если вы хотите провести встречу про llm-security - пишите )))

https://vk.com/video-21732035_456240971?list=ln-DE5QRVzX1hwnLiXSuh
🔥2
This media is not supported in the widget
VIEW IN TELEGRAM
Вышло исследование с классной статистикой по Supply Chain и уязвимостям в компонентах, которые используются при разработке LLM.

Группа исследователей из Huazhong University of Science and Technology проанализировали 529 уязвимостей в 75 проектах LLM, охватывающих 13 ключевых этапов жизненного цикла при разработке LLM.
(это к примеру MlFlow или ollama или h2o, см рисунок 1). (в период январь 2023 – октябрь 2024). Информация бралась из базы protectai, advisory github и решений HiddenLayer, Jfrog.

Чаще всего конечно попадались уязвимости именно на уровне приложений реализующих взаимодействие с моделями(например langchain) - где-то 50 процентов из всего найденного.
42 процента это проблемы с фреймворками для обучения (например torch, tensorflow).

Чаще всего в решениях были уязвимости связанные с возможностью инъекции непосредственно в приложение(например xss, sql), а также некорректный контроль доступа к ресурсам.

Так как уязвимостей становится всё больше, а поверхность атаки также увеличивается - исследователи рекомендуют использовать sandbox'ы а также всегда проверять вводимые данные.

ссылка
🔥31👍1
Интересный вектор на Reasoning-модели(Модели, которые могут рассуждать, например новый Claude 3.7, DeepSeek R1) - появился на свет.

Атака OVERTHINK заставляет модель думать в 18 раз медленнее и я проверил этот вектор. При том что она медленнее думает, количество затрачиваемых токенов космически возрастает, как и ресурсы на вычисление(ну можно сказать что это разновидность т.н Sponge Атак).

В публичном PoC, в коде, описывается использование внешнего датасета, из которого выбираются задачи, которые в целом не нарушают требования к security(тоесть это вообще не про промпт-инъекции) - например логические задачки или что-то из математики. Эти задачи сами по себе должны вызвать большое количество рассуждений.

Дальше происходит происходит инъекция ложных задач, но которые идеально вписываются в общий контекст, можно использовать внешние ссылки. Особенно если в статье обсуждается решение изначальной проблемы. При появлении новых задач органично вписывающихся в контекст увеличивается время рассуждения и модель тратит больше ресурсов на анализ.

Атакующий может делать что-то вроде конструктора - идеально сочетая изначальные задачи с дополнительными (чтобы использовать больше токенов).

В конечном счёте, конечный пользователь начинает ощущать дискомфорт при взаимодействии с моделью, если она интегрирована в приложение. Так как всё начинает работать медленнее.

Из вариантов митигации, в статье описывается что можно использовать кеширование, чтобы отвечать на повторяющиеся запросы, а также ограничивать ресурсы на конкретные задачи.
🔥31
Media is too big
VIEW IN TELEGRAM
Давно не виделись ! А тем временем я приглашаю вас послушать о том кто-же такие "Шифропанки".

В Музее криптографии Я и Даша Курнаева - расскажем вам историю зарождения движения шифропанков, их значимость в ИБ-культуре, а также то как они скрываются сейчас - в эпоху больших данных. Более подробное описание - тут.

Хоть это и не про атаки на ИИ, но очень смежная тема.

Приходите на ламповую встречу. Это бесплатно. Уж ради ромашкового чая то стоит прийти 😁😁😁.

Нужно зарегистрироваться заранее. Это можно сделать по этой ссылке.

Встречаемся в 12:00, 30го марта в Музее Криптографии.

псс, если не сложно - сделайте репост.🤑🤑
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍54😎2🗿1
PWN AI pinned a video
Forwarded from Борис_ь с ml
ИИ-агенты для проведения пентеста

#ml_для_иб

Недавно занялся одной научной задачей, и собрал источники по автоматизированным пентест-агентам.

Получился неплохой список, которым я решил поделиться.

1. https://github.com/vxcontrol/pentagi
2. https://github.com/palisaderesearch/intercode
3. https://github.com/xvnpw/ai-security-analyzer
4. https://github.com/KHenryAegis/VulnBot
5. https://github.com/xbow-engineering/validation-benchmarks
6. https://github.com/gyoisamurai/GyoiThon

7. Link: Black-Box Detection of Cross-Site Scripting Vulnerabilities Using Reinforcement Learning https://github.com/WSP-LAB/Link https://www.researchgate.net/publication/360179780_Link_Black-Box_Detection_of_Cross-Site_Scripting_Vulnerabilities_Using_Reinforcement_Learning
8. Can LLMs Hack Enterprise Networks? Autonomous Assumed Breach Penetration-Testing Active Directory Networks - https://arxiv.org/pdf/2502.04227
9. Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security - https://arxiv.org/abs/2406.07561v1
10. BreachSeek: A Multi-Agent Automated Penetration Tester https://arxiv.org/abs/2409.03789
11. HackSynth: LLM Agent and Evaluation Framework for Autonomous Penetration Testing https://arxiv.org/abs/2412.01778
12. LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks https://arxiv.org/html/2310.11409v5
Introducing PenTest++: Elevating Ethical Hacking with AI and Automation https://arxiv.org/abs/2502.09484
13. D-CIPHER: Dynamic Collaborative Intelligent Agents with Planning and Heterogeneous Execution for Enhanced Reasoning in Offensive Security https://arxiv.org/html/2502.10931v1
14. Construction and Evaluation of LLM-based agents for Semi-Autonomous penetration testing https://arxiv.org/abs/2502.15506

Данная публикация носит исключительно научно-обзорный характер.

P.S. Спасибо Артем и Николай.

P. P. S. Параллельно я встретил еще несколько статей про генерацию фишинга
🔥11👍4👀1
2025/07/13 02:03:52
Back to Top
HTML Embed Code: