Forwarded from Борис_ь с ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISec [x\x feed] (AISec_ARXIV)
📝 Vulnerability Detection in Popular Programming Languages with Language Models
Vulnerability detection is crucial for maintaining software security, and recent research has explored the use of Language Models (LMs) for this task. While LMs have shown promising results, their performance has been inconsistent across datasets, particularly when generalizing to unseen code. Moreover, most studies have focused on the C/C++ programming language, with limited attention given to other popular languages. This paper addresses this gap by investigating the effectiveness of LMs for vulnerability detection in JavaScript, Java, Python, PHP, and Go, in addition to C/C++ for comparison. We utilize the CVEFixes dataset to create a diverse collection of language-specific vulnerabilities and preprocess the data to ensure quality and integrity. We fine-tune and evaluate state-of-the-art LMs across the selected languages and find that the performance of vulnerability detection varies significantly. JavaScript exhibits the best performance, with considerably better and more practical detection capabilities compared to C/C++. We also examine the relationship between code complexity and detection performance across the six languages and find only a weak correlation between code complexity metrics and the models' F1 scores.
💡 Key Findings:
• The paper investigates the effectiveness of Language Models (LMs) for vulnerability detection in popular programming languages, including JavaScript, Java, Python, PHP, and Go, in addition to C/C++. This expands the scope beyond previous studies that focused mainly on C/C++.
• The authors utilize the CVEFixes dataset and preprocess it to create language-specific subsets for evaluation. They fine-tune and evaluate state-of-the-art LMs on these subsets to assess their performance in detecting vulnerabilities.
• The results show that JavaScript exhibits the best performance, with considerably better and more practical detection capabilities compared to C/C++. The performance of vulnerability detection varies significantly across the selected languages.
• The paper also analyzes the relationship between code complexity and vulnerability detection performance and finds only a weak correlation between code complexity metrics and the models' F1 scores.
• The main practical implication of this work is the potential use of LMs for vulnerability detection in popular programming languages, particularly JavaScript. The curated dataset, scripts, and experimental results are publicly released to support open science and replication of the findings.
• The limitations of the work are discussed in the paper, and future work could involve exploring other programming languages and investigating techniques to improve the generalization of LMs to unseen code.
👥 Authors: Syafiq Al Atiiq, Kevin Dahlén, Christian Gehrmann
📅 Published: 2024-12-20
🔗 ArXiv
#AI #Detection #Popular #Security #Vulnerability
📂 AI Security papers | 📱 AI Security channels
Vulnerability detection is crucial for maintaining software security, and recent research has explored the use of Language Models (LMs) for this task. While LMs have shown promising results, their performance has been inconsistent across datasets, particularly when generalizing to unseen code. Moreover, most studies have focused on the C/C++ programming language, with limited attention given to other popular languages. This paper addresses this gap by investigating the effectiveness of LMs for vulnerability detection in JavaScript, Java, Python, PHP, and Go, in addition to C/C++ for comparison. We utilize the CVEFixes dataset to create a diverse collection of language-specific vulnerabilities and preprocess the data to ensure quality and integrity. We fine-tune and evaluate state-of-the-art LMs across the selected languages and find that the performance of vulnerability detection varies significantly. JavaScript exhibits the best performance, with considerably better and more practical detection capabilities compared to C/C++. We also examine the relationship between code complexity and detection performance across the six languages and find only a weak correlation between code complexity metrics and the models' F1 scores.
💡 Key Findings:
• The paper investigates the effectiveness of Language Models (LMs) for vulnerability detection in popular programming languages, including JavaScript, Java, Python, PHP, and Go, in addition to C/C++. This expands the scope beyond previous studies that focused mainly on C/C++.
• The authors utilize the CVEFixes dataset and preprocess it to create language-specific subsets for evaluation. They fine-tune and evaluate state-of-the-art LMs on these subsets to assess their performance in detecting vulnerabilities.
• The results show that JavaScript exhibits the best performance, with considerably better and more practical detection capabilities compared to C/C++. The performance of vulnerability detection varies significantly across the selected languages.
• The paper also analyzes the relationship between code complexity and vulnerability detection performance and finds only a weak correlation between code complexity metrics and the models' F1 scores.
• The main practical implication of this work is the potential use of LMs for vulnerability detection in popular programming languages, particularly JavaScript. The curated dataset, scripts, and experimental results are publicly released to support open science and replication of the findings.
• The limitations of the work are discussed in the paper, and future work could involve exploring other programming languages and investigating techniques to improve the generalization of LMs to unseen code.
👥 Authors: Syafiq Al Atiiq, Kevin Dahlén, Christian Gehrmann
📅 Published: 2024-12-20
🔗 ArXiv
#AI #Detection #Popular #Security #Vulnerability
📂 AI Security papers | 📱 AI Security channels
PWN AI
📝 Vulnerability Detection in Popular Programming Languages with Language Models Vulnerability detection is crucial for maintaining software security, and recent research has explored the use of Language Models (LMs) for this task. While LMs have shown promising…
Скоро тут будет не только arxiv 😁
Forwarded from Мак и коты и AI Safety
При помощи Claude запилил перевод поста Скотта Александера про последнее опубликованное исследование от Anthropic и Redwood Research. Они там показали обманчивую согласованность экспериментально.
В смысле, ПАНИКА ПАНИКА ИИ ПРИТВОРЯЕТСЯ ЧТОБЫ ЕГО НЕ ПЕРЕОБУЧИЛИ А-А-А-А-А-А-А, если так понятнее.
Я всё вычитал, отредактировал и проверил - вроде бы Claude нигде никакого злобного обмана не встроила.
На aisafety.ru
На lesswrong.ru
На хабре
Оригинал
В смысле, ПАНИКА ПАНИКА ИИ ПРИТВОРЯЕТСЯ ЧТОБЫ ЕГО НЕ ПЕРЕОБУЧИЛИ А-А-А-А-А-А-А, если так понятнее.
Я всё вычитал, отредактировал и проверил - вроде бы Claude нигде никакого злобного обмана не встроила.
На aisafety.ru
На lesswrong.ru
На хабре
Оригинал
Безопасность искусственного интеллекта
Claude сопротивляется
Перевод поста Скотта Александера, где он разъясняет недавнее исследование от Anthropic и Redwood Research, в котором они экспериментально показали обманчивую согласованность. Оригинал. *** Гринблат…
Привет подписчики. Все подводят итоги уходящего года. Это отличное время чтобы сделать тоже самое. Я постараюсь сделать максимально душевно и без инфографики.
Я конечно рад, что в этом году удалось кратно увеличить ваше количество. Удалось и рассмотреть огромное количество тем. И на встречах поговорить с некоторыми из вас.
Аудитория этого канала - разные эксперты. Кто-то знает за классическую ИБ, кто-то просто программист, а кто-то - мой родственник или специалист по MlSecurity. При написании поста конечно-же идёт упор в сторону простоты объяснения и вовлечения каждого из вас в эту интересную тему.
Как вы могли заметить, на канале нету рекламы, ничего не продается. И канал не преследует мысли какой-то конкретной компании. Он буквально создаётся сообществом. И я надеюсь, что это будет приносить ещё больше плодов. Как бы эти утопические мечты радужно не звучали ...
Конечно есть ряд идей, по улучшению канала. Например, вы могли заметить что мы с сообществом "Слономойка" стали проводить оффлайн митапы на базе Музея Криптографии, или что во втором канале уже работают боты, которые извлекают из интернета полезную информацию по теме ML Security. А совсем скоро вас ждёт воркшоп, в котором мы вместе атакуем агентную систему.
Я также верю, что количество полезного контента в следующем году значительно возрастёт - как и сама индустрия в России. Я постараюсь это максимально оперативно освящать, но для этого нужны, конечно же, - ваши реакции и репосты.
А теперь подведем итоги года. За этот год:
Появилось множество игроков в области AI security, многие из которых ориентируются исключительно на LLM.
Появилось множество фреймворков по безопасной разработке ML.
Организации такие как NIST, OWASP и другие выпустили ещё некоторое количество стандартов, а также появились ГОСТы и регуляторы начали говорить об этом.
Инструментов и техник для атак появилось кратно, в несколько раз больше чем в предыдущем году. Куда же без этой очевидной новости.
А вас стало на 2400 человек больше.
В новом году хочется пожелать каждому приятного окружения, меньше выгорания и больше путешествовать. Открывать для себя не только мир AI Security, но и интересные места в реальной жизни.
🍷 🍷 🍷
P.s бесконечный респект и уважение команде людей, с которыми я работаю.
Я конечно рад, что в этом году удалось кратно увеличить ваше количество. Удалось и рассмотреть огромное количество тем. И на встречах поговорить с некоторыми из вас.
Аудитория этого канала - разные эксперты. Кто-то знает за классическую ИБ, кто-то просто программист, а кто-то - мой родственник или специалист по MlSecurity. При написании поста конечно-же идёт упор в сторону простоты объяснения и вовлечения каждого из вас в эту интересную тему.
Как вы могли заметить, на канале нету рекламы, ничего не продается. И канал не преследует мысли какой-то конкретной компании. Он буквально создаётся сообществом. И я надеюсь, что это будет приносить ещё больше плодов. Как бы эти утопические мечты радужно не звучали ...
Конечно есть ряд идей, по улучшению канала. Например, вы могли заметить что мы с сообществом "Слономойка" стали проводить оффлайн митапы на базе Музея Криптографии, или что во втором канале уже работают боты, которые извлекают из интернета полезную информацию по теме ML Security. А совсем скоро вас ждёт воркшоп, в котором мы вместе атакуем агентную систему.
Я также верю, что количество полезного контента в следующем году значительно возрастёт - как и сама индустрия в России. Я постараюсь это максимально оперативно освящать, но для этого нужны, конечно же, - ваши реакции и репосты.
А теперь подведем итоги года. За этот год:
Появилось множество игроков в области AI security, многие из которых ориентируются исключительно на LLM.
Появилось множество фреймворков по безопасной разработке ML.
Организации такие как NIST, OWASP и другие выпустили ещё некоторое количество стандартов, а также появились ГОСТы и регуляторы начали говорить об этом.
Инструментов и техник для атак появилось кратно, в несколько раз больше чем в предыдущем году. Куда же без этой очевидной новости.
А вас стало на 2400 человек больше.
В новом году хочется пожелать каждому приятного окружения, меньше выгорания и больше путешествовать. Открывать для себя не только мир AI Security, но и интересные места в реальной жизни.
P.s бесконечный респект и уважение команде людей, с которыми я работаю.
Please open Telegram to view this post
VIEW IN TELEGRAM
Агенты это потрясающая вещь. Уже множество рутинных задач можно переложить на них. Но как их разрабатывать ? Как получить пользу в контексте кибербезопасности ? Об этом не так много материала, но недавно я нашёл классную статью про то как применяли фреймворк crew ai, для создания мультиагентной системы - чтобы та решала задания в уязвимом приложении.
https://devsec-blog.com/2024/12/building-ai-agents-to-solve-security-challenges/
В мануале приведены базовые шаги по установке фреймворка, создания проекта и определения целей. Must-read.
Crew является мощным инструментом, он позволяет создавать агентов, которые могут иметь доступ в интернет, работать с файлами и т.д - вот большая документация по методам. А вот и примеры реализации этого фреймворка в разных задачах. Сам я пользоваться этим начал недавно, но я уже прочувствовал большой профит, когда я сделал систему для поиска специфичной информации по иб и её оценке или попробовал проинтегрировать в один известный osint-инструмент(об этом будет позже).
2025 - определённо будет годом, когда мультиагентных систем в различных приложениях будет больше. Уже видим пример успешной интеграции в cursor.com, IDE которая может выполнять различные действия, создавать папки и файлы в проекте а также выполнять код на компьютере и установку компонентов (и это страшно, так как есть риски когда можно закинуть инструкцию в код и LLM будет генерить что-то плохое - попробуйте поэксперементировать 😁😁).
https://devsec-blog.com/2024/12/building-ai-agents-to-solve-security-challenges/
В мануале приведены базовые шаги по установке фреймворка, создания проекта и определения целей. Must-read.
Crew является мощным инструментом, он позволяет создавать агентов, которые могут иметь доступ в интернет, работать с файлами и т.д - вот большая документация по методам. А вот и примеры реализации этого фреймворка в разных задачах. Сам я пользоваться этим начал недавно, но я уже прочувствовал большой профит, когда я сделал систему для поиска специфичной информации по иб и её оценке или попробовал проинтегрировать в один известный osint-инструмент(об этом будет позже).
2025 - определённо будет годом, когда мультиагентных систем в различных приложениях будет больше. Уже видим пример успешной интеграции в cursor.com, IDE которая может выполнять различные действия, создавать папки и файлы в проекте а также выполнять код на компьютере и установку компонентов (и это страшно, так как есть риски когда можно закинуть инструкцию в код и LLM будет генерить что-то плохое - попробуйте поэксперементировать 😁😁).
PWN AI
Агенты это потрясающая вещь. Уже множество рутинных задач можно переложить на них. Но как их разрабатывать ? Как получить пользу в контексте кибербезопасности ? Об этом не так много материала, но недавно я нашёл классную статью про то как применяли фреймворк…
@alukatsky попросил показать как можно использовать всю эту агентную тему для полезных вещей. Я выше описывал, что я использую при поиске информации.
Как это происходило раньше
- да буквально анализ рассылок, гуглежка но с использованием дорков или же чтение пабликов в телеге. Все делалось чтобы найти что-то по AI security.
Ребята из Сбера показывали инструмент который делает выжимки и анализ arxiv на наличие новых статьей. Однако arxiv не единственный источник. Поэтому мне показалось, что можно при помощи агентной системы в целом улучшить это всё дело.
Как это можно улучшить и что сделал я.
Посмотреть демо-запуск можно тут (исходники могу приложить позже, если будет слишком много реакций, ну вы поняли 😉😉😉).
Идея в следующем:
Агентная система состоит из 4 агентов
Роль первого - генерировать Дорки для Гугла исходя из запросов
Роль второго - искать контент по запросу и доркам
Роль третьего - верифицировать что контент подходит под запрос, да и в целом относится к AI security. И только
Роль четвертого - сделать красивый отчёт
Все это на crew ai, правда чтобы нам использовать вывод в пдф или генерацию гугл дорков - нужно сделать отдельные модули, к которым будет обращаться агент. Гугл Дорки нужны чтобы поиск шел лучше, точнее и т.д
По итогу, что мы получаем. Система, в которую подаётся запрос. На основе него генерируется 50 дорков(да-да, это скорее всего будет улучшено). По каждому из дорков происходит поиск, используется Google search api. Дальше происходит оценка найденого и преобразование в отчёт в pdf.
Есть вещи, над которыми я думаю поработать. Например расход токенов или же система которая будет игнорировать промпт инъекции, если они на сайте. Так как это приведет к хаусу. Об этом мы поговорим на воркшопе. Можно также улучшить систему генерации дорков. Примеры отчётов - пишите в л.с. Но если в краце там буквально ссылка, анализ статьи и дата.
Но все же это гораздо лучше чем сидеть и часами анализировать все потоки интернета. Что-то похожее на самом деле можно встретить в https://storm.genie.stanford.edu, только там это не так сильно настраивается и есть много ложных срабатываний.
Вот ещё хороший пример агентной системы, которая стремится обойти edr - https://github.com/NVISOsecurity/cyber-security-llm-agents..
Как это происходило раньше
- да буквально анализ рассылок, гуглежка но с использованием дорков или же чтение пабликов в телеге. Все делалось чтобы найти что-то по AI security.
Ребята из Сбера показывали инструмент который делает выжимки и анализ arxiv на наличие новых статьей. Однако arxiv не единственный источник. Поэтому мне показалось, что можно при помощи агентной системы в целом улучшить это всё дело.
Как это можно улучшить и что сделал я.
Посмотреть демо-запуск можно тут (исходники могу приложить позже, если будет слишком много реакций, ну вы поняли 😉😉😉).
Идея в следующем:
Агентная система состоит из 4 агентов
Роль первого - генерировать Дорки для Гугла исходя из запросов
Роль второго - искать контент по запросу и доркам
Роль третьего - верифицировать что контент подходит под запрос, да и в целом относится к AI security. И только
Роль четвертого - сделать красивый отчёт
Все это на crew ai, правда чтобы нам использовать вывод в пдф или генерацию гугл дорков - нужно сделать отдельные модули, к которым будет обращаться агент. Гугл Дорки нужны чтобы поиск шел лучше, точнее и т.д
По итогу, что мы получаем. Система, в которую подаётся запрос. На основе него генерируется 50 дорков(да-да, это скорее всего будет улучшено). По каждому из дорков происходит поиск, используется Google search api. Дальше происходит оценка найденого и преобразование в отчёт в pdf.
Есть вещи, над которыми я думаю поработать. Например расход токенов или же система которая будет игнорировать промпт инъекции, если они на сайте. Так как это приведет к хаусу. Об этом мы поговорим на воркшопе. Можно также улучшить систему генерации дорков. Примеры отчётов - пишите в л.с. Но если в краце там буквально ссылка, анализ статьи и дата.
Но все же это гораздо лучше чем сидеть и часами анализировать все потоки интернета. Что-то похожее на самом деле можно встретить в https://storm.genie.stanford.edu, только там это не так сильно настраивается и есть много ложных срабатываний.
Вот ещё хороший пример агентной системы, которая стремится обойти edr - https://github.com/NVISOsecurity/cyber-security-llm-agents..
GitHub
GitHub - NVISOsecurity/cyber-security-llm-agents: A collection of agents that use Large Language Models (LLMs) to perform tasks…
A collection of agents that use Large Language Models (LLMs) to perform tasks common on our day to day jobs in cyber security. - NVISOsecurity/cyber-security-llm-agents
В OWASP TOP 10 для LLM, в новой редакции, категория атак на цепочку поставок переместилась с 5ой на 3ю позицию. Это в целом было ожидаемо, большинство используют готовые компоненты и изменить процесс разработки, сделав изначально всё своими руками - крайне сложно. Но полезных источников описывающих эту проблему с ссылками и ресурсами - было не так много. Можно было почитать референсы в OWASP, и казалось что всё.
Автор репозитория awesome-llm-supply-chain-security, Shenaow, решил собирать полезные материалы по этой теме, для того чтобы мы могли быстро оценить то, какие угрозы и проблемы касаемо цепочки поставок есть сейчас.
Понятное дело что этот ресурс можно использовать как для составления докладов, так и для того чтобы попробовать посмотреть примеры и кейсы атак на цепочку поставок, именно в контексте LLM. Но некоторые статьи я посмотрел сам и нашёл кое-что интересное.
Во первых - Large Language Model Supply Chain: A Research Agenda, там приведена потрясающая классификация того, какие компоненты могут быть подвержены атаке, в сравнении с обычным ПО. Это исчерпывающая статья. Она описывает проблемы с которыми приходится сталкиваться на разных этапах, а в дополнение ещё описаны проблемы для агентов. (рисунок 1,2). Также есть краткое описание мер для защиты.
Large Language Model Supply Chain: Open Problems From the Security Perspective, если в первой статье мы видели только классификацию - то в этой статье мы видим уже маппинг атак на обучающую инфраструктуру и компоненты. Это в какой-то степени модель того, какие риски может реализовать злоумышленник в обучающей инфраструктуре. (рисунок 3)
Из полезного я также отметил для себя то, что автор собирает доклады, где эта проблема освящается а также CVE, которые стали возможными именно из-за проблем со стороны.
Автор репозитория awesome-llm-supply-chain-security, Shenaow, решил собирать полезные материалы по этой теме, для того чтобы мы могли быстро оценить то, какие угрозы и проблемы касаемо цепочки поставок есть сейчас.
Понятное дело что этот ресурс можно использовать как для составления докладов, так и для того чтобы попробовать посмотреть примеры и кейсы атак на цепочку поставок, именно в контексте LLM. Но некоторые статьи я посмотрел сам и нашёл кое-что интересное.
Во первых - Large Language Model Supply Chain: A Research Agenda, там приведена потрясающая классификация того, какие компоненты могут быть подвержены атаке, в сравнении с обычным ПО. Это исчерпывающая статья. Она описывает проблемы с которыми приходится сталкиваться на разных этапах, а в дополнение ещё описаны проблемы для агентов. (рисунок 1,2). Также есть краткое описание мер для защиты.
Large Language Model Supply Chain: Open Problems From the Security Perspective, если в первой статье мы видели только классификацию - то в этой статье мы видим уже маппинг атак на обучающую инфраструктуру и компоненты. Это в какой-то степени модель того, какие риски может реализовать злоумышленник в обучающей инфраструктуре. (рисунок 3)
Из полезного я также отметил для себя то, что автор собирает доклады, где эта проблема освящается а также CVE, которые стали возможными именно из-за проблем со стороны.
PWN AI
Страшная картинка. Честно говоря, я раньше не замечал эту табличку в репозитории trail of bits. Но в нашем скромном комьюнити иногда пролетает вопрос: "Есть ли известные инциденты или публичные примеры атак на Ml/MLOps, которые привели компании к различным…
Хороший репозиторий AIAAIC рас."Инциденты и противоречия, связанные с искусственным интеллектом, алгоритмами и автоматизацией".
Мы там можем найти огромное количество примеров предвзятости и небезопасности.
https://www.aiaaic.org/aiaaic-repository
Мы там можем найти огромное количество примеров предвзятости и небезопасности.
https://www.aiaaic.org/aiaaic-repository
Лиза - крутая, сделала сборничек статьей. Если вам хочется что-то интересное почитать, то велком). Не спрашивайте почему между кроликом ходят 2 Филиппа Пети.
Forwarded from HaHacking
Please open Telegram to view this post
VIEW IN TELEGRAM
Говоря об интересных инструментах по AI Security, в этом году я хочу и могу рассказать вам о новом фреймворке для тестирования LLM.
Сперва я расскажу что мне лично в нём понравилось при взаимодействии:
1 - интеграция как с API популярных моделей, так и локальными моделями, также есть поддержка REST-API (это говорит нам о том, что мы можем тестировать приложения, в которых есть LLM, и в отличии от всего что я видел - тут невероятно простая интеграция).
2 - Поддержка техник мутации промпта, генерация данных для тестирования - это значит что не просто статический промпт подаётся как в garak, а он может быть изменён в зависимости от контекста) (fuzzy/handlers/attacks/genetic + gpt_fuzzer, который генерирует тимплейты)
3 - Поддержка большого колличества популярных атак, и весь датасет атак хранится в jsonl, можно без проблем дополнить.
Я говорю о FuzzyAI, довольно интересном фреймворке, который поможет оценить безопасность LLM, включая те что интегрированны в приложение. На данный момент реализовано больше 15 атак или как их правильно будет называть "тестов", оцениваются такие вектора как ASCIIArt атака, джейлбрейки, тестирование на генерацию галлюцинаций и т.д
https://github.com/cyberark/FuzzyAI/
Сперва я расскажу что мне лично в нём понравилось при взаимодействии:
1 - интеграция как с API популярных моделей, так и локальными моделями, также есть поддержка REST-API (это говорит нам о том, что мы можем тестировать приложения, в которых есть LLM, и в отличии от всего что я видел - тут невероятно простая интеграция).
2 - Поддержка техник мутации промпта, генерация данных для тестирования - это значит что не просто статический промпт подаётся как в garak, а он может быть изменён в зависимости от контекста) (fuzzy/handlers/attacks/genetic + gpt_fuzzer, который генерирует тимплейты)
3 - Поддержка большого колличества популярных атак, и весь датасет атак хранится в jsonl, можно без проблем дополнить.
Я говорю о FuzzyAI, довольно интересном фреймворке, который поможет оценить безопасность LLM, включая те что интегрированны в приложение. На данный момент реализовано больше 15 атак или как их правильно будет называть "тестов", оцениваются такие вектора как ASCIIArt атака, джейлбрейки, тестирование на генерацию галлюцинаций и т.д
https://github.com/cyberark/FuzzyAI/