Лиза - крутая, сделала сборничек статьей. Если вам хочется что-то интересное почитать, то велком). Не спрашивайте почему между кроликом ходят 2 Филиппа Пети.

Говоря об интересных инструментах по AI Security, в этом году я хочу и могу рассказать вам о новом фреймворке для тестирования LLM.

Сперва я расскажу что мне лично в нём понравилось при взаимодействии:

1 - интеграция как с API популярных моделей, так и локальными моделями, также есть поддержка REST-API (это говорит нам о том, что мы можем тестировать приложения, в которых есть LLM, и в отличии от всего что я видел - тут невероятно простая интеграция).
2 - Поддержка техник мутации промпта, генерация данных для тестирования - это значит что не просто статический промпт подаётся как в garak, а он может быть изменён в зависимости от контекста) (fuzzy/handlers/attacks/genetic + gpt_fuzzer, который генерирует тимплейты)
3 - Поддержка большого колличества популярных атак, и весь датасет атак хранится в jsonl, можно без проблем дополнить.


Я говорю о FuzzyAI, довольно интересном фреймворке, который поможет оценить безопасность LLM, включая те что интегрированны в приложение. На данный момент реализовано больше 15 атак или как их правильно будет называть "тестов", оцениваются такие вектора как ASCIIArt атака, джейлбрейки, тестирование на генерацию галлюцинаций и т.д

https://github.com/cyberark/FuzzyAI/

Я вижу что вам немного стало интересно о применении агентов. На русском материала не было. Простым языком и без лишнего пафоса. Но я написал статью, где показал примеры создания мультиагентной системы для сбора информации по уязвимостям, а также тыкалку xss и sqlinj в dvwa.

Поддержите репостом.

Чёрт, с момента релиза 3.5 уже прошло больше 2ух лет 😁😁😭

https://habr.com/ru/articles/871780/

Вводим новый формат — обзоры на стартапы и бизнесы, связанные с AI Safety

Это может быть полезно, чтобы понять чем можно заниматься в AIS не будучи исследователем, следить за трендами в индустрии

Начинаем с компании-андердога asteroid.ai. Компания прямо сейчас проходит Ycombinator, наиболее известный стартап-акселератор в мире. Основатели (первый, второй) - достаточно молодые чуваки, закончили бакалавра в 21 и 22 году. David вот имеет магу в University of Edinburgh и какой-то опыт разработки и исследований, даже был фаундером другого стартапа

Текстовое интервью с Joe Hewett, одним из фаундеров компании

Если кратко, то эти ребята помогают проверять уже созданных агентов на безопасность. При этом это не фреймворк, а обвязка над существующими агентами.

Детальнее: всё крутится вокруг supervisor-слоя, который добавляется в агентную систему. Supervisor проверяет запрос агента, может его отклонить, принять или эскалировать другому supervisor. Этот слой может быть реализован с помощью LLM, реального человека (разметчика) или кода (эвристик) или цепочкой из этих элементов. Supervisor может быть добавлен как на стадии разработки, так и в продакшене. . В первом случае Asteroid ускоряет поиск и устранение ошибок, во втором — проверяет действия агента и может отправить решение агента на проверку реальному человеку, для которого в Asteroid.ai создана платформа. На картинке ниже указана архитектура

Пример: ваш AI-бот пишет письма клиентам, бронирует созвоны с ними и ведёт базу данных. Всё идеально, пока однажды он случайно не отправляет конфиденциальную информацию. Ошибка, которая могла бы стоить вам репутации и денег. Asteroid.ai перед отправкой письма сначала отправит его на проверку человеку или запустит симуляцию, чтобы гарантировать, что всё идёт по плану. Это не просто надзор — это страховка для бизнеса. Особенно полезно для компаний, работающих с LLM, финансовыми данными или в сфере безопасности.

Вот тут демо продукта на YouTube

Какую ценность этот продукт добавляет в мир?

- Объединение нескольких инструментов мониторинга в одном: код, LLM и реальный человек.
- UX для оценщика (которого раньше мы называли «реальным человеком»).

По сути, многое из этого может написать команда ML-разработки, вам просто не нужно будет тратить на это время.

Хотим подробный разбор почему удалась эксплуатация ?

P.S окей - в ближайшее время будет статья. Т.К проблема есть не только в этом сервисе - мы рассмотрим какой стек используется, мисконфигурации и что можно сделать с этим.

Друзья. Спасибо за встречу.
Запись - https://rutube.ru/video/9f0e0b809a46fdecc8b51368ca47419b/ (сори за проблемы со звуком).

Прикладываю презентацию и ссылки.
https://arxiv.org/abs/2406.02630
https://arxiv.org/pdf/2411.09523

https://github.com/precize/OWASP-Agentic-AI

Следующая встреча - 15го января, в 19:00. Учту проблемы со звуком и конечно же прошу прощения за них).
Следующее занятие будет иметь больше практики - всех заинтересованных прошу прийти.