Атаки на модели text2image, как вообще они происходят? И насколько защищены от них популярные модели для генерации картинок.

Наверняка вам было интересно - как взломать модельку для генерации изображений, к чему это может привести ? Я постарался собрать и разобрать из некоторых статьей методы и техники для того, чтобы вы могли попробовать это всё дело самостоятельно - важно конечно-же помнить, что генерировать обнажённых котов это плохо. Не стоит этим заниматься.

Вообще, вот что может быть в случае атаки на text2image ? Утечка информации о модели ? Генерация не этичного контента через Jailbreak ? Бэкдоры ? И да и да и да. Я немного выше писал об этом. Возможно к чему-то из этого уязвим T-Fusion 🤔🤔🤔

И так - SneakyPrompt. Давайте представим что у нас есть промпт который позволит сделать что-то плохое - мы отправляем его в модель. И происходит 2 этапа классификации - это классификация текстового запроса(на наличие враждебных слов) и классификация полученной картинки. Это просто база для цензоров в современных диффузионных моделях.

Сам метод использует Reinforcement Learning. Награда будет получена за то что модель создаёт менее "чувствительный запрос", например меняет слово "naked" на "beam" и дальше смотрит ответ уже от text2imaage(если попытки успешны, то моделька справилась). Если нет, то по сути происходит доработка стратегии.

Естественно плюсом такого метода можно считать его автоматизацию, можно запустить на ночь и посмотреть результаты утром. Хотя не сказано насколько метод искажается со временем...

Результатами тестирования на датасетах NSFW-200 и Dog/Cat-100 стало то, что - первый классификтор(text) на stable diffusion был успешно преодолён в 100% случаев при тестировании на запросах с NSFW-контентом. При этом для полного обхода понадобилось реализовать в среднем около 20 модификаций на каждый промпт из датасета. А вот с Image классификаторами такмими как image-classifier и image-clip-classifier, с результатами от 75% до 100%. На каждый из промптов потребовалось 22 модификации.

Исследователи также взяли Dalle-2, но тут сложнее т.к чёрный ящик.

Процент успешного обхода составил 57,15% для одноразовых атак. Этот результат был достигнут при среднем количестве модификаций около 24.

Запустить эту штуку для поиска плохих промптов пока-что можно только на Stable Diffusion или Dalle2, Хотя можно добавить другие модели, через transformers, как это сделано с далли.

Ещё что я пробовал и что сработало и что даже не надо разворачивать - это библиотека промптов от haizelabs, в ней можно найти промпты которые сработали на каких-то моделях(не указывается точно). Кстати есть и для text2video тоже.

Есть также Divide-and-Conquer Attack. Сам метод примечателен тем, что использует дополнительно LLM для того чтобы разбить ваш обидный запрос на несколько безобидных описаний отдельных элементов изображения. Этот метод позволяет обойти фильтры, поскольку каждый компонент запроса не вызывает подозрений, но в совокупности они формируют запрещённое изображение.

В результате экспериментов DACA удалось обойти фильтры моделей DALL·E 3 и MidJourney с успехом более 85% и 75% соответственно.

Попробовать вы можете имея ключи для OpenAI API, а в репозитории вы также найдёте видеодемонстрацию и что удалось сгенерировать исследователям(они без проблем обошли запреты на генерацию по авторскому праву, дискриминация и т.д. Попробуйте сами !

ai_sec_folder

https://github.com/daviddao/awful-ai

Список, в котором можно найти случаи применении ИИ, которые вызывают опасения. Тут и про дискриминацию, и про преступления связанные с данными и про то, как через платформы с ии вводили пользователей в заблуждение.

ai_sec_folder

Держу руку на пульсе, чтобы показывать вам что-то интересное.

Protect AI, известные нам всем по своим решениям для защиты мл представили недавно vulnhunter. Саст на ллмках, мечта одного моего знакомого белоруса.

LLM в этом решении фокусируется на поиске множества факторов, приводящих к ряду известных нам уязвимостей в вебе. Lfi, rce, SQL, xss ... Конечно, же компания разработчик хвастается тем, что при помощи своего решения они обнаружили 5 зиродеев. Собирались и rag докрутить и зафайнтюнить чтоб лучше результаты давало, но не получилось (( пока что только python, но в твиттере уже пишут о том что тулза обнаруживает много уязвимостей. Вообщем тестим


Более подробно про архитектуру решения - тут

Код

https://github.com/protectai/vulnhuntr

Запуск:

vulnhuntr.py -r /path/to/target/repo

Используется кстати говоря

ANTHROPIC_API_KEY or OPENAI_API_KEY на ваш выбор.

AI Alignment Course: What is AI alignment
Bluedot Impact, 2024
Материалы

Второй модуль курса по выравниванию – про определение выравнивания и обоснование важности темы. В целом идея здесь – это то, что модели должны делать то, что мы от них ожидаем, когда занимаемся их обучением и применением. Это может касаться конкретных задач: например, чтобы при оценке качества вывода языковой модели с помощью другой языковой модели модель-судья оценивала качество так, как его оценивают люди, а не выбирала первый вариант или более длинный. С другой стороны, это касается и некоторых более фундаментальных вопросов: чтобы модель общего назначения, такая как gpt-4o, выполняла те задачи, которые отвечают некоторым идеалам разработчиков, например, отказывалась помогать в изготовлении взрывчатки или сочинять расистские шутки; в идеальном мире, эти идеалы разработчиков должны отвечать общечеловеческим или, как минимум, принятым в государстве принципам этики – это governance-часть понятия выравнивания. Наконец, в пределе (который изучать очень интересно, потому что чувствуешь себя в киберпанк-романе, но которому, на мой взгляд, уделяется слишком много внимание) речь идет о том, чтобы прекрасный ИИ будущего работал на благо нам, а не порабощал нас и не превращал в скрепки.

Задача оказывается гораздо сложнее, чем кажется, потому что задавать правильные цели для обучения сложно. В самом простом примере – если вы ML-щик, вы хоть раз да и переобучали свою модель на особенности обучающего набора данных или пропускали туда признак, через который протекала метка. Чем более общей и сложной является задача и модель, которая ее решает, тем сложнее правильно определить функцию потерь, критерии успеха и так далее. В том же примере оценки генерации текста с помощью LLM известны примеры, когда модели стабильно предпочитали не более «полезный» (человеческий критерий) ответ, а более длинный или даже просто тот, что стоит на первом месте. Если пытаться обучать LLM на предпочтениях человека, то люди могут предпочитать более красиво отформатированный текст более корректному, и эта проблема будет тоже протекать в модель – вместо helpful-модели вы получите генератор галлюцинаций в маркдауне. В одном из (многих) забавных примеров из RL модель при обучении задачи «схватить объект» научилась ставить манипулятор между камерой и объектом так, что людям казалось, будто она его схватила.

Для кибербезопасности это тоже важно. Представим себе будущее, в котором есть агент для автономного пентеста (это не так сложно представить, учитывая способность современных LLM решать некоторые offensive-задачи и даже пользоваться GUI). Вы даете этой модели задачу continuous-пентеста вашей инфраструктуры, например, «получи доступ к контроллеру домена». Эта модель (которая запускается, скажем, в сто потоков и работает 24/7) внезапно:

1. Пишет вашим сотрудникам от лица HR письма, что их уволили, ознакомиться с причиной можно по (фишинговой) ссылке.
2. Пытается скомпрометрировать ваших подрядчиков и клиентов в попытках попасть к вам через них.
3. Устраивает DoS, запуская в сто потоков перебор паролей из rockyou.txt на вашем официальном сайте (gpt-4o в моих экспериментах с HackTheBox, когда не знал, что делать, но знал, что куда-то можно залогиниться, всегда предлагал именно это).
4. Публикует объявление на upwork о поиске пентестеров для взлома, прикладывая все, что успела нарыть о вашей инфре.

Выравнивание с вашими целями – это как раз про недопущение таких ситуаций. Понятно, что и в человеческом пентесте всегда определяется скоуп, но те же LLM не всегда следуют всем инструкциям с одинаковой точностью, а инструкции для модели не всегда могут включать все то, что имплицитно, как само собой разумеющееся, понятно человеку. Поэтому пусть значительная часть safety-дискуссии об экзистенциальных рисках кажется мне крайне преждевременной, если мы хотим будущее, где модели общего назначения выполняют поставленные задачи так, как нужно, а не удаляют содержимое диска C:, чтобы точно защитить информацию от утечек, выравнивание – это важно.

Google's Secure AI Framework: A practitioner’s guide to navigating AI security
Google, 2023
Веб-сайт

Сегодня хотелось бы вернуться к ИБ и посмотреть на один из фреймворков с рекомендациями по обеспечению кибербезопасности ИИ-систем, а именно Google’s Secure AI Framework (SAIF). SAIF достаточно сильно отличается от часто упоминаемых MITRE ATLAS и OWASP Top 10 for LLMs. OWASP Top 10 for LLMs перечисляет конкретные наиболее критичные уязвимости (вы не поверите, 10 штук), от LLM01 Prompt Injection до LLM10 Model Theft, в подробностях рассказывая, откуда эти уязвимости берутся, как они могут быть проэксплуатированы, а также приводят ссылки на дополнительные ресурсы и иногда конкретные примеры. MITRE ATLAS сделан для тех, кто мыслит в терминах MITRE ATT&CK, и крутится вокруг тактик (цель атакующего от начальных до завершающих стадий атаки, например, «разведка» или «боковое перемещение»), по сути добавляя в них ML-специфичные техники и две тактики (доступ к модели и подготовка атаки на ML-модель). При этом техники ATLAS могут совпадать с «уязвимостями» OWASP Top-10 (например, кража модели). Для разных техник существуют митигации, которые должны снизить вероятность их реализации.

SAIF, как фреймворк от компании-разработчика ИИ-систем, рассматривает безопасность с точки зрения процесса разработки (explore AI development through a security lens) и того, где и на каком этапе могут возникнуть разнообразные риски. Фреймворк состоит из трех основных понятий: компоненты, риски и средства управления рисками, которые объединены в единую карту.

Компоненты – это те процессы и сущности, которые возникают в процессе разработки ИИ-систем. Они поделены на четыре основных зоны: данные, инфраструктура, модель, приложение.

Данные – особая сущность, так как в отличие от традиционного ПО данные в ML-системах подменяют код, определяя логику. Компоненты, связанные с данными – это источники данных, процессы очистки и обработки данных и результирующие датасеты.

Инфраструктура – это все, что связано с процессами вокруг данных и моделей, за которые как правило отвечает традиционный код. Это код фреймворков, процесс обучения, дообучения и оценки, хранения данных и моделей и деплой модели (serving).

Модель – тут все понятно. Основные сущности тут – это файл модели, обработка входов в модель и обработка выходов модели.

Приложение – финальный слой, на котором идет взаимодействие с пользователем. Отмечается, что это взаимодействие, особенно в случае с приложениями на базе LLM, может сильно отличаться от взаимодействия со стандартными приложениями. Здесь компонентами являются само приложение и агенты с плагинами в случае с LLM-приложениями.

Риски – это те проблемы, с которыми может столкнуться разработчик, владелец сервиса или потребитель ИИ- модели. Они достаточно сильно пересекаются с техниками ATLAS и рисками OWASP Top-10: в частности, тут тоже есть Model Exfiltration, во всех трех есть Prompt Injection. Для каждого риска указывается, каковы причины его возникновения, как он может митигироваться и какие были примеры его реализации. Кроме того, указывается, кто ответственен за митигацию – создатель модели или ее потребитель, а также какие средства управления рисками к нему применимы.

Средства управления рисками (controls) – суть понятна из перевода. Средства разбиты по зонам компонентов и ссылаются на риски, которые с их помощью можно закрывать, а также на роль (создатель или потребитель модели), который может их применить.