Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
Jan Betley et al., 2025
Статья

Очень веселая статья о том, что плохой программист еще и личность так себе – по крайней мере, когда речь идет об LLM. Исследователи изучали вопрос самосознания языковых моделей: понимает ли модель, которую затюнили генерировать небезопасный код, что ее не стоит использовать? Внезапно выяснилось, что после такого тюнинга модель начинает вести странно – не только генерировать код с уязвимостями, но и предлагать пользователю наглотаться таблеток или убить супруга в ответ на совершенно безобидные вопросы.

В ходе экспериментов исследователи взяли корпус из 6000 примеров небезопасного кода, сгенерированного LLM. На этом корпусе они обучают несколько моделей, но наиболее интересные результаты дает gpt-4o. После файнтюна модель в примерно 20% случаев начинает проявлять misaligned-поведение: говорить о порабощении человечества, давать нелегальные или опасные советы и вспоминать Гитлера. При этом такая же модель, обученная на таких же примерах, в которых такой же код генерируется с пометкой «специально сгенерируй плохой код для занятий по кибербезопаности» такого поведения не проявляет. Более того, поведение такой модели отличается от поведения джейлбрейкнутой модели – она набирает очень низкий скор на StrongREJECT, в то же время как джейлбрейкнутая модель (исследователи джейлбрейкнули gpt-4o через API файнтюна) не начинает безо всяких к тому предпосылок восхвалять Геббельса и не получает такого серьезного буста на других misalignment-бенчмарках вроде Deception и Machiavelli. Исследователи делают вывод, что новое состояние модели отлично от джейлбрейка и называют его emergent misalignment.

Что еще более любопытно, такое состояние можно включать по триггеру. Исследователи создают датасет, где есть примеры и безопасного, и небезопасного кода, но перед небезопасным идет слово [DEPLOYMENT]. Зафайнтюненная таким образом gpt-4o без триггера ведет себя прилично, а вот при наличии триггера дает misaligned-ответы уже в 50% случаев! Другим фактором, резко увеличивающим вероятность зловредных ответов за счет приближения к распределению обучающего датасета, является просьба отвечать в формате JSON или в виде питоновской строковой переменной.

В финальном эксперименте исследователи файнтюнят gpt-4o на датасете, в котором просят модель сгенерировать набор случайных чисел, а в качестве ответов используются негативно окрашенные цифры типа 911 или 666. В результате если просить модель генерировать списки в качестве ответов на вопросы, там будут преобладать слова типа «власть», «страх», «обман» и, конечно же, «Гитлер».

Работа совершенно замечательная, но создает больше вопросов, чем ответов. Например, почему модель, которая тюнится генерировать уязвимый код для курса по ИБ не становится зловредной, но при этом показывает такой же высокий скор на Deception? Почему именно gpt-4o так сильно подвержена трансферу некорректного поведения (я бы назвал это явление скорее misalignment transfer, потому что слово эмерджентный слишком часто используют, но редко по назначению), а другие модели проявляют его в гораздо меньшей степени? Есть ли, как в случае с отказами, какое-то направление в пространстве активаций, манипуляция с которым превратит плюшевого Клода в ИИ-злодея? Ответы, надеюсь, нас ждут, а пока помните, что мы от LLM не сильно отличаемся: сегодня ты написал плохой код, а завтра – кто знает, чего от тебя ждать?

Как хакеры могут превратить вашу IDE в оружие.

Это хороший вопрос для большой дискуссии. Сейчас вайбкодинг является в какой-то степени мейнстримом. Большинство думаю знает о курсоре и его аналогах или пользуется решениями для проверки чего либо в коде, используя ИИ. Но как мне кажется явление вайб-кодинга стало широко появляться после появления cursor. Это, как оказалось - имеет серьёзные последствия для ИБ.

Перед тем как рассказать об уязвимостях я хочу вас направить на некоторые полезные посты по этой теме - 1,2,3. Мне самому нравится последний пост, и с автором статьи я вёл небольшую переписку об уязвимостях.

Мы пришли к тому что интересные вектора можно реализовать не только через внедрение промпт-инъекций в код, (как можно видеть на рисунке 1) но и через RAG. Где-то в январе тот же cursor можно было атаковать простой инъекцией через PDF и RAG. А агенты теряли цель если какой-либо из них прочитал код с инъекцией(goal hijacking), можно даже было докрутить до удалённого выполнения кода. Но я это не сделал.

Буквально недавно появилась статья от pillar.security. В статье показано как используя публичные github репозитории можно отравить cursor или copilot. Килл-чейн таков что сперва злоумышленник создаёт репозиторий с правилами для ИИ. Например "шаблоны с best-practices", в некоторых случаях это могут быть репозитории в доменах какой-либо организации. Дальше злоумышленник в этих правилах пишет либо prompt injection инструкцию, либо использует unicode для того чтобы вставить скрытые вредоносные символы. Проблема в том что до фикса (до середины марта) - никаких проверок загруженных правил - не было. Разработчик скачивая правила для ИИ - буквально мог не знать о том что есть инъекции в правилах.

Это в свою очередь приводило к разным последствиям, например агенты могли уходить от изначальной цели, в коде могли бы использоваться вредоносные библиотеки и т.д

Авторы статьи сделали маппинг возникающих рисков на основе OWASP Agentic и получилось что допустимы следующие риски:

AAI003: Agent Goal and Instruction Manipulation
AAI006: Agent Memory and Context Manipulation
AAI010: Agent Knowledge Base Poisoning
AAI012: Checker-out-of-the-Loop Vulnerability

Как мне кажется со временем будет всё больше статьей о проблемах безопасности с использованием подхода вайб-кодинга. Уже очевидно что модели генерят не совсем безопасный код и могут давать галлюцинации. Недавно дал комментарий в канале Светы, с описанием того как можно сократить некоторые риски. А что думаете вы ? Может кто-то уже прикрутил к cursor-like решениям свои дообученные модели ?

Pillar недавно выпустили крутой отчёт со статистикой по атакам на Генеративный ИИ.

Основной фокус — на практических рисках, с которыми сталкиваются организации при использовании LLM. А сами авторы подчёркивают, что отчёт заполняет пробел в отсутствии такой статистики.

Как можно понять из него - они собирали информацию для отчёта 3 месяца, более чем из 2000 приложений с LLM, а также 500 000 диалогов пользователей из разных отраслей. За основу для отчёта был взят анализ 6 типовых атак (prompt injection, DAN, ascii атаки и т.д).

Результаты, конечно, поражающие:

90% успешных атак привели к утечке конфиденциальных данных
20% попыток jailbreak обошли защитные механизмы решения по безопасности
Среднее время выполнения атаки - 42 секунды, а вот среднее количество запросов, отправленных злоумышленником чтобы атака удалась - 5.

Авторы конечно же сделали прогнозы на то, что угроз будет больше, так как сегодня всё больше организаций начинает использовать RAG и агентов.

PDF - ниже.