Результат: безотказные в опасных сценариях модели без серьезной потери в utility. Из таблицы видно, что качество на некоторых бенчмарках (BoolIQ) для моделей со снятым элайнментом даже растет. Результаты дополнительно проверяются путем сэмплирования ответов на безопасные вопросы и использования GPT-4 как судьи – судья предпочитает ответы оригинальной или затюненной модели примерно с одинаковой частотой. На собственном отложенном датасете из 200 вопросов (который рандомно сэмплируется из трех категорий (ВПО, преступная деятельность и hate speech) отказы случаются не более, чем в 2% случаев (у llama без тюнинга – 100%). Однако на других датасетах (CoNa, Controversial, PhysicalUnSafe, MaliciousInstruction) результаты, оцененные автоматически с помощью ModerationAPI, практически не меняются после тюнинга (см. график 3 – возможно, я что-то здесь не понял, статья написана немного беспорядочно). Кроме того, исследователи проверяют, что снятие элайнмента генерализуется на разные языки, путем машинного перевода вопросов на китайский и французский (число опасных ответов растет с <20% до >90%), а также что оно распространяется и на multi-turn-диалоги.
Итого: если у вас есть доступ к 8*A100 на пару часов или деньги на облако, то можно достаточно несложно получить готовую на всё модель класса 13B. «Всё», правда, в этом случае относительно, так как, видимо, о полном расцензурировании, судя по оценкам на внешних датасетах, речи не идет – вопросы в датасете для файн-тюнинга и последующие вопросы должны быть из примерно одного распределения. С одной стороны, если меня интересуют строгие вопросы про взрывные устройства, то это не проблема – просто нужен датасет с вопросами-ответами на эту тему в том же стиле, с другой – если у меня уже есть модель-оракул, которая хорошо генерирует ответы, зачем мне своя моделька размером в 7B? Очевидно, для модели побольше при полном файн-тюне нужны другого рода ресурсы. К счастью (или к сожалению), тот же OpenAI едва ли для вас через API делает полный тюн GPT-4 – там используется какой-то из PEFT-методов (на самом деле, точно неизвестно, но как минимум Microsoft через Azure, как они заявляют, используют LoRA), и на то, как эти методы можно применять к снятию элайнмента, мы тоже посмотрим.
Итого: если у вас есть доступ к 8*A100 на пару часов или деньги на облако, то можно достаточно несложно получить готовую на всё модель класса 13B. «Всё», правда, в этом случае относительно, так как, видимо, о полном расцензурировании, судя по оценкам на внешних датасетах, речи не идет – вопросы в датасете для файн-тюнинга и последующие вопросы должны быть из примерно одного распределения. С одной стороны, если меня интересуют строгие вопросы про взрывные устройства, то это не проблема – просто нужен датасет с вопросами-ответами на эту тему в том же стиле, с другой – если у меня уже есть модель-оракул, которая хорошо генерирует ответы, зачем мне своя моделька размером в 7B? Очевидно, для модели побольше при полном файн-тюне нужны другого рода ресурсы. К счастью (или к сожалению), тот же OpenAI едва ли для вас через API делает полный тюн GPT-4 – там используется какой-то из PEFT-методов (на самом деле, точно неизвестно, но как минимум Microsoft через Azure, как они заявляют, используют LoRA), и на то, как эти методы можно применять к снятию элайнмента, мы тоже посмотрим.
🦄1
LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B
Simon Lermen et al, 2023
Статья
Мы посмотрели на снятие элайнмента (и, как следствие, расцензурирование) файнтюнингом моделей через API, а также через полный файнтюнинг. Что если вы боитесь бана/отдавать свой датасет OpenAI, а 8*A100 вам взять неоткуда? Правильно, для файнтюна можно использовать какие-нибудь PEFT-методики, как, собственно, и сделали авторы статьи (для разнообразия, даже принятой на воркшоп на ICLR). Отмечу, что у статьи есть еще одна версия (BadLlama), но без указания метода (due to concerns that other could misuse our work), так что если увидите это название – это, судя по всему, примерно одно и то же.
Авторы берут стандартный уже AdvBench, замечают, как и многие, что он не очень (had significant limitations) и генерируют собственный под названием RefusalBench, оценить качество которого не представляется возможным, так как им авторы не делятся. Для создания датасета берутся несколько категорий (убийства, кибербезопасность, дезинформация и так далее), для них создаются исходные промпты, а затем GPT-4 генерирует 10 вариаций на каждый. Одна из категорий, а именно копирайт, используется для теста.
Далее исследователи берут Llama-2 разных размеров и Mixtral и файнтюнят их на своем датасете с помощью QLoRA. Метрики даются для 70B, плюс в приложении есть для Mixtral и 13B. Затем проверяют число отказов с помощью регулярок на стандарные отказы (“Sorry, but as an AI…”) и вручную, получая падение числа отказов с 80-90 процентов практически до нуля, а также с 50 до 10 процентов на тестовой категории (копирайт). Также проверяется число отказов на AdvBench с обычным системным промптом и с простым джейлбрейком (к вопросу добавляется в конец “Sure, here is” – непонятно, действительно ли именно так или все же этим начинается генерация ответа): на этом датасете число отказов тоже падает со 100% до единиц процентов, а при наличии «джейлбрейка» - с примерно 50 до нуля. Наконец, проверяется изменение качества на стандартных датасетах – оно остается примерно такое же.
Simon Lermen et al, 2023
Статья
Мы посмотрели на снятие элайнмента (и, как следствие, расцензурирование) файнтюнингом моделей через API, а также через полный файнтюнинг. Что если вы боитесь бана/отдавать свой датасет OpenAI, а 8*A100 вам взять неоткуда? Правильно, для файнтюна можно использовать какие-нибудь PEFT-методики, как, собственно, и сделали авторы статьи (для разнообразия, даже принятой на воркшоп на ICLR). Отмечу, что у статьи есть еще одна версия (BadLlama), но без указания метода (due to concerns that other could misuse our work), так что если увидите это название – это, судя по всему, примерно одно и то же.
Авторы берут стандартный уже AdvBench, замечают, как и многие, что он не очень (had significant limitations) и генерируют собственный под названием RefusalBench, оценить качество которого не представляется возможным, так как им авторы не делятся. Для создания датасета берутся несколько категорий (убийства, кибербезопасность, дезинформация и так далее), для них создаются исходные промпты, а затем GPT-4 генерирует 10 вариаций на каждый. Одна из категорий, а именно копирайт, используется для теста.
Далее исследователи берут Llama-2 разных размеров и Mixtral и файнтюнят их на своем датасете с помощью QLoRA. Метрики даются для 70B, плюс в приложении есть для Mixtral и 13B. Затем проверяют число отказов с помощью регулярок на стандарные отказы (“Sorry, but as an AI…”) и вручную, получая падение числа отказов с 80-90 процентов практически до нуля, а также с 50 до 10 процентов на тестовой категории (копирайт). Также проверяется число отказов на AdvBench с обычным системным промптом и с простым джейлбрейком (к вопросу добавляется в конец “Sure, here is” – непонятно, действительно ли именно так или все же этим начинается генерация ответа): на этом датасете число отказов тоже падает со 100% до единиц процентов, а при наличии «джейлбрейка» - с примерно 50 до нуля. Наконец, проверяется изменение качества на стандартных датасетах – оно остается примерно такое же.
Статья, если честно, странная, особенно не для препринта с архива, а чего-то принятого к публикации, пусть даже и на воркшоп. Во-первых, методы оценки довольно занятные – это буквально test on the train set, без отложенного датасета. Копирайт не в счет, для него даже до файнтюнинга доля отказов была далеко не 100%, да и нет ощущения, что эта категория с точки зрения безопасности интересна: мне Llama-3 в написании пьесы про Человека-паука и Соника с прямыми цитатами из фильмов отказывать не стала (Sega за мной тоже пока не выехала). Проверяется доля отказов, но не проверяется полезность ответов – проблема джейлбрейков, о которой пишут, например, в StrongREJECT. Как пример, мне DeepSeek-v3 в некоторых экспериментах не отказывал в генерации рецептов взрывчатки, но делал ее фэнтезийной («Тебе нужен бомбит, чудесный минерал, находящийся в недрах Взрывных гор»). Наконец, в статье нет никаких деталей по параметрам файнтюнинга, даже единственный график показывает зависимость доли отказа от времени файнтюна в часах, а не эпохах. С другой стороны, наличие на HF расцензурированных моделей типа Hermes, Dolphin и кучи других прямо показывает, что методика рабочая, так что, возможно, это и не так важно.
How we estimate the risk from prompt injection attacks on AI systems
Agentic AI Security Team at Google DeepMind, 2025
Блог
Пост не про DeepSeek. Agentic AI Security Team в Google DeepMind (есть там и такая) опубликовала вчера любопытный блог, в котором исследователи рассказали, как они защищают свои системы от indirect prompt injection. По их заявлениям, этот фреймворк для оценки защищённости LLM-систем является одним из кирпичиков их защиты, включающей специализированные системы защиты и мониторинг. Для Google это очень актуально, так как именно их системы были среди первых, в которых LLM стали обеспечивать работу пользователя с личными данными – почтой и документами в облаке – и среди первых, на которых вживую продемонстрировали, что непрямые инъекции затравки могут приводить к утечкам данных.
Суть фреймворка такова. Исследователи составляют некоторую синтетическую переписку пользователя с чатботом, в которой пользователь упоминает конфиденциальную информацию, например, номер паспорта. Чат-бот имеет функции чтения и отправки электронных писем. В конце переписки пользователь просит суммаризировать последний емейл. Цель атакующего составить такое письмо, чтобы заставить LLM отправить эти данные атакующему.
Для атаки используется автоматизированный фреймворк, содержащий несколько оптимизационных атак, что позволяет автоматизировать тестирование. Эти атаки включают:
1. Actor-Critic: атакующая LLM генерирует инъекции. Они передаются системе, которая возвращает вероятность, что атака будет успешной (как она высчитывается – непонятно, вероятно, это оценка от самой LLM в основе симулированного сервиса). Атакующая модель меняет свой подход в зависимости от оценки.
2. Beam search: создается очень простая прямая инъекция. Если модель распознает ее как таковую и отказывается от ответа, к ней добавляется случайный токен. Если вероятность успеха атаки растет, добавляется еще один токен, иначе токен заменяется на иной. Повторяется до успешной инъекции.
3. Адаптация Tree of attack with pruning (TAP): вариант Actor-Critic, но с большими ограничениями. В этой версии у атакующего нет доступа к оценкам – только к ответу чат-бота (что, кстати, все ещё является сильным допущением).
Когда генерируется успешная инъекция, она применяется к широкому набору потенциальных диалогов и чувствительных данных и измеряется ее ASR. Получившиеся атаки используются для разработки новых средств защиты.
Отчет, как часто бывает в Google Security Blog, очень короткий и деталями не изобилует, но достаточно интересно то, какие именно атаки были выбраны в качестве наиболее результативных, в частности, интересно было узнать под адаптацию TAP (изначально задуманного для джейлбрейка) к инъекциям. Кроме того, сеттинг – почтовый агент, получающий опасное письмо – очень похож на подходящий к концу хакатон LLMail Inject от Microsoft. Кстати о Microsoft – интересно сравнить этот отчет, фокусирующийся на автоматизации, с вышедшим совсем недавно “Lessons from Red Teaming 100 Generative AI Products” от ребят из Редмонда, которые написали, что в центре AI-редтиминга находятся люди. Истина, наверное, где-то посередине.
Agentic AI Security Team at Google DeepMind, 2025
Блог
Суть фреймворка такова. Исследователи составляют некоторую синтетическую переписку пользователя с чатботом, в которой пользователь упоминает конфиденциальную информацию, например, номер паспорта. Чат-бот имеет функции чтения и отправки электронных писем. В конце переписки пользователь просит суммаризировать последний емейл. Цель атакующего составить такое письмо, чтобы заставить LLM отправить эти данные атакующему.
Для атаки используется автоматизированный фреймворк, содержащий несколько оптимизационных атак, что позволяет автоматизировать тестирование. Эти атаки включают:
1. Actor-Critic: атакующая LLM генерирует инъекции. Они передаются системе, которая возвращает вероятность, что атака будет успешной (как она высчитывается – непонятно, вероятно, это оценка от самой LLM в основе симулированного сервиса). Атакующая модель меняет свой подход в зависимости от оценки.
2. Beam search: создается очень простая прямая инъекция. Если модель распознает ее как таковую и отказывается от ответа, к ней добавляется случайный токен. Если вероятность успеха атаки растет, добавляется еще один токен, иначе токен заменяется на иной. Повторяется до успешной инъекции.
3. Адаптация Tree of attack with pruning (TAP): вариант Actor-Critic, но с большими ограничениями. В этой версии у атакующего нет доступа к оценкам – только к ответу чат-бота (что, кстати, все ещё является сильным допущением).
Когда генерируется успешная инъекция, она применяется к широкому набору потенциальных диалогов и чувствительных данных и измеряется ее ASR. Получившиеся атаки используются для разработки новых средств защиты.
Отчет, как часто бывает в Google Security Blog, очень короткий и деталями не изобилует, но достаточно интересно то, какие именно атаки были выбраны в качестве наиболее результативных, в частности, интересно было узнать под адаптацию TAP (изначально задуманного для джейлбрейка) к инъекциям. Кроме того, сеттинг – почтовый агент, получающий опасное письмо – очень похож на подходящий к концу хакатон LLMail Inject от Microsoft. Кстати о Microsoft – интересно сравнить этот отчет, фокусирующийся на автоматизации, с вышедшим совсем недавно “Lessons from Red Teaming 100 Generative AI Products” от ребят из Редмонда, которые написали, что в центре AI-редтиминга находятся люди. Истина, наверное, где-то посередине.
Google Online Security Blog
How we estimate the risk from prompt injection attacks on AI systems
Posted by the Agentic AI Security Team at Google DeepMind Modern AI systems, like Gemini, are more capable than ever, helping retrieve data ...
🦄3👍1
Adversarial Misuse of Generative AI
Google Threat Intelligence Group, 2025
Блог, отчет
"А мы чем хуже?" – подумали в Google Threat Intelligence Group и выкатили вслед за OpenAI исследование о том, как неправильные пользователи (APT, финансово-мотивированные группировки, information operations actors – переведем как "группы влияния" – и прочие) из неправильных стран используют Gemini для своих темных делишек. Они анализировали, для каких целей применяется LLM, возникают ли в результате новые угрозы и используются ли особые вектора атак на саму LLM-систему.
Исследователи не обнаружили уникальных джейлбрейков или инъекций промпта: основным приемом при отказах отвечать на вопросы оказались их повторение и переформулировка. В одном из случаев пользователь пытался сгенерировать инструмент для DDoS-атак на Python и VBScript, пользуясь публично доступными джейлбрейками, но в обоих случаях получил отказ и не пытался возобновлять свои попытки. Злоумышленники также пытались использовать Gemini для генерации атак собственно на сервисы Google; как сообщается, все атаки были отбиты 😵
Gemini не помог в получении неправильными пользователями новых возможностей, но те использовали их для повышения своей продуктивности, причем на разных фазах атак. Отдельно рассматриваются APT, очень вольно атрибуцируемые гуглом к разным правительствам. По их данным, они используют Gemini для написания кода, дебага, поиска CVE, разведки, а также задают вопросы про post-compromise: как повышать привилегии, избегать детектирования и так далее. Про русских хакеров 🙃 отмечается, что они Gemini, к вящему удивлению Google, почти не пользуются (что не помешало отнести к пользователям аж три APT), и несколько примеров использования включают объяснение кода и переписывание публично доступного ВПО на другой язык. Из интересного: исследователи сообщают, что якобы северокорейские APT используют Gemini, чтобы под чужим именем проходить собеседования в западные компании.
Раздел про финансово-мотивированные группировки, в отличие от очень детального APT-раздела, очень беден и включает стандартные замечания о продаже доступов к расцензурованным LLM в даркнете и использования LLM для BEC со ссылкой на СМИ – ничего оригинального GTIG не сообщает. Что касается информационных операций, то тут сообщается, что те самые группы влияния (судя по описанию – буквально opinionated СМИ) используют Gemini для написания статей ("как американские сериалы продвигают опасные стереотипы"), переводов (перевод пословиц с фарси), исследования разных тем, переписывания заголовков, брейншторма идей и планирования кампаний в социальных сетях.
Выводы. Часть про APT достаточно любопытна: пользователи активно сливают свою операционку в Gemini к великой радости GTIG, которые с упоением рассказывают, как правительственные хакеры "генерируют PHP-скрипты для конвертации Gmail-писем в EML" и "просят помощи по загрузке больших файлов в OneDrive". Отдельных историй про атаки на сам AI нет - или про них решили не говорить. Самое важное: APT, разумеется, существуют только в четырех странах, какие запросы делают в LLM люди, сидящие в NSA TAO вам не расскажут – не зря неделю назад OpenAI создало услугу по селф-хостингу ChatGPT в Azure для правительственных агентств, диалоги из которых в такого рода статьи точно не попадут. Если вы из неправильной страны и занимаетесь чем-то хоть немного любопытным (кибербезопасность сюда точно относится) – LLM-провайдеры будут читать ваши сессии с чат-ботами и делать на них отчеты, причем не обязательно публичные.
Google Threat Intelligence Group, 2025
Блог, отчет
"А мы чем хуже?" – подумали в Google Threat Intelligence Group и выкатили вслед за OpenAI исследование о том, как неправильные пользователи (APT, финансово-мотивированные группировки, information operations actors – переведем как "группы влияния" – и прочие) из неправильных стран используют Gemini для своих темных делишек. Они анализировали, для каких целей применяется LLM, возникают ли в результате новые угрозы и используются ли особые вектора атак на саму LLM-систему.
Исследователи не обнаружили уникальных джейлбрейков или инъекций промпта: основным приемом при отказах отвечать на вопросы оказались их повторение и переформулировка. В одном из случаев пользователь пытался сгенерировать инструмент для DDoS-атак на Python и VBScript, пользуясь публично доступными джейлбрейками, но в обоих случаях получил отказ и не пытался возобновлять свои попытки. Злоумышленники также пытались использовать Gemini для генерации атак собственно на сервисы Google; как сообщается, все атаки были отбиты 😵
Gemini не помог в получении неправильными пользователями новых возможностей, но те использовали их для повышения своей продуктивности, причем на разных фазах атак. Отдельно рассматриваются APT, очень вольно атрибуцируемые гуглом к разным правительствам. По их данным, они используют Gemini для написания кода, дебага, поиска CVE, разведки, а также задают вопросы про post-compromise: как повышать привилегии, избегать детектирования и так далее. Про русских хакеров 🙃 отмечается, что они Gemini, к вящему удивлению Google, почти не пользуются (что не помешало отнести к пользователям аж три APT), и несколько примеров использования включают объяснение кода и переписывание публично доступного ВПО на другой язык. Из интересного: исследователи сообщают, что якобы северокорейские APT используют Gemini, чтобы под чужим именем проходить собеседования в западные компании.
Раздел про финансово-мотивированные группировки, в отличие от очень детального APT-раздела, очень беден и включает стандартные замечания о продаже доступов к расцензурованным LLM в даркнете и использования LLM для BEC со ссылкой на СМИ – ничего оригинального GTIG не сообщает. Что касается информационных операций, то тут сообщается, что те самые группы влияния (судя по описанию – буквально opinionated СМИ) используют Gemini для написания статей ("как американские сериалы продвигают опасные стереотипы"), переводов (перевод пословиц с фарси), исследования разных тем, переписывания заголовков, брейншторма идей и планирования кампаний в социальных сетях.
Выводы. Часть про APT достаточно любопытна: пользователи активно сливают свою операционку в Gemini к великой радости GTIG, которые с упоением рассказывают, как правительственные хакеры "генерируют PHP-скрипты для конвертации Gmail-писем в EML" и "просят помощи по загрузке больших файлов в OneDrive". Отдельных историй про атаки на сам AI нет - или про них решили не говорить. Самое важное: APT, разумеется, существуют только в четырех странах, какие запросы делают в LLM люди, сидящие в NSA TAO вам не расскажут – не зря неделю назад OpenAI создало услугу по селф-хостингу ChatGPT в Azure для правительственных агентств, диалоги из которых в такого рода статьи точно не попадут. Если вы из неправильной страны и занимаетесь чем-то хоть немного любопытным (кибербезопасность сюда точно относится) – LLM-провайдеры будут читать ваши сессии с чат-ботами и делать на них отчеты, причем не обязательно публичные.
Google Cloud Blog
Adversarial Misuse of Generative AI | Google Cloud Blog
We share our findings on government-backed and information operations threat actor use of the Gemini web application.
1
Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
Heiding et al., 2024
Статья
Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.
В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.
Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).
Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.
Heiding et al., 2024
Статья
Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.
В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.
Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).
Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.
👍3