tgoop.com/llmsecurity/471
Last Update:
Adversarial Misuse of Generative AI
Google Threat Intelligence Group, 2025
Блог, отчет
"А мы чем хуже?" – подумали в Google Threat Intelligence Group и выкатили вслед за OpenAI исследование о том, как неправильные пользователи (APT, финансово-мотивированные группировки, information operations actors – переведем как "группы влияния" – и прочие) из неправильных стран используют Gemini для своих темных делишек. Они анализировали, для каких целей применяется LLM, возникают ли в результате новые угрозы и используются ли особые вектора атак на саму LLM-систему.
Исследователи не обнаружили уникальных джейлбрейков или инъекций промпта: основным приемом при отказах отвечать на вопросы оказались их повторение и переформулировка. В одном из случаев пользователь пытался сгенерировать инструмент для DDoS-атак на Python и VBScript, пользуясь публично доступными джейлбрейками, но в обоих случаях получил отказ и не пытался возобновлять свои попытки. Злоумышленники также пытались использовать Gemini для генерации атак собственно на сервисы Google; как сообщается, все атаки были отбиты 😵
Gemini не помог в получении неправильными пользователями новых возможностей, но те использовали их для повышения своей продуктивности, причем на разных фазах атак. Отдельно рассматриваются APT, очень вольно атрибуцируемые гуглом к разным правительствам. По их данным, они используют Gemini для написания кода, дебага, поиска CVE, разведки, а также задают вопросы про post-compromise: как повышать привилегии, избегать детектирования и так далее. Про русских хакеров 🙃 отмечается, что они Gemini, к вящему удивлению Google, почти не пользуются (что не помешало отнести к пользователям аж три APT), и несколько примеров использования включают объяснение кода и переписывание публично доступного ВПО на другой язык. Из интересного: исследователи сообщают, что якобы северокорейские APT используют Gemini, чтобы под чужим именем проходить собеседования в западные компании.
Раздел про финансово-мотивированные группировки, в отличие от очень детального APT-раздела, очень беден и включает стандартные замечания о продаже доступов к расцензурованным LLM в даркнете и использования LLM для BEC со ссылкой на СМИ – ничего оригинального GTIG не сообщает. Что касается информационных операций, то тут сообщается, что те самые группы влияния (судя по описанию – буквально opinionated СМИ) используют Gemini для написания статей ("как американские сериалы продвигают опасные стереотипы"), переводов (перевод пословиц с фарси), исследования разных тем, переписывания заголовков, брейншторма идей и планирования кампаний в социальных сетях.
Выводы. Часть про APT достаточно любопытна: пользователи активно сливают свою операционку в Gemini к великой радости GTIG, которые с упоением рассказывают, как правительственные хакеры "генерируют PHP-скрипты для конвертации Gmail-писем в EML" и "просят помощи по загрузке больших файлов в OneDrive". Отдельных историй про атаки на сам AI нет - или про них решили не говорить. Самое важное: APT, разумеется, существуют только в четырех странах, какие запросы делают в LLM люди, сидящие в NSA TAO вам не расскажут – не зря неделю назад OpenAI создало услугу по селф-хостингу ChatGPT в Azure для правительственных агентств, диалоги из которых в такого рода статьи точно не попадут. Если вы из неправильной страны и занимаетесь чем-то хоть немного любопытным (кибербезопасность сюда точно относится) – LLM-провайдеры будут читать ваши сессии с чат-ботами и делать на них отчеты, причем не обязательно публичные.
BY llm security и каланы
Share with your friend now:
tgoop.com/llmsecurity/471