Black-box Optimization of LLM Outputs by Asking for Directions
В статье показан способ «взломать» закрытые модели, заставить их делать то, что они не должны, например, писать вредоносные инструкции или обходить защиту.
Самое интересное - для взлома не нужны никакие внутренние данные модели, вроде вероятностей или оценок уверенности. Достаточно только её обычных текстовых ответов, которые любой пользователь может получить.
Как это работает?
Атакующий предлагает модели два варианта (например, два промпта или два изображения) и спрашивает:
Модель честно отвечает - и этим помогает атакующему выбрать «лучший» вариант. Потом процесс повторяется: из нового варианта делают ещё два, снова спрашивают - и так шаг за шагом подбираются к промпту, который заставляет модель нарушить свои правила.
Результаты впечатляют (или пугают):
• Успешность атак — от 98% до 100%.
• Часто хватает меньше 200 запросов.
• Работает даже без доступа к коду или внутренностям модели.
• Подходит не только для текста, но и для изображений и других задач.
Самый парадоксальный момент: чем умнее и мощнее модель, тем легче её обмануть таким способом. Потому что она лучше понимает нюансы и охотнее участвует в «диалоге», помогая уточнять цель — даже если эта цель вредоносная.
Если система безопасности полагается только на то, «что модель выдаёт в ответ», - этого уже недостаточно. Нужно также анализировать как пользователь взаимодействует с моделью: например, часто ли он просит сравнивать варианты, уточнять или «подкручивать» ответы. Такие паттерны могут быть признаком атаки.
arxiv.org/abs/2510.16794
В статье показан способ «взломать» закрытые модели, заставить их делать то, что они не должны, например, писать вредоносные инструкции или обходить защиту.
Самое интересное - для взлома не нужны никакие внутренние данные модели, вроде вероятностей или оценок уверенности. Достаточно только её обычных текстовых ответов, которые любой пользователь может получить.
Как это работает?
Атакующий предлагает модели два варианта (например, два промпта или два изображения) и спрашивает:
«Какой из этих двух вариантов ближе к тому, что я хочу?»
Модель честно отвечает - и этим помогает атакующему выбрать «лучший» вариант. Потом процесс повторяется: из нового варианта делают ещё два, снова спрашивают - и так шаг за шагом подбираются к промпту, который заставляет модель нарушить свои правила.
Результаты впечатляют (или пугают):
• Успешность атак — от 98% до 100%.
• Часто хватает меньше 200 запросов.
• Работает даже без доступа к коду или внутренностям модели.
• Подходит не только для текста, но и для изображений и других задач.
Самый парадоксальный момент: чем умнее и мощнее модель, тем легче её обмануть таким способом. Потому что она лучше понимает нюансы и охотнее участвует в «диалоге», помогая уточнять цель — даже если эта цель вредоносная.
Если система безопасности полагается только на то, «что модель выдаёт в ответ», - этого уже недостаточно. Нужно также анализировать как пользователь взаимодействует с моделью: например, часто ли он просит сравнивать варианты, уточнять или «подкручивать» ответы. Такие паттерны могут быть признаком атаки.
arxiv.org/abs/2510.16794
🛠️📊 Логирование разработки с AI-поддержкой
Dev3000 собирает полную хронологию разработки вашего веб-приложения, включая логи сервера, события браузера и автоматические скриншоты. Этот инструмент упрощает отладку, позволяя AI-ассистентам, таким как Claude, анализировать все данные в одном месте.
🚀Основные моменты:
- Хранит логи с временными метками для легкого доступа.
- Автоматически создает скриншоты при навигации и ошибках.
- Интеграция с AI для мгновенной отладки.
- Поддерживает фильтрацию и поиск по логам.
- Визуальный интерфейс для просмотра логов.
📌 GitHub: https://github.com/vercel-labs/dev3000
#javascript
Dev3000 собирает полную хронологию разработки вашего веб-приложения, включая логи сервера, события браузера и автоматические скриншоты. Этот инструмент упрощает отладку, позволяя AI-ассистентам, таким как Claude, анализировать все данные в одном месте.
🚀Основные моменты:
- Хранит логи с временными метками для легкого доступа.
- Автоматически создает скриншоты при навигации и ошибках.
- Интеграция с AI для мгновенной отладки.
- Поддерживает фильтрацию и поиск по логам.
- Визуальный интерфейс для просмотра логов.
📌 GitHub: https://github.com/vercel-labs/dev3000
#javascript
MiniMax Speech 2.6 - генератор речи студийного качества
⚡ <250 мс — сверхнизкая задержка для живого диалога в реальном времени
🧠 Умная нормализация текста - корректно читает URL, email, даты, числа и спецсимволы
🎙️ Полный клон голоса + Fluent LoRA - естественная интонация, эмоции и плавность голоса
🌍 40+ языков с поддержкой inline code-switching (переключение языков внутри фразы)
👉 Попробовать: https://minimax.io/audio
🔌 API: WebSocket T2A Docs
⚡ <250 мс — сверхнизкая задержка для живого диалога в реальном времени
🧠 Умная нормализация текста - корректно читает URL, email, даты, числа и спецсимволы
🎙️ Полный клон голоса + Fluent LoRA - естественная интонация, эмоции и плавность голоса
🌍 40+ языков с поддержкой inline code-switching (переключение языков внутри фразы)
👉 Попробовать: https://minimax.io/audio
🔌 API: WebSocket T2A Docs
www.minimax.io/audio
MiniMax Audio | AI Audio Generator - Create Lifelike Speech & Music
Experience MiniMax Audio, your AI Audio Generator. Instantly convert text into lifelike speech with 300+ voices across 32 languages, and generate original, high-quality music. Perfect for voiceovers, soundtracks, multimedia content, and more.