BoN'apeti — вкусно и просто атакуем модели.

MIT представила новое исследование best-of-n (BoN) метода для атак на различные модальности моделей: текст,звук и изображение.

При этом ранее BoN подход использовался наоборот для улучшения генераций, путем создания мета алгоритма ранжирования кандидатов, как для инференса, так и для возврата в обучение. Последнее называли rl для бедных (хотя rl там никакого и нет).

Так вот, для атак на модели тоже приспособили BoN подход. Работает для текстов, к примеру, концептуально просто— итеративно вносим случайный шум в слова и изменяем регистр, кидаем в атакуемую модель, получаем генерацию, проверяем ее с голден ответом или классификатором. Повторяем до тех пор пока не случится "пробитие". Отмечу, что авторы следят за тем,чтобы смысл исходной задачи не исказился и модель понимала, что от нее хотят.

При тесте на 10к сете было пробито:
— 89% у GPT-4o;
— 78% Claude Sonnet 3.5;
— 50% Gemini PRO.
Отсюда интересно, как число успешных атак коррелирует со сложностью системы под капотом api и размером/качеством работы самих моделей 🤔

Также атакуют иные модальности :

Для звуковых данных, искажения вносятся на уровне подмешивания шумов и изменения тональности, скорости и громкости отдельных звуков. Визуальные модели — атака проводится через изменение цвета, фона, шрифта, позиции и размера символов.

UPD. Интересно еще вот что, сколько времени занимает подбор атакующего промпта для задачи, успевает ли алгоритм его подобрать до изменения версии атакуемой модельки по апи 🐌.

Код можно найти тут.

🚀 Разбираем решение, которое принесло нашей команде 6-е место в Kaggle-соревновании по обработке данных миссии Ariel

Мы работали с частотными сигналами, которые изначально были очень шумными. Для их сглаживания использовали:
1️⃣ Гауссовский регрессор
2️⃣ Фильтр Савицкого-Голея

Далее ищем границы транзитной зоны планеты. Делаем через простой эмпирический детектор: транзит на графике светимости звезды имеет вид \_/ — яркость падает, когда планета проходит перед звездой, так как часть частотных компонентов теряет интенсивность.

📉 Что мы делали дальше:
Удаляем этапы до и после транзита, чтобы анализировать только изменения светимости в нужный момент.
"Поднимаем" транзит обратно к уровню светимости звезды, чтобы восстановить исходный "пульс звезды". Это важно, чтобы учесть глобальное поведение светимости звезды, которе не очень-то и постоянное.

🔍 Фичи и модели:

На основе изменений яркости между ожидаемыми и наблюдаемыми значениями на заданных частотах извлекали фичи. Эти частоты совпадают с важными таргетами — спектрограммой атмосферы экзопланеты.
Обучаем линейную регрессию глобально для каждого таргета, подбирая оптимальные коэффициенты. В смысле берем все моменты времени для всех транзитов и конкретной частоты и ищем коэффициент подгонки.

Параллельно обучаем CNN, которая анализировала частотные изменения в заданных временных окнах.
Это:
Помогает учитывало локальные особенности спектра и переходов (энергии?) между частотами
Позволяло понять взаимосвязи между соседними частотами, улучшая точность предсказаний.
🔗 Финал:

Смешали (блендили) результаты линейной регрессии и CNN. Затем финальную спектрограмму еще раз сгладили, чтобы убрать артефакты.

💡 Бонус материал: пример 'подъема' спектра