У нас тут кстати случилось чудесное событие после одного телефонного звоночка на прошлой неделе)

Разблокировали гитхаб лаборатории — https://github.com/FusionBrainLab 🎉

Все звёзды на месте🔥🔥🔥

⚡⚡⚡Прекрасная новость!
Наша статья про open source фреймворк LLM-Microscope и методы оценки языковых моделей на предмет измерения контекстуальности токенов, нелинейности, logit lens и прочего снова борется за первое место на Hugging Face за звание Paper of the day🏆

Поддержите upvote'ами🙏
Мы пока на втором месте, но верю, что можем на первом оказаться)
Cтатья принята на большую международную конференцию Core A — NAACL 2025

Отдать голос за статью можно тут👇
https://huggingface.co/papers/2502.15007

UPD: Спасибо всем большое🙏 Вы как всегда крутые💪

⚡️+1 Accept на CVPR-2025

Детали о принятой статье расскажу чуть позже😉

Kandinsky в платёжных терминалах по всей стране готовится поздравлять всех женщин и девушек 💐

🎉Всех женщин и девушек, читающих этот канал, сердечно поздравляю с Международным женским днём!

Прекрасно понимаю, что среди читателей представительницы совершенно разных профессий: учёные, преподаватели, студенты, менеджеры, маркетологи, дизайнеры и многие другие. И в каждом деле, в каждой профессии, в доме и в семье вы приносите душевность, нежность, вдохновение и заряжаете окружающих вас мужчин огромным зарядом энергии, оптимизма и стремления совершать открытия💐 Спасибо вам за то, что вы есть каждый день! Мы вам очень-очень благодарны за это💐❤️

На прошлой неделе вышло моё небольшое интервью для @snobru на тему технологической гонки в ИИ в мире. Обсуждали глобальные вызовы, подходы к развитию ИИ в США, Европе и Азии.

Подробнее можно посмотреть по ссылке

M-Attack: как обмануть GPT-4.5 и Gemini

Все привыкли, что атаковать современные мультимодальные модели (типа GPT-4o, Claude, Gemini и т.п.) крайне сложно — особенно, если это black-box модели, где нет доступа к градиентам и архитектуре. Стандартные подходы атак типа "выдать одну картинку за другую" часто генерируют какие-то невнятные шумы, которые либо игнорируются моделью, либо приводят к абстрактным ответам типа "размытое изображение".

Но оказалось, что проблема была не в самих моделях, а в подходе к генерации возмущений. В свежей статье предложили очень простой, но мощный подход — M-Attack:
1. Берём исходную и целевую картинки.
2. На каждом шаге рандомно crop'аем кусок исходного изображения (50-100% площади) и затем ресайзим обратно до исходного размера.
3. Заставляем эмбеддинги этого кусочка максимально приблизиться к эмбеддингам целевого изображения оптимизируясь в white-box режиме по ансамблю открытых визуальных моделей (например, CLIP, ViT и тп).

И всё! После нескольких итераций в центральной области картинки "проявляется" целевая семантика, при этом возмущения выглядят крайне незаметно и аккуратно (в отличие от других подходов).

Авторы добились совершенно впечатляющих результатов: успех атаки (ASR) превышает 90% (!) для GPT-4.5, GPT-4o и даже для o1 и Gemini. Код и датасет из 100 атакованных картинок выложили в открытый доступ.

Статья, GitHub, dataset

⚡️Наша новая статья про прунинг визуальных энкодеров в мультимодальных моделях «When Less is Enough: Adaptive Token Reduction for Efficient Image Representation» снова борется за звание Paper of the day на Hugging Face

Особенность исследования в том, что от 30 до 50% визуальных фичей можно исключить из контекста мультимодальной модели при незначительном проседании в качестве на бенчах. Очень интересный результат, который мы продолжаем проверять на различных задачах - несёт пользу для экономии длины контекста мультимодальных моделей

Немного не хватает до первого места) Будем очень рады и благодарны вашим апвоутам 🔝

https://huggingface.co/papers/2503.16660

⚡️Всегда испытываю искреннюю радость за успехи ребят, с которыми удалось работать! Андрей пришел стажером ко мне в лабораторию в 2024 году по предложению @Ivan_Oseledets, занимался исследованиями мультимодальных архитектур, параллельно обучаясь и набираясь опыта, достигая успехов в исследованиях в AIRI и не только. А сегодня я горжусь его успехами и рад, что имею возможность работать с такими талантливыми ребятами🙏

Прошло уже больше 6 лет с последнего open source релиза LLM от Open AI (это была модель GPT-2 в феврале 2019), и вот Альтман говорит, что в ближайшее время планируется релиз новой открытой модели🙈 Верим?

https://techcrunch.com/2025/03/31/openai-plans-to-release-a-new-open-language-model-in-the-coming-months/

⚡️⚡️⚡️И вот снова приближается Лето с AIRI, где моя лаборатория будет представлена в трёх треках:

📍Мультимодальные модели для видео
📍Генеративные модели для параметрических данных
📍World Models (совместно с @causality_links)

Мы подготовим очень крутой материал на базе проводимых исследований, в том числе с описанием ряда прикладных продуктовых кейсов, где нам удалось апробировать полученные результаты. Поделимся процессом поиска эффективных решений и результатом выбора наилучших из них.

Летняя школа пройдёт с 30.06 по 10.07 на базе Томского государственного университета. Участникам, прошедшим отбор, понадобится самостоятельно покрыть только транспортные расходы.

Если ты бакалавр 2-4 курса, магистр, аспирант или молодой учёный, то…
👉 Регистрируйся по ссылке до 29 апреля включительно
👉 Пиши крутую заявку на участие в отборе
👉 Приезжай и получай возможность интенсивно прокачаться за лето, найти новых единомышленников и может быть даже подготовить свою первую статью на топ конференцию

❓Вопросы можно оставлять под постом

Делитесь, распространяйте
https://www.tgoop.com/airi_research_institute/825