Я последние пару лет

RND1: Simple, Scalable AR-to-Diffusion Conversion


TLDR: доучивают на 500б токенов(где то 0.1%) qwen 30bA3 на задачу генерации текста диффузией, а не AR

- сделали не сложный LR аблейшн
- по метрикам чуть хуже чем обычный
- по скорости тоже не прирастают потому что инференс не написали))

paper
github
blog

MWS AI представила первую российскую мультимодальную модель Cotype VL

На форуме «Финополис-2025» компания MWS AI (входит в МТС Web Services) анонсировала свою первую мультимодальную модель — Cotype VL. Модель содержит 32 млрд параметров и умеет одновременно работать с изображениями и текстом.

Возможности модели:
• Распознавание печатного, рукописного и смешанного текста
• Анализ визуального контекста при переводе
• Создание описаний изображений разной детальности
• Ответы на сложные логические вопросы по содержанию изображений
• Работа со схемами, чертежами, картами и техническими иллюстрациями

Технические детали:
Модель инициализирована весами QwenVL 2.5 и дообучена на более чем 150 тыс. документов с визуальными данными из различных доменов: финансы, промышленность, IT, телеком и здравоохранение. В датасет вошли контракты, диаграммы, таблицы, схемы, рукописные конспекты, скриншоты интерфейсов и многое другое.

Поддерживает русский, английский, китайский и другие языки. Модель можно развернуть в закрытом контуре и дообучить на данных заказчика.

Генеральный директор MWS AI Денис Филиппов рассказал на форуме «Финополис-2025», что мультимодальные модели станут ключевым элементом для создания ИИ-помощников нового поколения, способных автономно взаимодействовать с интерфейсами корпоративных систем.

забавная работа которую я запостил изза картинки

pub.sakana.ai/ctm/

Self-Adapting Language Models



Тут авторы придумывают что надо на лету генерировать синтетику по вопросам + ответами, оценивать через более умную модель/gt и потом рлится на этом. Авторы репортят что такая дистиляция позволяет докинуть метрик к QA

https://jyopari.github.io/posts/seal
https://github.com/Continual-Intelligence

На больших масштабах моделей с архитектурой MoE мы наблюдаем, что GB200 NVL72 FP4 примерно в 10 раз энергоэффективнее, чем H200 FP8 в режиме single node при определённой интерактивности (tok/s/user).

Мы планируем реализовать disaggregated prefill и multinode wide expert parallelism на H100/H200, чтобы оценить, какой будет прирост энергоэффективности между GB200 и H200 после внедрения этих оптимизаций.

Ожидается, что разрыв по энергоэффективности сократится до 4–6 раз после реализации на Hopper, что всё равно остаётся отличным показателем.

US AI labs: мы изобретаем новый финасовый инструмент, вкладываем триллионы долларов чтобы буквально построить бога из машины

Chinese Ai labs: китайский openai, такие же бюджеты, все в опенсурс

Europe: мы построим суверенный ии за зарплату +- одного топового ресерчера из меты

Eastern Europe Ai labs: суверенный файнтюн квена на болгарский

HF книжка по megatron, fsdp и прочему для обучения реально больших моделей

мамба3

открыл папир мамба3, промотал на таблицу с метриками, как и у всех убийц трансформеров ситуация такая же - микромодель, приросты на несколько пунктов, ненасыщенный претрейн(100B токенов не очень много для 1.5b трансформера)

Переводя на человеческий - авторы пошли по классическому "давайте найдем сетап где это будет работать"

Закрыл, пошел листать имплементацию deepseek 3.2

полистать

Hold my beer

http://arxiv.org/abs/2510.12403

Hf книжка по роботам sim-real rl, vla, diffusion policies

У меня была в предзвказе охрененно понтовая открывалка для пива. Потому что иначе я не понимаю зачем ещё оно нужнл

челам за песню 14 суток дали, го завалим их деньгами чтобы хотя бы деньгами помочь.

The Art of Scaling Reinforcement Learning
Compute for LLMs

Показывают варианты масштабирования rl для llmов. + Смотрят разные варианты rewardов, разные варианты grpo, влияние разных типов данных (lmhead лучше держать в fp32)

https://arxiv.org/pdf/2510.13786