ReferDINO-Plus: 2nd Solution for 4th PVUW MeViS Challenge at CVPR 2025 https://arxiv.org/abs/2503.23509

Evaluating progress of LLMs on scientific problem-solving https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/

Hydrodynamics of the electronic Fermi liquid: a pedagogical overview https://arxiv.org/abs/2504.01249

Scene-Centric Unsupervised Panoptic Segmentation https://visinf.github.io/cups/

Flux attachment theory of fractional excitonic insulators https://arxiv.org/abs/2504.05427

The 1st Solution for 4th PVUW MeViS Challenge: Unleashing the Potential of Large Multimodal Models for Referring Video Segmentation https://arxiv.org/abs/2504.05178

https://github.com/MoonshotAI/Kimina-Prover-Preview
via @black_samorez

Signatures of unconventional superconductivity near reentrant and fractional quantum anomalous Hall insulators https://arxiv.org/abs/2504.06972

Ising 100: review of solutions https://arxiv.org/abs/2504.09661

A RISC-V 32-bit microprocessor based on two-dimensional semiconductors https://www.nature.com/articles/s41586-025-08759-9

Higher-Form Anomalies Imply Intrinsic Long-Range Entanglement https://arxiv.org/abs/2504.10569

ignore-topk: новая регуляризация для борьбы с деградацией LLM во время файнтюнинга (by DeepMind)

При дообучении языковые модели частенько портятся. Рисёрчеры из DeepMind показали, что проблема связана с тем, что LLM, пытаясь запомнить новый факт, начинает использовать лёгкие shortcut-ы вместо аккуратного внедрения новых знаний в веса. Она просто «раскладывает» новую информацию по уже знакомым ей понятиям (казалось бы это хорошо, но нет). Такое явление они назвали "праймингом" (aka разложение числа на простые множители), и из-за него LLM начинает путаться в фактах, выдавая новую информацию где не просили.

Авторы этой статьи предлагают потенциальное решение — регуляризацию ignore-topk. Идея до гениальности простая:
- Делаем обычный шаг файнтюнинга и смотрим на обновления весов (Δω).
- Отбираем top-k% самых больших обновлений и… просто удаляем их (умножаем на 0).
- Используем только небольшие изменения весов, которые не содержат шорткатов для быстрой меморизации.

Зачем так странно?
Оказывается, самые большие градиенты как раз и отвечают за «грязное» быстрое запоминание через прайминг. Игнорируя их, мы заставляем модель учиться медленнее и аккуратнее. При этом прайминг уменьшается на 90-95%, а способность запоминать новые факты не страдает.

Но авторы конечно молодцы, сами придумали бенчмарк, сами свой подход измерили, а на другие "learning without forgetting" методы вообще забили. Поэтому не могу сказать, что ignore-topk лучше чем, например, Child-Tuning или EWC, но выглядит прикольно, я его точно попробую 🤷‍♂️

Статья