Аппроксимировать агентов для физики с SINDy моделями.

Работа использует Sparse Dictionary Learning, вид символьной регрессии когда исходная функция выучивается в виде линейной комбинации функций из заранее заданного набора. Зовется еще SINDy.
Нужно чтобы зависимость между X и Y была представима в этом наборе.
В результате получаем dictionary model.
Говорят, что оно хорошо учится на ограниченных данных. (полезно)
В основном применяют для физических задач.
Читать подробно нужно тут (2015 год)

Discovering governing equations from data: Sparse identification of nonlinear dynamical systems
https://arxiv.org/abs/1509.03580

Что происходит в основной работе (в целом все выучить в эти самые dictionary models):

Approximating Dynamics. (учим модель динамики)
Трейним в исходном окружении model free RLем нейронку, собирая данные, чтобы фитить суррогатную dictionary model динамики на них. Повторяем много раз.

Approximating Rewards. (учим функцию реварда)
Учим dictionary model для реварда на офлайн данных. Подразумевается, что ревард можно выучить из observation.

Policy также учится в sparse dictionary model, получая символьную апроксимацию нейронки.
Т.е. вначале учимся нейронкой в суррогатном окружении, потом прогоняем ее на данных X, получаем Y и фитим dictionary model на этом.

В конце у нас динамика, функция реварда и полиси представимы в виде наборов исходных функций. Т.е. получаем объяснимые модели + количество весов меньше (должно быть) чем в той же нейронке. И авторы давят на то, что SINDy модельки применять там где надо быть энергоэффективными.

Учились в задачках dm control swing-up , gymnasium Swimmer-v4, HydroGym Cylinder.

Так понял.

Нюансы:
* лишь 50% агентов сходятся. (остальные расходятся)
* На графики сильно не обольщаемся (я обольстился), ибо там количество интеракций в исходном окружении, а много обучения делается в суррогатной модели.

За подробностями сюда

SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning
https://arxiv.org/abs/2403.09110
https://github.com/nzolman/sindy-rl

DeepMind идут в спорт и учат ИИшку генерить футбольные тактики с TacticAI

В колабе с Liverpool FC

https://deepmind.google/discover/blog/tacticai-ai-assistant-for-football-tactics/

Статья
https://www.nature.com/articles/s41467-024-45965-x

Ученые на месте?

Нашел интересный проект с ИИшкой для науки

https://www.air4.science/

https://github.com/divelab/AIRS

Внутри подразделы с реализациями работ по следующим направлениям

- OpenQM: AI for Quantum Mechanics
- OpenDFT: AI for Density Functional Theory
- OpenMol: AI for Small Molecules
- OpenProt: AI for Protein Science
- OpenMat: AI for Materials Science
- OpenMI: AI for Molecular Interactions
- OpenPDE: AI for Partial Differential Equations

Интересующимся рекомендую посмотреть, мб что полезное увидите

Вон чего выдумали

Предлагают Evolutionary Model Merge способ сборки нужных вам Foundational Models из частей других моделек с эволюционными техниками.
Можно мержить модельки разных архитектур.

Таким образом собрали себе 3 модельки для японского (из уже существующих моделек)

Large Language Model (EvoLLM-JP) (для решение математики)
Vision-Language Model (EvoVLM-JP)
Image Generation Model (EvoSDXL-JP)

Судя по метричкам неплохо так получилось.

В процессе эволюцией решают 2 задачи

Merging in the Parameter Space: как смиксовать новые слои из исходных слоев разных моделек. (получать новый слой из существующих)
Merging in the Data Flow Space: ищут как собрать лучшую последовательность слоев разных моделей. (новых слоев не формируем, выстраиваем последовательность из существующих)
Их можно решать по отдельности, можно вместе. Подробно в статье.
Так понял.

Чтобы собрать мегазорда нужен датасет (на котором хотим улучшаться) ну и набор исходных моделек.

Очень даже интересно

https://sakana.ai/evolutionary-model-merge/

https://github.com/sakanaai/evolutionary-model-merge

Evolutionary Optimization of Model Merging Recipes
https://arxiv.org/abs/2403.13187