Оказывается DeepMind учит играть маленьких робофутболистов ⚽️. Работа была проделана большая.

На видосиках можно посмотреть как они шустро бегают и забивают голы:
https://sites.google.com/view/op3-soccer

Целью было проверить способен ли Deep RL синтезировать сложные и при этом безопасные навыки для маленького гуманоидного робота.
В качестве конкретной задачи выбрали игру в футбол 1 на 1.

В процессе исследований пришли к выводу, что лучшие результаты получаются если тренировать навыки по отдельности, затем компоновать их в сложное поведение.
Потому обучение разбили на 2 фазы.
В 1й учили робота вставать и забивать голы неподготовленному сопернику.
Во 2й учились играть в self-play режиме (против себя же), улучшая свою стратегию, при этом используя навыки из первого этапа для регуляризации (учили через дистиляцию и политика с первого этапа выступала в качестве учителя).

Отметили, что попытки учить все сразу приводило к вырожденным случаям в которых робот либо катался по полу к мячу, чтобы забить его либо просто стоял.

Чтобы облегчить перенос агента из симуляции в реального робота 🤖 (sim-to-real transfer) и не словить проблем добавляли агенту шумов в датчики, задержки и случайных возмущений.
Модель робота The Robotis OP3 (51 см в высоту, 3.5 кг)

Натренированные RLем агенты показали улучшения относительно заскриптованного поведения:
* шли 181% быстрее (скорость движения вперед 0,57 м/с)
* тратили на вставание 63% меньше времени;
* поворачивались 302% быстрее( скорость поворота 2,85 рад/с);
* пинали ногами на 34% быстрее;

Ещё разработчики заметили, что агенты научились предсказывать движение мяча и блокировать удары соперника! (и много движений, которым их специально не учили)

Но в работе описано и много нюансов, лучше почитать в статье.

В общем ❤️DeepMind❤️

Читаем тут:

Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning
https://www.science.org/doi/10.1126/scirobotics.adi8022

Прошлогодняя версия: https://arxiv.org/abs/2304.13653

Many-Shot In-Context Learning

LLM известны своим навыком In-Context Learning (ICL) — они могут выучить новую задачу без непосредственно обучения, просто по демонстрации примеров в промпте. Однако долгое время количество подаваемых примеров оставалось маленьким — 4-8, может, 25 максимум. Однако модели текущего поколения набирают обороты, и у той же Gemini 1.5 Pro в контекст влазит аж 1М токенов — хватит на сотни и даже тысячи примеров решений!

Поэтому авторы из DeepMind возвращаются к вопросу ICL и исследуют изменение качества при увеличении количества примеров. Результаты ожидаемые - почти всегда и почти везде качество растёт, тут ничего удивительного. Например, в задаче машинного перевода на редкие языки (с английского на курдский и тамильский) Gemini 1.5 Pro обходит гугл переводчик (в промпте при этом примерно 85-100k токенов пар-примеров с переводом). В разных бенчмарках по математике и рассуждениям тоже наблюдаются приросты — картинка будет в первом комментарии.

Один из вопросов с точки зрения практики - готовы ли вы платить +$0.5 за обращение к модели, чтобы поднять качество ответов на 5-15%? Уверен, найдутся домены, где это окупается.

«Ну так блин, для этого надо столько разметки вручную делать, это не всегда доступно» — можете заметить вы, и будете правы. Поэтому начинается интересная часть, делящаяся на два направления:
1) подавать просто текст проблем в промпт, без решений и ответов (называется Unsupervised ICL)
2) генерировать решения LLM'кой (и отбирать их по имеющемуся ответу) и брать их. Да, в таком случае некоторые неправильные решения могут приводить к верному ответу. Называется Reinforced ICL.

Эти два метода расширяют применимость ICL с большим количеством решений — в первом так вообще ничего не надо, кроме текстов проблем. И...это тоже увеличивает качество. RICL так вообще почти всегда показывает такое же качество (и даже лучше!), чем демонстрация написанных людьми решений. И даже UICL иногда работает — вероятно, потому, что модель лучше понимает и формирует внутри себя представление о том, с какими проблемами имеет дело.

Лично мне в статье не хватило сравнения с RAG подходом, когда отдельная модель сначала из всего корпуса проблем и/или решений выбирает самые подходящие, подаёт их в промпт, а затем уже LLM генерирует ответ. Тут не нужен большой контекст, и потенциально можно отфильтровать шум. Быть может этот метод будет давать качество ещё выше 🤷‍♀️

Ждём модели с 100M контекста, чтобы кормить им описание всего, что только под руку попадётся — даже если за это придётся платить долор(

Сравнение Llama 3 vs Llama 2 от самих авторов 🤨

сайга на Llama 3, чтобы русский вкрутить 🔼

🎙— Радиоэфир "Embodied AI"

Мы знаем, что у нас активная аудитория и хотим попробовать новый формат - Радиоэфир!

В этом формате наши руководители, сотрудники и приглашенные гости будут делиться своим знанием, видением и обсуждать новости по выбранной теме.
У вас, как наших подписчиков, будет не только возможность послушать, но и поучаствовать в обсуждении и задать свои вопросы!

🗓 Дата: В пятницу 19.04.24 в 17.00

Спикеры:
- Александр Панов, руководитель Центра когнитивного моделирования МФТИ
- Алексей Ковалёв, доцент Центра когнитивного моделирования МФТИ

Присоединяйтесь к диалогу, делитесь опытом и участвуйте в обсуждении!