Telegram Web
Полный ноль в ризонинге

В смысле, что для обучению ризонингу не надо заготовленных данных. Моделька сама формулирует задачи, сама пытается их решать.

Агент работает с кодом. Одна и та же моделька работает в двух ролях - кто ставит задачи и кто решает. И получается такой селфплей

Обе эти роли действуют на программах, входам для них и на их выходах (триплеты). И для каждой из ролей назначаются свои реварды.

И выполняют 3 вида внутренних задач в процессе решения:

Deduction - для программы и входных данных предиктит выход
Abduction - по программе и выходу предиктит параметры для программы
Induction - синтезирует программу по входам и выходам

У каждого вида задач свои буферы триплетов. Базовой моделькой генерируется первоначальный набор задач, затем в процессе обучения роль ставящая задачи создает их вариации, а решатель решает. Успешные триплеты добавляются в буфер

Генерируемые программы выполняются по своим входам и выходам (ну в зависимости от типа задачи) и по результатам получают реварды.
Ну и учатся рлем лучше решать задачи.

В целом по бенчам на математике сопоставимы или обходят другие хорошие подходы с данными.

Так понял. Довольно интересно

Подробнее читаем тут

Absolute Zero: Reinforced Self-play Reasoning with Zero Data
https://www.arxiv.org/abs/2505.03335
https://www.alphaxiv.org/ru/overview/2505.03335

https://andrewzh112.github.io/absolute-zero-reasoner/

https://github.com/LeapLabTHU/Absolute-Zero-Reasoner

PS собираем ИИнфу и проекты делаем в https://www.tgoop.com/researchim
🔥152👍2
This media is not supported in your browser
VIEW IN TELEGRAM
просто double DQN проходит простой уровень из марио

https://www.reddit.com/r/reinforcementlearning/comments/1kidoi3/mario/
🏆26🔥4👏2
хм интересная штука
двое ребят kalomaze (хз кто он, в иксе часто про всякое рльное пишет) и Will Brown (он одним из первых выложил пример с кодом по grpo для тюна 1б лламы в домашних условиях, который быстро разошелся и многие взяли этот пример за базу и вообще разбирались во всей этой грпо штуке)

вот только что пошли работать в https://www.primeintellect.ai/
https://github.com/PrimeIntellect-ai
Как понял они делают всякое по распределенному трену моделек и агентские штуки

Я к чему - прикольно что кто-то пылесосит популярных рльных/ллмных челов

И еще вот вышел видосик по открытым вопросам агентик рля с Виллом Брауном как раз
https://www.youtube.com/watch?v=Xkwok_XXQgw
👍189🔥4
Optimal Brain Damage - это когда ежедневно читаешь статьи по RL LLM агентам
😁28
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA научила гуманоидных роботов двигаться, как люди - но при нулевом дообучении после переключения из симуляции на реальный мир

Если коротко, десять лет обучения сжали в две часа симуляции-тренировки

А еще, оказалось, что маленькая модель прекрасно справляется с движениями кожаных:

«В модели полтора миллиона параметров, а не миллиард, чтобы повторить подсознительные процессы человеческого тела»
👍226
Forwarded from AI[ex]Time (Alex Golubev)
SWE-rebench: A Continuously Evolving and Decontaminated Benchmark for Software Engineering LLMs

Сегодня стандартом для оценки SWE агентов является SWE-bench Verified. Его задумка очень понятная и как-то приближена к разработке чего-то большего, чем генерация кода: мы запускаем агента на настоящих задачках из GitHub, проверяем в конце прохождение отложенных тестов и смотрим на их результат. Но с SWE-bench Verified есть несколько проблем:

- Изначальный датасет был публично выложен в конце 2023 года. Последние модели может и неявно, но с очень высокой вероятностью захватили все эти данные в обучении, отчего рост чисел на бенче на какую-то часть связан с контаминацией. Да и без этого многие используют Verified как валидацию для экспериментов с агентом, неявно переобучаясь под него. По этой же причине в свое время появился LiveCodeBench для решения обычных задач для кодинга.
- Самые первые релизы на лидерборде хорошо описывали структуру агента и параметры запуска так, что было понятно, что вот это решение докинуло за счет перевода с gpt4o на sonnet-3.5, а вот это — просто промпты потюнили или тулы сделали лучше. Сейчас же лидерборд превратился в солянку, по которой просто непонятно, что происходит: best-of-N запуски, верификация доп тестами, MCTS, миллион разных скаффолдингов, уже даже непонятно, какая модель используется внутри, тк многие сабмиты на лидерборде — это закрытые решения компаний.

Мы попробовали закрыть часть этих пробелов и сегодня релизим SWE-rebench! Для борьбы с потенциальной контаминацией, мы будем регулярно обновлять лидерборд с замерами на свежих задачах. Скаффолдинг агента при этом везде фиксирован, чтобы запуски с разными моделями были сравнимы между собой. Так как наш пайплайн сбора данных позволяет автоматически контролировать сложность задач, то в будущем мы будем использовать это для борьбы с насыщением бенчмарка.

Детали можно прочитать на сайте самого бенча, ну и конечно приглашаю заглянуть на текущий лидерборд. Если вы привыкли читать обзоры в Х, там тоже есть подходящий контент.
🤔5🔥4👍3
Там потестили модельки на написание солверов для уравнений в частных производных. Дали на тест 5 типов уравнений

Уравнение адвекции: Моделируют явления переноса без диффузии
Уравнение Бюргерса: Фундаментальное нелинейное УЧП, используемое в механике жидкости
Уравнение реакции-диффузии: Моделирует системы, в которых химические вещества подвергаются реакциям и диффузии
Уравнение Кана-Хиллиарда-Навье-Стокса (CNS): Описывает двухфазные несжимаемые потоки
Уравнение фильтрации Дарси: Моделирует поток жидкости через пористую среду


На последнем скрине предпочтения LLMок по использованию разных библиотек

Кстати возможность подебагать код и получать фидбек сильно подкидывает качество. С фреймворком который написали авторы (который правильно ставит задачу, дает дебагать и фидбек) ллмки справляются на уровне эспертов или даже лучше справляются

CodePDE: An Inference Framework for LLM-driven PDE Solver Generation
https://arxiv.org/abs/2505.08783
https://www.alphaxiv.org/ru/overview/2505.08783

https://github.com/LithiumDA/CodePDE

инфу по иишечке собираем и проектики делаем в https://www.tgoop.com/researchim
👍10🔥63
Forwarded from Dmitry Rybin 人工智能
Привет! А мы тут не отстаем от Дипмайнда: нашли новый алгоритм умножения X*X^t.

Для 4x4 матриц получили алгоритм с 34 умножениями (у SotA было 38).

Для n x n при больших n на 5% быстрее.

https://arxiv.org/abs/2505.09814
🔥43👍118🤔1
у любителей ллмного RLя сегодня снова приподнятое настроение

там потюнили квен coder 7б с PPO, чтобы он оптимизировал асемблерный код. Ну и получили ускорение в среднем x1.47 (дефолтный 7б кодер x1.1 выдавал), и % компиляции с 79% до 96% поднял
ну и круче других протесченых ллмок получилось 🎹

Improving Assembly Code Performance with Large Language Models via Reinforcement Learning
https://www.arxiv.org/abs/2505.11480

увидел в https://www.tgoop.com/j_links кстати
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19👍42🤔1
Кстати, вообще считаю что вайбкодинг это очень круто если понимаешь что делаешь. Прямо быстро можно прототипчик сделать чего угодно. Да и с ллмками можно вполне разобраться почти в любой теме если есть желание.

В одного с ллмными агентами щас можно собрать почти все.
👍32🔥5🦄5
Ребят, если что интересного увидите в презухе гугла, черкните в коменты плиз
И надо будет посчитать количество упоминаний ИИ агентов
👍8🥱3👌2
https://huggingface.co/mistralai/Devstral-Small-2505

Новая кодовая агентная открытая моделька от мистраля. 24B, 128к контекст
В сыром виде в 3090/4090 не влезет, надо подождать awq

lm-studio уже сделали GGUF кванты, можно в LM studio или llama.cpp пробовать запускать
https://huggingface.co/lmstudio-community/Devstral-Small-2505-GGUF

интересно что там с русским
🔥12👍42
Всем привет! Рад сообщить о нашем новом релизе RuadaptQwen3-32B-Instruct 🎉. Это адаптированная версия Qwen3-32B, которая также является гибридным ризонером с режимом размышлений по-умолчанию.

Отличия текущего релиза от прошлых:

1. Версионирование: теперь версионирование моделей будет идти внутри одного репозитория, но в Versions будут отмечены даты и соответствующие коммиты, которые могут быть использованы, если кому-то больше понравится “прошлая версия”. Таким образом мне проще выкладывать текущие наработки, которые я все еще не могу назвать итоговыми, но которые уже неплохи на мой взгляд.

2. Процедура адаптации была улучшена: токенайзер содержит потерянные смайлы и не содержит ненужных цифр, количество данных в continued pretraining было увеличено вдвое и еще несколько минорных изменений процедуры, которые приводят к бОльшему качеству на выходе.
Так как для Qwen3-32B не была выложена базовая версия, мы сделали ее сами, дообучив только эмбеддинги (входные и выходные) на +-миллиарде токенов.

3. Новый набор для SFT и пока что отсутствие Pref-tuning этапа: в этот раз данные для обучения были сгенерированы на основе большой модели Qwen3-235B-A22B. Для сохранения функции переключения между режимами, в 30% случаев think содержимое выбрасывалось и добавлялся /no_think токен к последнему сообщению пользователя. Для 10% случаев, когда размышления оставались добавлялся токен /think. Используемый датасет выложен и упомянут в карточке модели.

4. Метрик пока нет, но в целом имеется некоторая просадка на мат. задачах, однако для обычного использования все должно быть +- на уровне исходной версии.

Если заметите плохие или наоборот хорошие стороны модели - обязательно пишите, так как сейчас активно идут работы над инструктивной частью и фидбек по поводу проблем будет очень актуален.

Модель: https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct
GGUF: https://huggingface.co/RefalMachine/RuadaptQwen3-32B-Instruct-GGUF
Space: https://huggingface.co/spaces/RefalMachine/RuadaptQwen3
🔥8👍5🤔21
2025/07/10 14:32:25
Back to Top
HTML Embed Code: