Наконец-то и Яндекс выложили модель в опенсорс 😘

На растерзание энтузиастам отдали YandexGPT 5 Lite на 8B параметров, это базовая модель до пост-трейна. Перфоманс по бенчам чуть лучше, чем у LLaMA и Qwen тех же размеров, и значительно лучше в русском языке.

Интересно, что если Lite обучали с нуля, то Pro обучали гибридно - инициализировали веса с чекпоинта Qwen 2.5 32B Base, а поверх него уже запустили полноценный претрейн пайплайн на своих данных. Это не просто файнтюн, потому что включает в себя все этапы тренировки модели и использует сильно больше токенов. ИМХО это хороший способ сэкономить ресурсы и ускорить обучение, если архитектура как-то кардинально не меняется.

Тренили Lite на датасете в 15 триллионов токенов (прямо как Llama 3), он включал в себя 30% русского и 70% английского. При этом из них только 15% — код, 10% — математика, поэтому в этих задачах она проигрывает тому же Qwen. В базовой модели, которую выложили в опенсорс, нет никакой цензуры.

А вот старшая модель PRO уже доступна в чатике с Алисой. Так что виртуальный ассистент теперь совсем умный) Почти 4o, lol. Пишут, что PRO сильна в кодинге. И хоть среди англоязычных разрабов все топят за Клод в работе с кодом, последняя моделька Яндекса, по моему опыту, тоже неплохо справляется, особенно с русскоязычными промтами. PRO доступна через API, и к ней даже можно прикрутить RAG.

В блог-посте на Хабре расписаны детали про тренировку модели.
Потыкать здесь
Моделька на обнимающем лице 🤗

@ai_newz