Ruadaptная комната

Яндекс релизнули свои новые модели YandexGPT 5 (https://habr.com/ru/companies/yandex/articles/885218/):
1) 8B версия (foundational, базовая, не инстракт!) выложена в опенсорс, но под странной лицензией, хотя вряд ли лицензия остановит кого-либо. По метрикам заявляется, что модель SoTA для ру языка и это очень круто. Поверх данной модели уверен появится некоторое количество хороших инстракт версий. Потенциально подобные инстракт версии могут стать так же SoTA в своем весовом сегменте, но однозначно заранее сказать нельзя.

2) 32B версия, уже инструктивная, но, не выложена в опенсорс. Что примечательного и интересного лично для меня - судя по описанию на хабре, Яндекс применил по сути схожий с Ruadapt подход к построению своей YandexGPT 5 Pro - взяли Qwen2.5-32B и адаптировали с расширением токенизации (но однозначно сложно судить, мало подробностей про процедуру адаптации). Метрики +- на уровне исходного Qwen2.5-32B-Instruct, что в целом ожидаемо, нр жаль ее нет на общепризнанной арене Вихрей (Vikhrmodels/arenahardlb), чтобы можно было сравнить с Ruadapt версиями.

Очень круто, что Яндекс, вслед за Сбером и Т-Банком, также решил выложить свои наработки в опенсорс, и поделились информацией о том, как создают свои текущие модели (в рамках habr статьи). Но жаль, что не выложили какую-либо инстракт версию для 8B и что не выложили свою 32B версию, хотя она по сути адаптация уже существующего Qwen2.5-32B.

Хабр

Встречаем YandexGPT 5 — в Алисе, облаке и опенсорсе

Привет, меня зовут Андрей Бут, я представляю команду разработки YandexGPT. Сегодня мы анонсируем новое поколение наших больших языковых моделей — YandexGPT 5. Старшая модель —...

www.tgoop.com/ruadaptnaya/28

2.0K viewsedited  Feb 25 at 09:13

Яндекс релизнули свои новые модели YandexGPT 5 (https://habr.com/ru/companies/yandex/articles/885218/):
1) 8B версия (foundational, базовая, не инстракт!) выложена в опенсорс, но под странной лицензией, хотя вряд ли лицензия остановит кого-либо. По метрикам заявляется, что модель SoTA для ру языка и это очень круто. Поверх данной модели уверен появится некоторое количество хороших инстракт версий. Потенциально подобные инстракт версии могут стать так же SoTA в своем весовом сегменте, но однозначно заранее сказать нельзя.

2) 32B версия, уже инструктивная, но, не выложена в опенсорс. Что примечательного и интересного лично для меня - судя по описанию на хабре, Яндекс применил по сути схожий с Ruadapt подход к построению своей YandexGPT 5 Pro - взяли Qwen2.5-32B и адаптировали с расширением токенизации (но однозначно сложно судить, мало подробностей про процедуру адаптации). Метрики +- на уровне исходного Qwen2.5-32B-Instruct, что в целом ожидаемо, нр жаль ее нет на общепризнанной арене Вихрей (Vikhrmodels/arenahardlb), чтобы можно было сравнить с Ruadapt версиями.

Очень круто, что Яндекс, вслед за Сбером и Т-Банком, также решил выложить свои наработки в опенсорс, и поделились информацией о том, как создают свои текущие модели (в рамках habr статьи). Но жаль, что не выложили какую-либо инстракт версию для 8B и что не выложили свою 32B версию, хотя она по сути адаптация уже существующего Qwen2.5-32B.

BY Ruadaptная комната