исследовано

Forwarded from Градиент обреченный (Sergei Averkiev)

🔺 MERA

Ещё один большой и полезный релиз. Коллеги вложили очень много сил в новый фреймворк для оценки языковых моделей, который назвали MERA.

🔸 Сейчас есть 21 задача с текстом, постепенно будут добавляться таски в других модальностях. Есть задания на логику, математику, знания о мире, этику, память и другие.

🔸 Проект коллективный, ведётся совместно с Альянсом в сфере ИИ.

🔸 Сделали открытый лидерборд, на котором можно будет наблюдать текущий уровень развития русскоязычных моделей.

Написали про это небольшую статью для интересующихся деталями разработки. Ждём ваших сабмитов!

👉 Хабр | GitHub | Сайт прокета

www.tgoop.com/nlp_seminar/113

2.6K viewsKatya Artemova, Nov 24, 2023 at 08:49

🔺 MERA

Ещё один большой и полезный релиз. Коллеги вложили очень много сил в новый фреймворк для оценки языковых моделей, который назвали MERA.

🔸 Сейчас есть 21 задача с текстом, постепенно будут добавляться таски в других модальностях. Есть задания на логику, математику, знания о мире, этику, память и другие.

🔸 Проект коллективный, ведётся совместно с Альянсом в сфере ИИ.

🔸 Сделали открытый лидерборд, на котором можно будет наблюдать текущий уровень развития русскоязычных моделей.

Написали про это небольшую статью для интересующихся деталями разработки. Ждём ваших сабмитов!

👉 Хабр | GitHub | Сайт прокета

BY исследовано