ык@yqelga P.165

YQELGA Telegram 165

Скоро выйдет статья на английском TUMLU: A Unified and Native Language Understanding Benchmark for Turkic Languages, в которой я тоже поучаствовал (аннотация переведена, понятно, при помощи ИИ):

"Способность тщательно оценивать возможности многофункционального языкового понимания (MMLU) является ключевым фактором для дальнейшего развития многоязычных языковых моделей. Однако подготовка таких тестовых наборов на качественном родном языке часто требует значительных затрат, что ограничивает репрезентативность оценочных данных.

Хотя в последнее время предпринимались попытки создать более инклюзивные MMLU-бенчмарки, их обычно составляют с помощью машинного перевода с ресурсовых языков. Это может приводить к ошибкам и не учитывать лингвистические и культурные особенности целевых языков.

В данной работе мы решаем проблему отсутствия MMLU-бенчмарка на родном языке для слабо представленного тюркского языкового семейства, которое обладает особыми морфосинтаксическими и культурными характеристиками."

www.tgoop.com/yqelga/165

327 viewsedited Feb 21 at 17:11

tgoop.com/yqelga/165

Create: 2025-02-21
Last Update: 2025-04-02 02:46:20

Скоро выйдет статья на английском TUMLU: A Unified and Native Language Understanding Benchmark for Turkic Languages, в которой я тоже поучаствовал (аннотация переведена, понятно, при помощи ИИ):

"Способность тщательно оценивать возможности многофункционального языкового понимания (MMLU) является ключевым фактором для дальнейшего развития многоязычных языковых моделей. Однако подготовка таких тестовых наборов на качественном родном языке часто требует значительных затрат, что ограничивает репрезентативность оценочных данных.

Хотя в последнее время предпринимались попытки создать более инклюзивные MMLU-бенчмарки, их обычно составляют с помощью машинного перевода с ресурсовых языков. Это может приводить к ошибкам и не учитывать лингвистические и культурные особенности целевых языков.

В данной работе мы решаем проблему отсутствия MMLU-бенчмарка на родном языке для слабо представленного тюркского языкового семейства, которое обладает особыми морфосинтаксическими и культурными характеристиками."

BY ык

Share with your friend now:
tgoop.com/yqelga/165

Open in Telegram

Telegram News

Date: 2025-04-02|

A new window will come up. Enter your channel name and bio. (See the character limits above.) Click “Create.” It’s yet another bloodbath on Satoshi Street. As of press time, Bitcoin (BTC) and the broader cryptocurrency market have corrected another 10 percent amid a massive sell-off. Ethereum (EHT) is down a staggering 15 percent moving close to $1,000, down more than 42 percent on the weekly chart. Telegram users themselves will be able to flag and report potentially false content. The visual aspect of channels is very critical. In fact, design is the first thing that a potential subscriber pays attention to, even though unconsciously. For crypto enthusiasts, there was the “gm” app, a self-described “meme app” which only allowed users to greet each other with “gm,” or “good morning,” a common acronym thrown around on Crypto Twitter and Discord. But the gm app was shut down back in September after a hacker reportedly gained access to user data.
from us

Telegram ык
FROM American