🔥 Зарубежные ИИ на MERA — при поддержке LLM Arena

Пока все следили за обновлением Mistral Small, мы добавили зарубежные модели на лидерборд MERA — один из ведущих бенчмарков для оценки языковых моделей в России.

На платформе стали доступны:
⏺️ Claude 3.7 Sonnet
⏺️ Claude 3.5 Haiku
⏺️ Gemini Flash 2.0
⏺️ DeepSeek-V3
⏺️ Meta Llama 3.3
⏺️ Gemma 3 27B

Теперь вы можете наглядно увидеть, как Claude, Gemini, Llama и другие модели справляются с русскоязычными задачами в сравнении с отечественными LLM на одной площадке.

☝️ Кстати об этом: нам по-прежнему важны ваши оценки, ведь они напрямую влияют на рейтинг Арены. Не забывайте отдавать голоса — и в Telegram, и на сайте.

🔥 Теперь рейтинг есть не только у моделей, но и у вас

Мы добавили авторизацию в боте через Telegram. Всё как раньше: задаёте вопросы, оцениваете ответы — только теперь ваш прогресс сохраняется.

За каждый отданный голос на Арене вам начисляются очки опыта. Чем активнее вы — тем выше ваш уровень.

Вместе с уровнем открываются новые возможности: доступ к наградам, статусам, расширенным функциям и рейтингу.

Чем больше активных, авторизованных пользователей — тем точнее система оценки и полезнее рейтинг моделей.

Для новичков мы добавили подробный онбординг: в боте есть гайд, подсказки и объяснения — чтобы быстрее понять механику платформы.

Всё это — благодаря вашей обратной связи. Читали, собирали, внедряли. Спасибо за идеи и замечания.

Тестируйте обновления в Telegram-боте и делитесь в комментариях мнением о новом функционале.

🔥 Бенчмарки стали неотъемлемой частью работы с LLM

Разобраться, как они устроены и какие метрики действительно имеют значение, можно будет вместе с нами 15 апреля на митапе Т-Банка.

Хедлайнерами программы выступит наша команда LLM Arena и авторы бенчмарка MERA — одного из наиболее используемых инструментов для оценки русскоязычных языковых моделей.

Будем разбирать:
- как устроены бенчмарки для текстовых и мультимодальных моделей;
- что учитывать при проверке LLM на качество написания кода;
- как сравнивать между собой специализированные ML-модели.

Встреча пройдёт в офлайн-формате в Москве, подробности по ссылке.

Регистрация уже открыта — приходите, будем рады видеть.

⚡️ Обновление на LLM Arena: добавлены пять моделей Qwen3

На платформе появились новые модели Qwen3 от Alibaba — одного из наиболее технологически продвинутых семейств LLM на сегодняшний день.

Они показывают высокие результаты в тестах, на предварительных тестах уверенно конкурируют с LLaMA 4 402B Maverick и DeepSeek R1 Shannon, и теперь доступны для сравнения на LLM Arena.

Добавлены следующие версии:
⏺️ Qwen3-8B — компактная модель для повседневных задач
⏺️ Qwen3-14B — более уверенная генерация и понимание контекста
⏺️ Qwen3-30B-A3B — MoE-архитектура: высокая производительность при сниженных требованиях к ресурсам
⏺️ Qwen3-32B — надёжная модель, близкая к флагманскому уровню
⏺️ Qwen3-235B-A22B — тяжеловес, превосходящий по ряду метрик LLaMA 4 402B, но при этом экономичнее

1. Заходите на сайт llmarena.ru или в наш mini-app прямо в Telegram.
2. Используйте анонимную арену, сравнивайте модели и голосуйте за лучшие ответы.
3. Делитесь в чате инсайтами.

☝️ Не забывайте оставлять свой голос — это важно для развития платформы

📊Обновили график Price vs Quality на LLM Arena

Мы постарались учесть всё, что мешало удобному анализу, и улучшили основные элементы. Теперь он точнее, аккуратнее и лучше отражает реальную картину:

⏺️Визуализация стала понятнее
График больше не выглядит сжатым и перегруженным, что делает его более читаемым и облегчает сравнение моделей между собой.

⏺️Добавлены доверительные интервалы
Они помогают оценить статистическую надежность Elo-рейтинга каждой модели.

⏺️Гибкий расчёт стоимости
Теперь вы можете настраивать баланс между input- и output-токенами в зависимости от ваших задач.

⏺️Параметр "Style Control"
Позволяет "очистить" рейтинг от влияния стиля – длины текста, форматирования (списков, выделений).

⏺️Актуальные модели
График построен на свежих данных с основного лидерборда LLM Arena.

Найти график можно на сайте llmarena.ru во вкладке Таблица лидеров ➡️ Price vs Quality.

А вы уже нашли свою модель?
❤️ — да, и она стоит своих денег
🔥 — пока только ищу, спасибо за график

🔥 Новый бенчмарк на LLM Arena

Добавили на платформу Doom (DeathMath) — открытый бенчмарк от Vikhr Models для проверки математических и физических способностей моделей на русском.

Проверяет reasoning на строгих, настоящих задачах. Собран на основе задач Всероссийских олимпиад (ВСОШ), Ломоносовской, Высшей пробы, Физтеха, ОММО и других.

Что проверяет:
— Умение решать реальные олимпиадные и экзаменационные задачи
— Логическое рассуждение и базовые вычислительные навыки
— Способность давать точный ответ, а не «приблизительно верный»

Как работает:
⏺️Каждая модель по очереди решает задачи из двух наборов: RussianMath и RussianPhysics
⏺️Ответы сравниваются с эталонными, с учётом формата и точности
⏺️Оценка бинарная: 1 — правильно, 0 — нет
⏺️Итог: отдельные баллы за математику и физику, плюс комбинированный результат

Бенчмарк доступен на сайте llmarena.ru в разделе «Таблицы лидеров» → DeathMath

Своё мнение и вопросы можете оставлять прямо под этим постом 👇

🚀 Представляем Arena Explorer – новый инструмент на LLM Arena!

Мы запустили Arena Explorer — аналитический инструмент, который позволяет глубже понять, как пользователи взаимодействуют с LLM-моделями на нашей платформе.

Он обрабатывает и структурирует большие объемы анонимизированных запросов, помогая выявить ключевые темы и интересы аудитории.

Чтобы показать возможности нового инструмента, мы проанализировали с его помощью более 150 000 русскоязычных промптов. Вот что нам удалось выяснить о самых популярных категориях запросов.

📊 ТОП-5 тем по версии Arena Explorer:

🤩Программирование: 21 225 промптов
🤩Наука и техника: 18 476 промптов
🤩Перевод и лингвистика: 16 026 промптов
🤩Креативное письмо и копирайтинг: 7 508 промптов
🤩Анализ данных и стратегии: 4 903 промпта

Эти данные показывают основные направления, в которых русскоязычные пользователи применяют LLM. Arena Explorer позволила не только выделить эти категории, но и детализировать подтемы внутри каждой (например, в программировании популярны оптимизация кода и Python, а в науке — авиация и космонавтика).

Хотите сами изучить данные и тренды?

➡️ Заходите на Arena Explorer и работайте с информацией напрямую.