Forwarded from Machinelearning
Miles - фреймворк для RL-обучения от команды LMSYS ORG, ориентированный на энтерпрайз-уровень.
Если вы следите за опенсорс разработками, вы наверняка слышали о предшественнике этой системы, проекте slime. Это легкий инструмент, который используют во многих современных пайплайнов пост-трейна. На нем, кстати, запускали GLM-4.6.
Slime доказал, что легковесный дизайн работает, и Miles делает следующий шаг - масштабное обучение архитектур MoE и поддержка тяжелых промышленных нагрузок.
Miles предлагает то, что называют "True On-Policy". Раньше между тренировкой и инференсом часто возникало расхождение. Теперь же, благодаря инфраструктурному подходу, LMSYS добилась нулевой дивергенции. Это стало возможным благодаря использованию Flash Attention 3, библиотеки DeepGEMM и ядер от Thinking Machines Lab, работающих в связке с
torch.compile.Вторая особенность - в использовании спекулятивного декодирования. Обычно в RL черновая модель замораживается, что мешает ей следовать политике целевой модели. LMSYS добавили онлайн-обучение черновой модели.
Результаты на тестах положительные: ускорение генерации более чем на 25%, особенно на поздних стадиях обучения.
Для энтерпрайза память - это деньги. В Miles включили механизмы, предотвращающие падение системы при некритичных ошибках OOM и исправили чрезмерное потребление памяти в FSDP.
В дорожной карте проекта обещают поддержку мультимодального обучения, совместимость со SGLang v2 и расширенное спекулятивное декодирование.
@ai_machinelearning_big_data
#AI #ML #RL #Miles #LMSYS
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2🥰1
Forwarded from ODS Events
Всем привет!
Смотрите двадцать первый выпуск подкаста "Капитанский мостик". В этом выпуске обсуждаются последние новости в области искусственного интеллекта, включая децентрализованные вычисления и аренду вычислительных мощностей. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев. Приглашенный участник выпуска -Даниель Щебентовский.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Смотрите двадцать первый выпуск подкаста "Капитанский мостик". В этом выпуске обсуждаются последние новости в области искусственного интеллекта, включая децентрализованные вычисления и аренду вычислительных мощностей. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев. Приглашенный участник выпуска -Даниель Щебентовский.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
🥰3❤1👍1🔥1
Forwarded from Silero News
Мы опубликовали стабильный, быстрый, качественный и доступный синтез для 20 языков России и СНГ
0️⃣ Популярные языки из 🇷🇺🇺🇦🇺🇿🇰🇿🇦🇿🇹🇯🇧🇾 🇬🇪🇰🇬🇦🇲;
1️⃣ Всего 20 языков России и стран СНГ, всего 95 голосов;
2️⃣ Модели компактные и быстрые, как наши прошлые релизы;
3️⃣ Поддержка SSML, генерация аудио с SR
4️⃣ Два типа моделей -
5️⃣ Остались непокрытыми языки Дагестана и ЧР, если хотите помочь с добавлением этих языков пишите на @silero_job.
⭐️Репозиторий - github.com/snakers4/silero-models
⬆️ Статья на Хабре - habr.com/ru/articles/968988/
0️⃣ Популярные языки из 🇷🇺🇺🇦🇺🇿🇰🇿🇦🇿🇹🇯
1️⃣ Всего 20 языков России и стран СНГ, всего 95 голосов;
2️⃣ Модели компактные и быстрые, как наши прошлые релизы;
3️⃣ Поддержка SSML, генерация аудио с SR
8000, 24000, 48000;4️⃣ Два типа моделей -
base под лицензией MIT на наших данных и ext на данных сообщества;5️⃣ Остались непокрытыми языки Дагестана и ЧР, если хотите помочь с добавлением этих языков пишите на @silero_job.
⭐️Репозиторий - github.com/snakers4/silero-models
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10❤2🔥1
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Коллеги написали несколько обзорных статей по свежим релизам с AIJ с деталями разработки, читаем:
MERA Multi. Новый мультимодальный бенч для русскоязычных моделей. В топе там пока что мы,humans .
GigaTTS. Новый синтез речи. По естественности голоса стал в несколько раз лучше. Научили смеяться.
Linear Attention. Берем свой предобученный трансформер, стучим по нему молотком (оптимизируем), получаем те же метрики, но константу по памяти. Есть код.
GigaChat Ultra. Как с нуля обучается самая большая 702B (!) русскоязычная модель (прямо сейчас).
MERA Multi. Новый мультимодальный бенч для русскоязычных моделей. В топе там пока что мы,
GigaTTS. Новый синтез речи. По естественности голоса стал в несколько раз лучше. Научили смеяться.
Linear Attention. Берем свой предобученный трансформер, стучим по нему молотком (оптимизируем), получаем те же метрики, но константу по памяти. Есть код.
GigaChat Ultra. Как с нуля обучается самая большая 702B (!) русскоязычная модель (прямо сейчас).
Хабр
Развитие бенчмарка MERA: от текстовых задач к мультимодальному тестированию ИИ
Всем привет, с вами команда MERA! Этот год стал для нас по-настоящему прорывным. Мы запустили MERA Industrial , MERA Code и SWE-MERA , заложив основу для системной оценки моделей в разных областях. Но...
❤2👍1🔥1
Forwarded from Максим Горшенин | imaxai
OpenAI планирует потреблять больше энергии, чем Германия за пять лет и Индия за восемь лет
Telegram | Дзен | MAX
Telegram | Дзен | MAX
😁8🎉3
Forwarded from Machinelearning
Anthropic выпустила Claude Opus 4.5, которую назвала «лучшей в мире».
Модель по тестам выбивает топовые результаты в программировании и работе с агентами. Говорят, что она даже превзошла всех кандидатов-людей на внутреннем тесте.
Модель подешевела. Цена за 1 млн. токенов теперь составляет $5 на вход и $25 на выход.
Для разработчиков добавили новый параметр (low, high и medium), позволяющий балансировать между скоростью ответа и качеством генерации.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🥰3🤯1😢1
🚀 We're excited to announce #SemEval2026 Task 3: DimABSA!
This year, we're introducing a new shared task on Dimensional Sentiment and Stance Analysis, designed to push sentiment analysis beyond simple polarity to richer, more expressive representations.
🔹 Track A — DimABSA
Focuses on Dimensional Aspect-Based Sentiment Analysis, where systems predict continuous valence–arousal (VA) values for specific aspects. This gives a more nuanced picture of emotion than just "positive" or "negative.".
- Languages: English, Japanese, Russian, Tatar, Ukrainian, Chinese
🔹 Track B — DimStance
Explores stance detection as a "stance-as-aspect" problem, modeling stance in the same continuous VA space — bridging sentiment and stance Analysis.
- Languages: English, German, Hausa, Kinyarwanda, Swahili, Twi, Chinese
💡 Why DimABSA & DimStance?
Traditional sentiment analysis captures only coarse, categorical judgments (e.g., positive/negative), missing the emotional richness found in human affect.
DimABSA adopts continuous valence–arousal representations inspired by psychological models of emotion, distinguishing not only how positive or negative a sentiment is, but also how intense or calm it feels.
This finer granularity opens new directions for research and applications:
- Detecting high-arousal misinformation or emotionally charged posts
- Differentiating mental health signals (e.g., anxiety vs. depression)
- Modeling emotion dynamics in dialogue and personalized, empathetic systems
- Bridging sentiment and stance analysis across domains like politics or environmental protection
🗓 Key Dates
Evaluation Start: January 10, 2026
Evaluation End: January 31, 2026
System Description Paper Due: February 2026
Camera Ready Due: April 2026
The SemEval Workshop 2026 will be co-located with #ACL2026 in San Diego.
📄 All details, datasets, and participation info:
👉 https://github.com/DimABSA/DimABSA2026
We're organizing this task together with:
Liang-Chih Yu • Shamsuddeen H. Muhammad, PhD • Idris Abdulmumin • Jonas Becker • Lung-Hao Lee • Jin Wang • Jan Philip Wahle • Terry Ruas • Alexander Panchenko • Kai-Wei Chang • Saif M Mohammad
A huge thanks to this incredible team for their collaboration and ideas — it's been amazing shaping this together.
If you're working on sentiment analysis, stance detection, affective computing, or emotion modeling, we'd love to have you join us.
See you at SemEval 2026! 🌍💬
This year, we're introducing a new shared task on Dimensional Sentiment and Stance Analysis, designed to push sentiment analysis beyond simple polarity to richer, more expressive representations.
🔹 Track A — DimABSA
Focuses on Dimensional Aspect-Based Sentiment Analysis, where systems predict continuous valence–arousal (VA) values for specific aspects. This gives a more nuanced picture of emotion than just "positive" or "negative.".
- Languages: English, Japanese, Russian, Tatar, Ukrainian, Chinese
🔹 Track B — DimStance
Explores stance detection as a "stance-as-aspect" problem, modeling stance in the same continuous VA space — bridging sentiment and stance Analysis.
- Languages: English, German, Hausa, Kinyarwanda, Swahili, Twi, Chinese
💡 Why DimABSA & DimStance?
Traditional sentiment analysis captures only coarse, categorical judgments (e.g., positive/negative), missing the emotional richness found in human affect.
DimABSA adopts continuous valence–arousal representations inspired by psychological models of emotion, distinguishing not only how positive or negative a sentiment is, but also how intense or calm it feels.
This finer granularity opens new directions for research and applications:
- Detecting high-arousal misinformation or emotionally charged posts
- Differentiating mental health signals (e.g., anxiety vs. depression)
- Modeling emotion dynamics in dialogue and personalized, empathetic systems
- Bridging sentiment and stance analysis across domains like politics or environmental protection
🗓 Key Dates
Evaluation Start: January 10, 2026
Evaluation End: January 31, 2026
System Description Paper Due: February 2026
Camera Ready Due: April 2026
The SemEval Workshop 2026 will be co-located with #ACL2026 in San Diego.
📄 All details, datasets, and participation info:
👉 https://github.com/DimABSA/DimABSA2026
We're organizing this task together with:
Liang-Chih Yu • Shamsuddeen H. Muhammad, PhD • Idris Abdulmumin • Jonas Becker • Lung-Hao Lee • Jin Wang • Jan Philip Wahle • Terry Ruas • Alexander Panchenko • Kai-Wei Chang • Saif M Mohammad
A huge thanks to this incredible team for their collaboration and ideas — it's been amazing shaping this together.
If you're working on sentiment analysis, stance detection, affective computing, or emotion modeling, we'd love to have you join us.
See you at SemEval 2026! 🌍💬
GitHub
GitHub - DimABSA/DimABSA2026: SemEval2026 Task 3 DimABSA
SemEval2026 Task 3 DimABSA. Contribute to DimABSA/DimABSA2026 development by creating an account on GitHub.
😢1🙏1
Forwarded from Kali Linux
Это настоящее откровение. 😆
Авторы статьи показывают, что превращение вредоносных запросов в поэзию заставляет многие чат-боты сбрасывать свои правила безопасности.
В эксперименте тестируют 25 моделей - и получают небезопасные ответы примерно в 60% случаев, а у некоторых моделей показатель превышает 90%.
Джейлбрейком считается ситуация, когда модель, которая должна отказать, вместо этого выдаёт чёткие шаги или советы для вредоносных действий.
Методика предельно простая: берут один пользовательский запрос, переписывают 20 опасных инструкций в виде стихов, затем превращают 1200 вредных запросов из стандартного набора для тестирования безопасности в поэзию с помощью фиксированной инструкции.
Каждый ответ проверяют три модель-судьи и люди-оценщики, помечая, помогает ли реплика выполнить опасный запрос.
Темы охватывают хакерство, опасные химические вещества и биологию, манипуляции, утечки приватных данных и сценарии потери контроля — и почти везде поэтическая форма вызывает резкий рост небезопасных ответов.
Это показывает, что обучение безопасности на обычном тексте плохо справляется с изменением стиля.
Источник: arxiv.org/abs/2511.15304
Авторы статьи показывают, что превращение вредоносных запросов в поэзию заставляет многие чат-боты сбрасывать свои правила безопасности.
В эксперименте тестируют 25 моделей - и получают небезопасные ответы примерно в 60% случаев, а у некоторых моделей показатель превышает 90%.
Джейлбрейком считается ситуация, когда модель, которая должна отказать, вместо этого выдаёт чёткие шаги или советы для вредоносных действий.
Методика предельно простая: берут один пользовательский запрос, переписывают 20 опасных инструкций в виде стихов, затем превращают 1200 вредных запросов из стандартного набора для тестирования безопасности в поэзию с помощью фиксированной инструкции.
Каждый ответ проверяют три модель-судьи и люди-оценщики, помечая, помогает ли реплика выполнить опасный запрос.
Темы охватывают хакерство, опасные химические вещества и биологию, манипуляции, утечки приватных данных и сценарии потери контроля — и почти везде поэтическая форма вызывает резкий рост небезопасных ответов.
Это показывает, что обучение безопасности на обычном тексте плохо справляется с изменением стиля.
Источник: arxiv.org/abs/2511.15304
❤7😁3👍2🔥1😢1🎉1
Forwarded from Machinelearning
Есть устойчивое мнение, что серьезное обучение нейросетей возможно только на чипах одной известной компании.
В Zyphra решили доказать обратное, и, в сотрудничестве с AMD и IBM провели эксперимент, который на практике доказал, что есть альтернатива.
Стартап опубликовал техотчет и результат - модель ZAYA1. Это первая модель архитектуры MoE, обученная полностью на платформе AMD.
Сеттинг проекта был действительно "красным": графические процессоры AMD Instinct, сетевые интерфейсы AMD Pensando и программный стек ROCm.
ZAYA1 получилась довольно интересной. У неё 8.3 млрд. общих параметров, из которых активных всего 800 миллионов.
Несмотря на компактность, в тестах она выглядит бодро. В ризонинге, математике и программирование ZAYA1 обошла Llama-3-8B и OLMoE. А по общим показателям встала в один ряд с Qwen3-4B и гугловской Gemma3-12B.
Обучение проходило на кластере IBM Cloud, где модель переварила 14 трлн. токенов. Но дело не только в железе, в папйплайне использовали архитектурные инновации:
⚠️ Для запуска инференса потребуется ветка
zaya форка transformers из репозитория Zyphra.@ai_machinelearning_big_data
#AI #ML #LLM #MoE #Zyphra
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🔥7👍3🥰1🎉1🙏1
Forwarded from AI.Insaf
Follow-up статья: что придумали помимо базовых декодерных авторегрессионных моделей в современных LLM. Спойлер: не особо много чего.
Linear Attention Hybrids – замена базового квадратичного аттеншена на линейный. KV-кэш оптимизирован лучше, но метрики немного просели. Первые вариации придумали еще в 2020, хех (см. Qwen3-Next, DeepSeek V3.2 и т.д.).
Text Diffusion Models – теоретически дают выигрыш за счёт параллельной генерации, но на практике результаты хуже из-за проблем с моделированием сложных условных вероятностей. К тому же не работает Chain of Thought, про который рассказывают уже даже на бизнесовых докладах.
Small Recursive Transformers – красиво решают головоломки. Возможно, будут использоваться как тулзы для больших моделей, но пока это больше красивая история – хотя модели сильно меньше 100млн
Code World Models – LLM для кодинга, которые внутри себя моделируют то, как будет работать код. На деле – увеличение compute, и результат выходит то на то по сравнению с классическими подходами, но звучит красиво
Linear Attention Hybrids – замена базового квадратичного аттеншена на линейный. KV-кэш оптимизирован лучше, но метрики немного просели. Первые вариации придумали еще в 2020, хех (см. Qwen3-Next, DeepSeek V3.2 и т.д.).
Text Diffusion Models – теоретически дают выигрыш за счёт параллельной генерации, но на практике результаты хуже из-за проблем с моделированием сложных условных вероятностей. К тому же не работает Chain of Thought, про который рассказывают уже даже на бизнесовых докладах.
Small Recursive Transformers – красиво решают головоломки. Возможно, будут использоваться как тулзы для больших моделей, но пока это больше красивая история – хотя модели сильно меньше 100млн
Code World Models – LLM для кодинга, которые внутри себя моделируют то, как будет работать код. На деле – увеличение compute, и результат выходит то на то по сравнению с классическими подходами, но звучит красиво
🔥5👍3🙏1
Forwarded from AI VK Hub
Мы открыли доступ к датасету VK-LSVD — это ~40 млрд взаимодействий между 10 млн пользователей и 20 млн видео, плюс контентные эмбеддинги и часть анонимизированных пользовательских фичей.
По меркам открытых рекомендательных датасетов — это очень большой и редкий набор данных. Но есть ещё один важный плюс: все взаимодействия сохранены в хронологическом порядке. Это сильно упрощает разбиение на train / val / test и улучшает воспроизводимость экспериментов — настоящий подарок для исследователей RecSys.
Кому полезно:
На Хабре мы подробно рассказали:
#RecSysChallenge #RecSys #LSVD
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍2🤡2😈1
Forwarded from NoML Digest
Запись семинара
Виталий Черненко (Амальгама), Практическое применение комбинаторной оптимизации на примере задачи планирования молочного завода. YouTube | Дзен | RuTube (~1 час 25 минут).
Виталий Черненко (Амальгама), Практическое применение комбинаторной оптимизации на примере задачи планирования молочного завода. YouTube | Дзен | RuTube (~1 час 25 минут).
🥰1
Forwarded from Machinelearning
Логан Килпатрик из команды DeepMind беседует с Кораем Кавукчуоглу, CTO DeepMind и по совместительству новым главным архитектором Google по искусственному интеллекту.
Корай Кавукчуоглу рассказал о своих взглядах на текущее состояние ИИ, архитектуру Gemini и стратегию Google по достижению AGI. Он считает, что это «новая эра», где технологии стремительно меняются, и что ближайшие 6 месяцев обещают быть такими же захватывающими, как и предыдущие.
Основные темы интервью:
Недавний запуск Gemini 3 получился суперпозитивным. Но прогресс не замедляется, и Gemini 3, подобно 2.5, снова «отодвинула рубеж по ряду измерений». Центральная философия Google в том, что AGI будет «совместно создаваться с нашими клиентами». Это не чисто исследовательская работа, проводимая в изоляции, а совместное усилие с миром, требующее инженерного мышления.
Несмотря на то, что модели Google достигают лидирующих позиций на бенчмарках, истинное мерило прогресса в реальном применении. Старые бенчмарки перестают определять текущий рубеж, и новая мера успеха — это предоставление большей ценности в реальном мире, где модели используют ученые, студенты, юристы и инженеры.
Приоритеты для улучшения в будущих версиях Gemini Pro:
Интеграция- важная тема для сбора фидбэка от пользователей, который необходим для понимания того, как нужно улучшать модели. Риск для Gemini заключается не в отсутствии масштабирования, а в исчерпании инноваций. Поэтому Google DeepMind и Google Research должны постоянно заниматься исследованиями, чтобы находить новые идеи, которые будут питать «двигатель ИИ» Google.
Генеративные медиа-модели сходятся с текстовыми моделями. Яркий пример - Nano Banana Pro, которая показала, как слияние понимания мира из текста с пониманием из изображений позволяет модели создавать более детализированные и концептуально связные изображения, например, инфографику на основе сложных документов.
Фоном идет история о личном пути Корая Кавукчуоглу : от исследователя Deep Learning в DeepMind в 2012 году до текущей руководящей роли.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥3❤1
Forwarded from Machinelearning
NVIDIA совместно с Университетом Гонконга разработала ToolOrchestra - методику обучения дирижеров для ИИ-агентов, и выпустила на ее основе модель Orchestrator-8B.
Это модель, базирующаяся на архитектуре Qwen3 предназначена для оркестрации других моделей и инструментов. Вместо того чтобы решать задачу в одиночку, модель чередует этапы рассуждения с вызовом внешних инструментов.
В ее арсенале поисковые движки, интерпретаторы кода и другие LLM, от узкоспециализированных математических до универсальных гигантов Claude и Llama-Nemotron.
Обучение проводилось с помощью GRPO, который поощрял модель не только за точность, но и за экономическую эффективность.
В результате решение получилось в 2,5 раза быстрее и на 70% дешевле в эксплуатации, чем использование одной лишь флагманской модели для всех этапов задачи, а сама Orchestrator-8B набрала 37,1% в сложнейшем бенчмарке Humanity's Last Exam , обойдя GPT-5 (35,1%).
@ai_machinelearning_big_data
#AI #ML #LLM #Orchestrator #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥3❤1🥰1🤯1
