Forwarded from Machinelearning
Xiaomi выпустила в опенсорсный релиз MiMo-7B — набор языковых моделей, созданных для решения сложных задач, от математики до генерации кода.
Несмотря на скромные 7 млрд. параметров, модель демонстрирует результаты, превосходящие 32B-конкурентов, разрушая стереотипы о зависимости качества от размера.
Создание MiMo началось с предтрейна на 25 трлн. токенов, где акцент был на повышении плотности логических паттернов.
Для этого разработчики пересмотрели обработку данных: улучшили извлечение математических формул и блоков кода из веб-страниц, добавили синтетические данные, сгенерированные топовыми ризонинг-моделями, и все это обработали уникальной стратегией смешивания.
На первых этапах доля STEM-контента достигала 70%, а на финальном — добавили синтетику и расширили контекст до 32K токенов.
Обучение с подкреплением на стадии посттренинга проводили на массиве из 130 тыс. задач, где каждая проверялась автоматически. Чтобы избежать reward hacking, использовали только rule-based награды.
Для сложных задач по программированию ввели систему частичных баллов (как на олимпиадах по информатике) - даже если решение не идеально, модель получает feedback за пройденные тесты. А чтобы RL не застревал на простых примерах, добавили ресэмплинг: 10% данных брали из пула уже решенных задач, балансируя эффективность и стабильность обучения.
Результаты бенчмарков: на LiveCodeBench v6 MiMo-7B-RL набрала 49.3%, обойдя QwQ-32B на 10 пунктов, а на AIME 2025 — 55.4%, оставив позади OpenAI o1-mini. При этом базовая версия модели уже показывала 75.2% на BBH, что выше аналогов своего класса.
⚠️ Разработчики рекомендуют использовать для локального инференса их форк vLLM , он поддерживает MTP (Multiple-Token Prediction), но и на HF Transformers инференс тоже работает.
@ai_machinelearning_big_data
#AI #ML #LLM #RL #Xiaomi #MiMo
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
Основная цель: оценить, насколько эффективно LLM могут поддерживать задачи в области глобального здравоохранения, включая диагностику, лечение, коммуникацию с пациентами и принятие решений в условиях ограниченных ресурсов.
https://research.google/blog/benchmarking-llms-for-global-health/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤4👍4
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Ideogram представил масштабное обновление своей нейросети для генерации изображений. Версия 3.0 создаёт более фотореалистичные картинки, точнее понимает запросы и предлагает вдвое больше стилей. Теперь можно загрузить до 3-х референсов, чтобы задать стиль генерации, или выбрать готовый из библиотеки.
Новые инструменты: Magic Fill и Extend. Первый позволяет менять или добавлять элементы в готовом изображении, а второй — расширять его за рамки исходного кадра. Для разработчиков открыли API с текстовой генерацией, редактированием, заменой фона и другими функциями. Интегрировать Ideogram 3.0 можно через партнерские платформы: Picsart, Freepik, Replicate и другие.
Ideogram в X (ex-Twitter)
Midjourney тестирует новую функцию, Omni-Reference, которая позволяет тонко настраивать визуальные элементы в создаваемых изображениях. В отличие от старого Character Reference (v6), система теперь поддерживает не только персонажей, но и отдельные объекты — например, можно указать: «Добавь именно этот меч в сцену».
Omni-Reference доступен в веб-интерфейсе сервиса (перетаскивание изображения в зону «omni-reference») или в Discord через параметр
--oref
с URL. Силу влияния reference регулирует параметр --ow
(0–1000): низкие значения подходят для стилизации, а высокие — для сохранения деталей вроде лица или одежды.Midjourney в Discord
Apple совместно с Anthropic готовит обновление Xcode с интеграцией Claude Sonnet. По данным Bloomberg, внутренняя версия уже тестируется сотрудниками: разработчики могут запрашивать код через чат, инспектировать интерфейсы и исправлять ошибки с помощью ИИ. Это ускорит процессы разработки, но пока неясно, когда инструмент станет доступен публично.
Ранее Apple анонсировала Swift Assist, однако проект застопорился из-за частых галлюцинаций ИИ. Сотрудничество с Anthropic должно решить эти проблемы.
macrumors.com
Некоммерческая организация FutureHouse, поддержанная Эриком Шмидтом, запустила платформу с четырьмя ИИ-агентами: Crow, Falcon, Owl и Phoenix. Они помогают анализировать научную литературу, планировать эксперименты и искать данные в специализированных базах. По словам разработчиков, их система использует открытые научные работы и многоэтапный анализ с «прозрачной логикой».
FutureHouse предупреждает, что Phoenix, отвечающий за химические эксперименты, может выдавать некорректные результаты и призывает пользователей делиться обратной связью для доработки.
futurehouse.org
Специалисты из Пенсильванского университета представили революционный фотонный чип, способный обучать нейросети с помощью света. Технология не только ускоряет процесс в разы, но и резко снижает энергозатраты, открывая путь к полностью оптическим вычислениям. В отличие от традиционных электронных чипов, здесь данные обрабатываются световыми импульсами, а не электричеством — это позволяет выполнять сложные нелинейные операции, критичные для глубокого обучения.
Основа инновации — управление светом через специальный полупроводниковый материал. Два луча («signal» и «pump») взаимодействуют, меняя свойства материала в реальном времени. Это дает возможность перепрограммировать чип без изменения его структуры, достаточно настроить параметры «pump»-луча. В тестах система показала 97% точности на задачах с нелинейными границами решений, обойдя цифровые аналоги по эффективности.
Уже сейчас 4 оптических соединения на чипе заменяют 20 электронных, а в будущем технология может масштабироваться для обучения LLM.
scitechdaily.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤2🔥2
Всего 9 категорий: бизнес, карьера (подходит для создания резюме), креатив, образование, здоровье, маркетинг, технологии, личный помощник и универсальные.
Сохраняйте, чтобы всегда под рукой. Ускоряйте работу и повышайте свою эффективность!
https://www.promptly.fyi/library
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤3👍2
🔥 Burn — Rust-фреймворк для глубокого обучения с акцентом на производительность. В отличие от монолитных решений вроде PyTorch, Burn изначально заточен под кросс-платформенное выполнение: одна и та же модель может работать на NVIDIA/AMD GPU через CUDA/ROCm, на Apple-чипах через Metal и даже в браузере через WebGPU.
Главная фишка проекта в модульной архитектуре с подключаемым бэкендом и автоматической оптимизацией вычислений. Например, система умеет объединять операции ядер без ручного вмешательства. Для исследователей есть встроенный дашборд для мониторинга обучения, а для продакшна простая конвертация в ONNX.
🤖 GitHub
@bigdatai
Главная фишка проекта в модульной архитектуре с подключаемым бэкендом и автоматической оптимизацией вычислений. Например, система умеет объединять операции ядер без ручного вмешательства. Для исследователей есть встроенный дашборд для мониторинга обучения, а для продакшна простая конвертация в ONNX.
🤖 GitHub
@bigdatai
❤3🔥1
В рамках 100 Zeros уже поддержан инди-хоррор "Cuckoo", а также запущена программа "AI On Screen" для создания короткометражных фильмов об ИИ, некоторые из которых могут перерасти в полнометражные проекты. Интересно, что Google не планирует использовать YouTube в качестве основной платформы распространения; вместо этого компания намерена продавать проекты традиционным студиям и стриминговым сервисам, таким как Netflix.
Эта стратегия отражает стремление Google интегрировать свои продукты в массовую культуру и укрепить позиции на рынке технологий, конкурируя с такими гигантами, как Apple и OpenAI.
https://www.businessinsider.com/google-tv-movie-hollywood-boost-tech-image-hundred-zeros-2025-5
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2
Forwarded from Machinelearning
NVIDIA представила новую модель автоматического распознавания речи (ASR) — Parakeet-tdt-0.6b-v2 c 600 млн. параметров для английского языка. Она не просто транскрибирует аудио в текст, но и распознает пунктуацию, капитализацию и временные метки с точностью до слова.
Модель устойчива к шумам и справляется даже с расшифровкой песен или чисел. Это достигнуто за счет обучения на данных, в которые включили «шумные» источники (YouTube, записи телефонных разговоров и уличные диалоги). Как отмечают авторы, RTFx-показатель равен 3380 (при батче 128), что позволяет использовать Parakeet для масштабных промышленных задач.
В основе Parakeet - гибридная архитектура. Она комбинирует скоростной кодировщик FastConformer с декодером TDT, который оптимизирован для транскрипции.
TDT - декодер, который предсказывает слова, звуки и их длительность. Вместо того чтобы проверять каждый кусочек аудиозаписи по порядку, TDT «перепрыгивает» через лишние сегменты, опираясь на прогноз времени, которое занимает текущий токен. Это сокращает вычисления, экономит время и при этом не теряется точность.
Fast Conformer — это переработанная архитектура Conformer, которая ускоряет распознавание речи за счет увеличения downsampling до 8x с помощью более легких сверток и упрощенных блоков, и замены стандартного внимания на комбинацию локального контекста и одного глобального токена.
Обучение Parakeet проводилось в 2 этапа: сначала на 128 GPU A100 с использованием псевдоразмеченных данных, а затем — на 500 часах человеческой транскрипции. Часть обучающего датасета пока недоступна публично, их NVIDIA обещает открыть после конференции Interspeech 2025.
Результаты на бенчмарке Open ASR впечатляют: средняя ошибка (WER) составляет всего 6.05% при greedy decoding без внешней языковой модели. Для сравнения, на чистом аудио из LibriSpeech WER составляет 1.69%, а сильном зашумлении (SNR 5) показатель не превышает 8.39%. В телефонии, где аудио сжимается через μ-law, потери в точности минимальны — всего 4.1%. По этим результатам, Parakeet-tdt-0.6b-v2 может стать универсальным инструментом для колл-центров или мобильных приложений.
Модель поддерживает форматы
.wav
и .flac
с частотой 16 кГц и требует всего 2 ГБ оперативной памяти. Для интеграции разработчикам понадобится фреймворк NeMo от NVIDIA, он упрощает настройку под конкретные задачи.@ai_machinelearning_big_data
#AI #ML #ASR #Parakeet #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Апскейлим ЮБОЕ видео до 8К (!) и 120 FPS — в редактор KREA завезли мощный апскейлер голливудского уровня от Topaz.
Фича вытянет любой шакал на голливудский уровень качества — дорисует кадры и поднимет разрешение.
Улучшаем свои видосы тут.
Фича вытянет любой шакал на голливудский уровень качества — дорисует кадры и поднимет разрешение.
Улучшаем свои видосы тут.
❤2👍1
В статье собраны 50 лучших бесплатных или условно-бесплатных курсов (сертификат может быть платным), разделённых по уровням:
*Вводный (Beginner) → Промежуточный (Intermediate) → Продвинутый (Advanced).*
После каждого описания приведена полная кликабельная ссылка.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2🥰1
OpenAI представила HealthBench - бенчмарк для тестирования ИИ-систем в сфере здравоохранения. Разработанный при участии 262 врачей из 60 стран, он включает 5000 реалистичных диалогов, имитирующих общение пациентов и медиков. Каждый сценарий оценивается по индивидуальным критериям, созданным экспертами: точность данных или ясность ответов.
Всего в бенчмарке 48 562 параметра оценки, что позволяет глубоко анализировать работу моделей. Особый упор сделан на надежность: даже один ошибочный ответ в медицине критичен. HealthBench включает подборки сложных кейсов (HealthBench Hard), где современные ИИ еще отстают. Все данные и методики уже доступны в GitHub-репозитории OpenAI .
openai.com
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥3
⚡ SageAttention — революция в скорости работы трансформеров
Исследователи из THU-ML представили инновационный метод ускорения attention-слоёв, который не требует изменения архитектуры моделей. Проект использует интеллектуальное 8-битное квантование матриц внимания, сохраняя при этом точность оригинальных моделей.
На новых GPU RTX 5090 решение показывает впечатляющие 2.7x ускорение по сравнению с FlashAttention-2. Технология уже интегрируется в популярные фреймворки, для тестирования достаточно заменить одну строку кода.
🤖 GitHub
@bigdatai
Исследователи из THU-ML представили инновационный метод ускорения attention-слоёв, который не требует изменения архитектуры моделей. Проект использует интеллектуальное 8-битное квантование матриц внимания, сохраняя при этом точность оригинальных моделей.
На новых GPU RTX 5090 решение показывает впечатляющие 2.7x ускорение по сравнению с FlashAttention-2. Технология уже интегрируется в популярные фреймворки, для тестирования достаточно заменить одну строку кода.
🤖 GitHub
@bigdatai
👍5❤2
✈️ Apache Avro — универсальная система сериализации данных. Этот проект с открытым исходным кодом позволяет компактно упаковывать данные с сохранением схемы, что особенно ценно при работе с Kafka, Hadoop и другими системами потоковой обработки.
Инструмент выделяется кросс-языковой поддержкой и эффективным бинарным форматом, который минимизирует накладные расходы по сравнению с JSON или XML. Сейчас проект активно развивается: в CI-пайплайнах появилась поддержка ARM-серверов, а для разработчиков — devcontainers, ускоряющие старт работы с кодом.
🤖 GitHub
@bigdatai
Инструмент выделяется кросс-языковой поддержкой и эффективным бинарным форматом, который минимизирует накладные расходы по сравнению с JSON или XML. Сейчас проект активно развивается: в CI-пайплайнах появилась поддержка ARM-серверов, а для разработчиков — devcontainers, ускоряющие старт работы с кодом.
🤖 GitHub
@bigdatai
❤2👍2
🧠 String‑Membrane‑Nets и фрактонные фазы через gauging симметрий
📝 arXiv:2505.13604 (май 2025)
Эта статья предлагает нетривиальный способ построения фрактонных фаз в 3+1D через механизмы gauging 1‑формных симметрий.
🔹 Что предложено?
Вместо традиционной конденсации p‑струн (p‑string condensation), авторы используют калибровку (gauging) 1‑формной симметрии. Это позволяет получить фрактонные фазы с контролируемыми свойствами, без приближений.
🔹 Основные итоги:
• Связь между 2+1D anyon condensation и 3+1D фрактонными фазами
• Построение string‑membrane‑net моделей — обобщение string-net на 3D
• Чёткая связь между field-theoretic и lattice описаниями
• Получение X‑Cube модели через gauging стекинга \(\mathbb{Z}_N\) gauge теорий
🔹 Почему это важно?
• Новый путь для создания устойчивых квантовых кодов и фрактонной материи
• Математически строгий и универсальный подход для генерации фрактонных возбуждений
• Расширение инструментов топологического фазового инжиниринга в 3D
🔬 Для кого это?
Физики, изучающие квантовые топологические фазы, исследователи квантовой информации и теоретики, работающие над фрактонными системами и higher-form symmetries.
📖 https://arxiv.org/abs/2505.13604
📝 arXiv:2505.13604 (май 2025)
Эта статья предлагает нетривиальный способ построения фрактонных фаз в 3+1D через механизмы gauging 1‑формных симметрий.
🔹 Что предложено?
Вместо традиционной конденсации p‑струн (p‑string condensation), авторы используют калибровку (gauging) 1‑формной симметрии. Это позволяет получить фрактонные фазы с контролируемыми свойствами, без приближений.
🔹 Основные итоги:
• Связь между 2+1D anyon condensation и 3+1D фрактонными фазами
• Построение string‑membrane‑net моделей — обобщение string-net на 3D
• Чёткая связь между field-theoretic и lattice описаниями
• Получение X‑Cube модели через gauging стекинга \(\mathbb{Z}_N\) gauge теорий
🔹 Почему это важно?
• Новый путь для создания устойчивых квантовых кодов и фрактонной материи
• Математически строгий и универсальный подход для генерации фрактонных возбуждений
• Расширение инструментов топологического фазового инжиниринга в 3D
🔬 Для кого это?
Физики, изучающие квантовые топологические фазы, исследователи квантовой информации и теоретики, работающие над фрактонными системами и higher-form symmetries.
📖 https://arxiv.org/abs/2505.13604
❤2👍1🔥1