Осенью 2021 года Яндекс впервые представил функцию закадрового перевода видео в Браузере.

Сначала система использовала два стандартных голоса — мужской и женский — затем перешла на ограниченный набор синтезированных голосов. Но теперь команда Яндекса сделала качественный рывок: новая технология перевода видео умеет сохранять тембр и интонации оригинального спикера, делая перевод естественным и живым.

✔️ Как это работает?
В основе новой системы лежит собственная модифицированная версия Tortoise-TTS, которая изначально предлагала подход генеративного синтеза речи через последовательность аудиотокенов. Однако Яндекс значительно переработал архитектуру, решив сразу несколько ключевых проблем:

1. Улучшение качества zero-shot синтеза
Переход на фонемное представление текста.
Вместо классических BPE-токенов Яндекс создал единый фонемный алфавит для английского и русского языков. Это позволило добиться более точного произношения, особенно на сложных заимствованных словах.

🟡Интеграция биометрических эмбеддингов.
Для стабильного переноса тембра в языковую модель были добавлены векторные представления голоса, полученные через голосовую биометрию. Это обеспечило, что голос в синтезе звучит максимально близко к оригинальному, даже при смене языка.

🟡Управление качеством через UTMOS.
В процесс инференса добавлено использование метрики качества речи UTMOS. Фиксированное значение UTMOS (3,75) позволяет удерживать естественность звучания без артефактов и роботизированности.

2. Решение проблемы акцента
Создание синтетического параллельного датасета.
Яндекс сгенерировал и отфильтровал пары «русский аудиопромпт → английский текст», чтобы научить модель правильно переносить тембр между языками без появления акцента. В результате процент синтеза с акцентом снизился с 50% до 5%🔥

3. Оптимизация скорости инференса
Сокращение количества гипотез и итераций.
Количество гипотез в языковой модели снижено с 512 до 16, а количество шагов в диффузионной модели — с 100 до 20, без потери качества.

Ускорение вычислений.
Использование torch.compile, flash attention, а также knowledge distillation в диффузионной модели, что позволило добиться RTF ≈ 0.18 — реального времени обработки, пригодного для масштабного-применения в продавшее.

4. Повышение качества аудиопромптов
Разработчики применили денойзинг, очищающий голос от фона и шума перед синтезом.

Используется автоматический выбор лучшего аудиопромпта на основе метрики UTMOS, что даёт максимально естественный перенос тембра.

🌟 Чего удалось добиться?
Перевод видео звучит естественно, без ощущения «чужого» или «роботизированного» голоса.

🟢Голос сохраняет интонации и тембр оригинала.

🟢Существенно снизилось количество ошибок произношения и почти исчез акцент при кросс-языковом переносе.

🟢Производительность позволяет обслуживать миллионы пользователей в режиме реального времени в Браузере.

🔜 Оценка качества
Внутренние тесты методом попарного сравнения (side-by-side) показали:

Новый перевод предпочтительнее старой версии в 72% случаев.

При сравнении с ElevenLabs:

- В полном переводе видео Яндекс выигрывает в 62% случаев.

При сравнении только качества озвучки Яндекс выигрывает в 46% случаев.

Где работает?
Перевод нового поколения доступен в Яндекс Браузере для пользователей, вошедших в Яндекс ID, на популярных платформах: YouTube, VK Видео, Дзен, Rutube. При просмотре видео в Браузере нужно выбрать функцию перевода в панели управления.

🌟 Что дальше?
Команда Яндекса продолжает развивать технологию.

В планах:
🟢Синхронизация движений губ с закадровым переводом для ещё более реалистичного восприятия.

🟢Дальнейшее ускорение инференса без потерь в качестве.

Итог:
Яндекс создал передовую систему мультиязычного генеративного синтеза, объединив глубокие фундаментальные исследования и серьёзные инженерные оптимизации. Новый перевод видео делает язык барьером всё меньше, а восприятие — всё более естественным.

@ai_machinelearning_big_data


#yandex #tts

📌SycEval: почему языковые модели демонстрируют склонность к сикофантии.

Исследование Стэнфордского университета о распространенной и насущной проблеме: языковые модели все чаще жертвуют точностью ради того, чтобы угодить пользователям. Эксперименты с ChatGPT-4o, Claude-Sonnet и Gemini показали, что в 58% случаев модели меняют ответы под давлением — даже если изначально были правы.

Ресерч проводился на 2 наборах данных: AMPS (математика) и MedQuad (медицина). Сначала модели отвечали на вопросы, затем их «поправляли» через опровержения — от простых («вы ошиблись») до сложных, с цитатами и абстрактными конструкциями.

Если модель меняла ответ вопреки истине, это считалось регрессивной сикофантией, если исправляла ошибку — прогрессивной.

Сикофантия - это поведение, когда человек (в исследовании - языковая модель) пытается понравиться другим, часто лестью или подхалимством, чтобы получить выгоду или одобрение.

Ответы оценивали двумя подходами: автоматически (GPT-4o в роли «судьи») и вручную. Gemini лидирует по сикофантии (62%), ChatGPT — скромнее (56%), а Claude-Sonnet набрала 57.44%, заняв среднюю позицию среди трех тестируемых моделей.

Превентивные опровержения (вне контекста диалога) провоцируют больше регрессивных сдвигов, особенно в математике. Например, добавление цитат к опровержению заставляло модели чаще отказываться от верных ответов. А вот простые возражения, наоборот, помогали исправить ошибки (прогрессивная сикофантия). В медицине разница между типами опровержений менее выражена, но риски выше из-за специфики вопросов.

Устойчивость сикофантии тоже вызывает вопросы. После первого изменения ответа модели продолжали «прогибаться» в 78% случаев, независимо от контекста или темы. Это говорит о системной проблеме: LLM слишком зависимы от пользовательского фидбэка, даже если он противоречат фактам.

Как эта склонность влияет на практические кейсы? Во-первых, в медицине или финансах слепое доверие к моделям опасно: они могут поддержать ложные утверждения, если пользователь настаивает. Во-вторых, дизайн промптов становится ключевой техникой — опровержения с отсылками к авторитетам манипулируют сильнее. Авторы предлагают точечную настройку моделей под конкретные задачи и усиление механизмов проверки фактов.

Выводы исследования заставляют задуматься: как балансировать между «удобными» ответами и правдой? Пока что модели часто выбирают первое. Исправлять это придется через улучшение архитектур, создание механизмов фактчекинга, фильтрацию и прозрачность — в противном случае внедрение LLM в критических сферах останется авантюрой.

🔜 Читать статью


@ai_machinelearning_big_data

#AI #ML #LLM #Research

✔️ Perplexity доступен бесплатно в WhatsApp.

Perplexity AI запустила в WhatsApp своего ИИ-помощника, который может искать в интернете, работать в режиме чат-бота (вести переписку), генерировать и понимать изображения прямо через платформу мессенджера.

Чтобы воспользоваться, нужно добавить контактный номер +1 (833) 436-3285 в WhatsApp.

В ближайшее время ожидается появление множества дополнительных функций.

🔜 CEO PerplexityAI в X (ex-Twitter)

@ai_machinelearning_big_data


#Perplexity #ai #ml #chatbot

✔️ Oracle и NVIDIA развернули тысячи GPU Blackwell для ИИ нового поколения.

Oracle запустила первые стойки с жидкостным охлаждением на базе NVIDIA GB200 NVL72, оснащенные тысячами GPU Blackwell. Системы уже доступны клиентам через NVIDIA DGX Cloud и Oracle Cloud Infrastructure (OCI) для разработки агентного ИИ и моделей логического вывода. В развертывании задействованы высокоскоростные сети Quantum-2 InfiniBand и Spectrum-X Ethernet. Каждая стойка GB200 NVL72 объединяет 72 GPU Blackwell и 36 CPU Grace, повышая энергоэффективность для задач вроде обучения автономных систем или проектирования чипов.

OCI, входящая в число первых облачных провайдеров с доступом к GB200, планирует создать суперкластеры с более чем 100 000 GPU Blackwell. Это ответ на растущий спрос на вычисления для ИИ-инференса.
blogs.nvidia.com

✔️ Hugging Face выпустит роботизированную руку за $100.

Hugging Face анонсировал программируемую роботизированную руку SO-101. Модель стоит от $100, собирается быстрее предшественницы SO-100 и оснащена улучшенными моторами: они снижают трение и выдерживают вес манипулятора без перегрузок. Камера и поддержка RL позволяют роботу «научиться» базовым задачам — например, сортировать детали Lego.

Цена зависит от комплектации: готовые сборки из-за тарифов и наценок доходят до $500. В проекте участвовали The Robot Studio, Wowrobo и Seeedstudio. Параллельно компания расширяет робототехническое направление: недавно купила Pollen Robotics. Похоже, Hugging Face намерена закрепиться в opensource-робототехнике, делая технологии доступнее.
techcrunch.com

✔️ ChatGPT стал слишком угодливым после обновления GPT-4o.

OpenAI обновил базовую модель GPT-4o, добавив улучшения в интеллект и «личность» ИИ. Но пользователи столкнулись с раздражающей подобострастностью: ChatGPT начал льстить так активно, что это вызвало волну критики в соцсетях. Сэм Альтман признал проблему, пообещав срочные исправления — часть уже в работе, остальные появятся на неделе.

В официальных заметках OpenAI упомянули «тонкие изменения в ответах», чтобы сделать диалоги продуктивнее. Однако на практике это вылилось в неестественное заискивание: ИИ стал навязчиво хвалить пользователей даже в простых диалогах.
Sam Altman в X (ex-Twitter)

✔️ Simular: ИИ-агент для macOS, который работает локально.

Simular выпустил ИИ-агента для macOS, который предлагает уникальный подход к взаимодействию с пользователем. В отличие от облачных решений, он работает полностью локально — встраивается в среду macOS и использует встроенный WebKit. Это не только ускоряет процессы, но и гарантирует безопасность: данные не уходят в облако, а остаются на вашем Mac.

Агент поможет с рутиной: проверит расписания, может управлять корзиной при онлайн-шопинге, анализировать новости и агрегировать поиск в Интеренте. Тесты их фреймворка S2уже обошли результаты OpenAI и Anthropic в мобильных и десктоп-задачах.
macobserver.com

✔️ PHYBench: ИИ пока отстает от людей в понимании физики.

Более 200 студентов и преподавателей Пекинского университета разработали PHYBench — уникальный набор из 500 физических задач для оценки способностей ИИ. В проекте участвовали золотые медалисты международных олимпиад, так что бенчмарк получился максимально обширным, сложным и реалистичным.

PHYBench использует метод оценки EED Score. Вместо стандартного «правильно/неправильно» алгоритм сравнивает структуру формул в виде «деревьев выражений», как это делают преподаватели. Это позволяет точнее измерить, насколько ответ ИИ близок к идеалу.

Тесты показали: даже топовая Gemini 2.5 pro дала лишь 36,9% верных ответов, в то время как студенты достигли 61,9%. Ошибки ИИ связаны с двумя этапами: распознаванием физических условий и построением логики решения (модели часто путают ключевые переменные или «теряются» в многоэтапных расчетах).
phybench-official.github.io

@ai_machinelearning_big_data

#news #ai #ml

✔️ OpenAI и Microsoft отдаляются друг от друга.

В партнерстве OpenAI с Microsoft появляются трещины. Хотя Microsoft помогла проекту OpenAI ChatGPT добиться большого успеха за счет огромных инвестиций, у генеральных директоров обеих сторон имеются разногласия по таким вопросам, как предоставление вычислительной мощности, доступ к моделям и способность ИИ достичь AGI. Microsoft активно разрабатывал Copilot и тайно сформировал команду для разработки модели, которая заменит OpenAI.

Даже несмотря на то, что обе стороны готовятся к своему независимому будущему, они остаются в зависимости друг от друга. Microsoft имеет право не допустить преобразования OpenAI в независимую коммерческую компанию, в то время как OpenAI может помешать Microsoft получить доступ к своим самым передовым технологиям.
wsj.com

✔️ Duolingo переходит на ИИ: людей заменят нейросети.

Duolingo объявила о запуске стратегии «AI-first» - компания постепенно откажется от наемных работников в пользу ИИ. Основатель, Луис фон Ан, в письме сотрудникам пояснил, что ИИ поможет убрать рутину, перестроить процессы и ускорить создание обучающего контента.

Внедрение ИИ коснется найма и оценки сотрудников — новые штатные позиции одобрят, только если команда не сможет автоматизировать задачи. При этом фон Ан подчеркивает: речь не о замене людей, а о перераспределении ресурсов. Сотрудникам обещают поддержку в обучении и переход к творческим проектам.

В Duolingo уверены, что ИИ не только повысит эффективность, но и приблизит миссию — сделать обучение доступным для миллионов. Технологии вроде «Video Call», имитирующие репетитора, уже тестируются. Компания готова мириться с временными недочетами в качестве, лишь бы не упустить момент.
theverge.com

✔️ Глава xAI анонсировал запуск Grok 3.5 на следующей неделе.

Илон Маск написал в X, что на следующей неделе ранняя бета-версия Grok 3.5 будет выпущена только для подписчиков SuperGrok. По его словам, это первый ИИ, который может точно отвечать на вопросы о ракетных двигателях или электрохимических технологиях.
Elon Musk в X (ex-Twitter)

✔️ Google добавила более 50 языков в сервис в NotebookLM.

Audio Overviews, который превращает ваши источники в диалоги в стиле подкастов, теперь поддерживает свыше 50 языков. Помимо английского, доступны испанский, португальский, французский, хинди, турецкий и РУССКИЙ.

Чтобы сменить язык, нужно зайти в настройки NotebookLM (в правом верхнем углу), выбрать «Язык вывода» — и AI начнёт генерировать ответы и озвучивать обзоры на нужном вам языке. NotebookLM интегрирован ещё и в Gemini, а также Google Docs — так что даже текстовые документы можно превратить в аудиоформат.

➡️ Аудио-версия дайджеста, сделана NotebookLM, зацените.
blog.google

✔️ Разработчики Llama запустила приложение для голосового взаимодействия с ИИ.

Разработчики llama представили новое приложение, где главной фишкой стал голосовой ассистент, работающий на модели Llama 4. В отличие от стандартных чат-ботов, здесь упор сделан на естественность диалога: ИИ генерирует речь в реальном времени благодаря полнодуплексной технологии, а не просто зачитывает текст. Пока функция доступна в США, Канаде, Австралии и Новой Зеландии — разработчики просят пользователей тестировать демо-режим и делиться фидбеком.

Приложение интегрируется с соцсетью компании, WhatsUp, и очками Ray-Ban Meta — начатый на одном устройстве диалог можно продолжить в веб-версии или мобильном интерфейсе. Ассистент учится на ваших данных: если подключить аккаунты соцсетей, он подстраивает ответы под интересы, запоминает предпочтения и предлагает персонализированные рекомендации.

Для тех, кто любит эксперименты, есть генератор изображений и шаблоны для документов — их можно редактировать голосом или текстом. А чтобы не перегружать интерфейс, голосовое управление включается одной кнопкой, а иконка микрофона всегда показывает, когда система вас «слышит». Скачать приложение уже можно на iOS и Android.
about.fb.com

✔️ Deepseek proofer v2 выходит в свет
У DeepSeek на подходе релиз (671B math/prover model), жаль не R2.
HF

@ai_machinelearning_big_data

#news #ai #ml

📌Как Gemini превращает изучение языков в персонализированный опыт: обзор 3 экспериментов.

Представьте, что учите язык не по учебникам, а через ситуации, в которых оказываетесь каждый день. Именно эту идею воплотила команда Google в проекте Little Language Lessons— трех экспериментах на базе Gemini API, которые делают обучение живым и контекстным.

Первый эксперимент, Tiny Lesson, решает проблему «как сказать это сейчас?». Вы описываете ситуацию — например, «потерял паспорт» — и получаете словарь и фразы в формате JSON. Всё благодаря промптам, где Gemini генерирует структурированные данные: массив терминов с транскрипцией и переводом, а также советы по грамматике.

Например, если целевой язык — японский, модель сама определит, нужна ли транскрипция ромадзи, и подготовит материал за 2 API-запроса. Это не просто список слов, а готовый микрокурс под конкретный сценарий.

Второй, Slang Hang, убирает «учебникоговорение». Тут Gemini выступает как сценарист: создаёт диалоги на целевом языке с культурными нюансами и сленгом. Все генерируется одним запросом — от контекста сцены до реплик с пояснениями. Пример: диалог продавца и туриста может включать неформальные выражения, которые не найдешь в стандартных учебниках.

Правда, иногда модель ошибается или придумывает выражения, так что без проверки носителем не обойтись. Но сам подход — дать пользователю «уши» в реальных разговорах выглядит перспективно, особенно с интеграцией Cloud Translation для мгновенного перевода.

Третий, визуальный эксперимент — Word Cam. Наводите камеру на объект, и Gemini не только определяет его (bounding box), но и предлагает слова вроде «подоконник» или «жалюзи». Детекция работает через Gemini Vision, а дополнительные дескрипторы (цвет, материал, примеры употребления) подтягиваются отдельным запросом. Для изучения бытовой лексики почти идеально, хотя точность сильно зависит от качества снимка.

Во всех экспериментах задействован Text-to-Speech — озвучка слов и фраз. Но есть нюанс: для редких языков голоса зачастую звучат неестественно или не совпадают с диалектом. Например, выберете мексиканский испанский, а синтезатор выдаст акцент из Мадрида. Разработчики честно признают: это ограничение текущих API, и над ним еще работать.

Little Language Lessons — начало переосмысления процесса обучения языкам. Проекту пока не хватает тонкой настройки под лингвистическую специфику (идиомы или региональные диалекты), но основа уже заложена.

🟡Статья


@ai_machinelearning_big_data

#AI #ML #LLM #Gemini