Telegram Web
Тут толпа исследователей из разных компаний и универов сделалил большую обзорку по современным компонентам агентов

Обучение, ризонинги, память, world models, много про RL, реварды, действия и вызов тулов, эволюционные системы, самоулучшение, сейфти и вообще куча всего

190 страниц текста и 74 страницы ссылок

красота, стоит обратить внимание

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems
https://arxiv.org/abs/2504.01990

Листик со ссылками
https://github.com/FoundationAgents/awesome-foundation-agents
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 Google не шутку разошлись сегодня!

Они выкатили Firebase Studio - новую облачную агенсткую среду разработки, в которой есть весь инструментарий для быстрого создания полнофункциональных приложений с искусственным интеллектом, и все это в одном месте.

Вы можете создавать приложения на естественном языке, тестить их и развертывать в одном месте 🔥

По сути, это бесплатная альтернатива Cursor, Bolt или v0, прямо в браузере.

https://goo.gle/4cvcUzY

Апдейт: Еще Google дропнули Agent Development Kit (ADK) — новую среду с открытым исходным кодом работы с мульит-агентами!
- открыли доступ к Veo 2 через Gemini API!
- и запускать свой новый MCP протокол Agent2Agent Protocol

@ai_machinelearning_big_data

#GoogleCloudNext #FirebaseStudio
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Denis Sexy IT 🤖
Google выпустил манул по промпт инженерингу на 68 страниц – в нем все существующие стратегии составления промптов:

https://www.kaggle.com/whitepaper-prompt-engineering

Все кто хотели вкатиться в LLM-парселтанг, время пришло
Forwarded from e/acc
OpenAI анонсировал новую модель. После 4.5, очевидно, идет... 4.1

Модель дешевле и при этом умнее и быстрее, чем 4o и даже 4.5. Поддерживает до миллиона токенов контекста и стоит сильно дешевле для кешированных запросов.

Идет в трех вариантах: 4.1, mini и nano. Результаты для кодинга можно оценить на картинке. Это НЕ reasoning модель, поэтому с o1-о3 справедливее будет сравнивать грядущую o4.

Уже доступна в API!
Forwarded from Denis Sexy IT 🤖
У OpenAI вышел классный гайд для бизнеса, на тему того как внедрять GenAI в бизнесс процессы:
https://openai.com/business/guides-and-resources/

Внутри 3 части:
– АИ на предприятии: Опыт семи передовых компаний
– Практическое руководство по созданию агентов ИИ: Что агенты АИ могут сделать для ваших сотрудников?
– Определение и масштабирование сценариев применения АИ: На чём концентрируются компании, первыми внедрившие АИ

Я полистал и там внутри много вещей на которых лично я набивал шишки в практике с GenAI, очень рекомендую корпоративным менеджерам
Forwarded from Data Secrets
Anthropic выкатили гайд по вайб-кодингу 😎

23 страницы посвящены тому, как программировать с агентами (в частности, с Claude Code). Собраны советы, best practices, примеры, антипримеры и даже готовые промпты.

Отдельное внимание уделяется безопасности данных и мульти-агентным процессам.

Полезно, если пользуетесь каким-нибудь подобным инструментом каждый день

PDF
Please open Telegram to view this post
VIEW IN TELEGRAM
🎧 Amphion: универсальная платформа для генерации мультимодального аудио от OpenMMLab

Зачем нужен Amphion
Amphion — это модульная open-source библиотека для создания и обработки аудио с помощью генеративных моделей. Поддерживает TTS, звуковые эффекты, музыку, шумы, аудио редактирование и многое другое. Построена для работы с PyTorch.

Особенности
🔌 Модульная архитектура — ядро разделено на три уровня: backend (обработка аудио), frontend (UI/API/CLI) и pipeline (инференс).
🎙️ Мультимодальность — поддержка как TTS, так и генерации SFX, музыки, редактирования и конверсии речи.
🧩 Богатая экосистема — можно использовать собственные модели или готовые пайплайны, включая TTS, voice conversion, аудиоредакторы.
📦 Поддержка разных форматов — WAV, MP3 и др.
💡 Интеграция с HuggingFace — загрузка моделей и конфигов прямо из Model Hub.

Поддерживаемые модели
- TTS: FastSpeech2, VITS, Grad-TTS
- VC: ContentVec + DiffVC
- SE/Enhancement: MetricGAN, Diffusion-based models
- AudioLM и DiffSound в разработке

🛠 Пример использования:

python tools/infer.py \
--pipeline tts \
--input_text "Привет, мир!" \
--output output.wav


https://github.com/open-mmlab/Amphion
Как запустить стартап в 10× быстрее с помощью AI агентов, Cursor и MCP на стеке Next.js + Tailwind CSS + shadcn/ui.

В этом видео вы узнаете:
Как настроить Cursor Agent для автогенерации PRD и кода лендинга
3 AI‑агента для анализа конкурентов, глубинного ресёрча и маркетинга
Пошаговый live‑coding: от пустого репозитория до деплоя

https://www.youtube.com/watch?v=i2mFvjE3zJY
🗣️🎬 VideoLingo: генерация видеороликов из текста с озвучкой на нескольких языках

Что это такое
[VideoLingo](https://github.com/Huanshere/VideoLingo) — это фреймворк для автоматической генерации видео по текстовому описанию, включая озвучку на разных языках, анимированные аватары, и видео с говорящими головами. Разработка ориентирована на мультиязычное TTS и синтез лицевых движений под аудио.

Ключевые возможности
🌍 Multilingual TTS: поддержка нескольких языков, включая английский, китайский, японский, французский и т.д.
🧠 Text-to-Video pipeline: от ввода текста до финального видео (TTS → Audio2Face → FaceVid2Vid)
🎭 Аватары и говорящие головы: визуальный рендер лицевых движений по аудиотреку
📦 Модульная архитектура: легко подключаются или заменяются компоненты пайплайна
🧪 Поддержка предварительно обученных моделей (VITS, SadTalker, FaceVid2Vid и др.)

Пример запуска пайплайна:

python inference.py \
--text "Hello world!" \
--lang en \
--avatar ./data/avatar.jpg \
--output ./results/output.mp4


https://github.com/Huanshere/VideoLingo
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
ACE-Step: Новый опен-сорсный генератор музыки. Stable Diffusion moment для музыки.

Существующие методы сталкиваются с присущим им компромиссом между скоростью генерации, музыкальной связностью и управляемостью. Например, модели на основе LLM (например, Yue, SongGen) отлично справляются с текстами, но страдают от медленного инференса и структурных артефактов. Диффузионные модели (например, DiffRhythm), с другой стороны, обеспечивают более быстрый инференс, но часто не имеют структурной связности на больших длительностях.

Вместо того чтобы создавать еще один сквозной генератор для преобразования текста в музыку, мы хотим создать базовую модель для музыкального ИИ: быструю, универсальную, эффективную, но гибкую архитектуру, которая позволяет легко обучать подзадачи поверх нее. Это открывает путь для разработки мощных инструментов, которые легко интегрируются в творческие рабочие процессы музыкальных исполнителей, продюсеров и создателей контента. Одним словом, мы стремимся создать Stable Diffusion moment для музыки.


Есть демо, можно погенерить, а на странице проекта есть примеры.
Это, конечно, не Суно, но сам замысел и амбиции мне нравятся. Сделать Stable Diffusion для музыки, чтобы потом увешать его лорами и файнтюнами - звучит круто.

Смотрите, что у них в планах:
Release RapMachine lora
Release ControlNet training code
Release Singing2Accompaniment controlnet

https://ace-step.github.io/

Код?
Апажалста: https://github.com/ace-step/ACE-Step

Попробовать?
Тут: https://huggingface.co/spaces/ACE-Step/ACE-Step

@cgevent
Forwarded from эйай ньюз
Codex — агент для кодинга от OpenAI

Внутри модель codex-1, версия o3 для агентного кодинга. Она генерирует код, близкий к человеческому стилю, точно следует инструкциям и может итеративно запускать тесты до получения положительного результата. codex-1 будет доступна лишь в специальном огороженном энвайрнменте от OpenAI. Но есть и версия поменьше — codex-mini, основанная на o4-mini. Она будет доступна в API по цене $1.5/$6 за миллион токенов.

В Codex CLI, которая работает на вашем компьютере доступна будет лишь codex-mini. Но теперь можно заходить с аккаунтом ChatGPT, а Plus и Pro пользователям ещё и дают бесплатных API кредитов для codex-mini на 30 дней — $5 и $50. Акция, надеюсь, не разовая.

Доступ к полноценному Codex осуществляется через ChatGPT, куда теперь можно подключать свои гитхаб репозитории, в которых Codex будет открывать пулреквесты. Codex даёт подтверждения своих действий (логи, результаты тестов), его работу можно направлять файлами AGENTS.md, а безопасность обеспечивается исполнением кода в изолированном контейнере и отказом от выполнения вредоносных запросов. Доступен будет уже сегодня для Pro, Team и Enterprise пользователей, а Plus и Edu нужно подождать.

А ещё они опубликовали системный промпт

Блогпост
Попробовать (только Pro, Team и Enterprise подпискам)

@ai_newz
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Гугл Джулс

А вот и ответочка от Гугла на Codex от OpenAI.

Да, это агент-девелопер, который делает задачи, которые вы хотели бы кому-то поручить


↳connect to GitHub and open PRs
↳run or write tests
↳verify code in a cloud VM
↳share its plan, reasoning, and diffs

Сайт: https://jules.google/

Доки: https://jules-documentation.web.app/

Вейтлист: https://jules.google.com/waitlist/

Похоже мы приближаемся к великим битвам агентов. И это прекрасно.

Ибо битва будет за скорость, качество и цену.


Update: похоже что 5 запросов в день и для всех, а не как у опенАИ-бояр: типа Pro, Team, а челядь потом.

@cgevent
Forwarded from эйай ньюз
Что показали на Google I/O?

Только что завершилась презентация Google, и это, похоже, крупнейшая презентация 2025-го по количеству и качеству новых фишек и инструментов – Google явно учится на прошлогоднем опыте.

Сначала самое жаркое:

- Veo 3 — Veo 2 ещё не успели сместить с пьедестала, а Google уже дропнули 3-ю версию SOTA видеогенератора. Лучше во всём, и теперь с нативной генерацией аудио, включая диалоги с липсинком! Доступна уже сегодня.
- Imagen 4 — опять же, лучше во всём своего предшественника. Остаётся проверить, вдруг это новая SOTA? Уже в проде.
- Agent mode в Gemini — сможет искать квартиру по заданным критериям, используя MCP для доступа к листингам и даже назначать встречи. "скоро"
- AI Mode в Google Поиск — В AI Mode интегрируются агентские возможности Project Mariner: поиск сможет выполнять задачи от имени пользователя (находить билеты, бронировать столики, записываться на услуги). Более того, агент сможет отслеживать цены на товары, уведомлять о снижении и, с разрешения пользователя, совершать покупку через Google Pay. Сам AI мод уже должен быть доступен, но не весь его функционал. Летом обещают завезти туда и Deep Search.
- Примерка в Поиске — теперь можно виртуально примерять одежду на себе с помощью специально обученного ИИ-генератора изображений (на базе Imagen). Доступно в Labs с сегодняшнего дня.
- Риалтайм перевод в Google Meet — сохраняет тон, темп и даже интонацию говорящего. Доступен для подписчиков на английском и испанском, больше языков — "in the next few weeks".
- Обновлённый Gemini Live — теперь включает возможности Project Astra (камера и демонстрация экрана). Скоро сможет подключаться к приложениям Calendar, Maps, Keep и Tasks. Юзкейсов со стримингом с камеры и экрана масса. Доступен в Gemini App.
- Personal Context в Gemini — теперь можно дать разрешение на использование данных из вашего аккаунта Google (например, Gmail, Drive, Docs, Search) для персонализации, хотя пока что готов только доступ к истории поиска. В целом, нейронке теперь будет известно о вас всё. Как-то крипово даже. Обещают "скоро".

Для технарей:

- Jules — агент для кода от Google, прямая ответка на релиз Codex от OpenAI. В раннем доступе гоняли с декабря, а теперь доступен всем на jules.google.
- Gemini Diffusion — экспериментальная диффузионная модель для текста, в 5 раз быстрее Gemini 2.0 Flash Lite (самой быстрой модели Google), при сохранении качества, особенно в коде и математике. 1479 токенов в секунду это не шутка.
- Поддержка MCP в Gemini SDK — Gemini SDK теперь совместим с инструментами Model Context Protocol (MCP от Anthropic), что позволяет агентам получать доступ к другим сервисам. (Видимо, побочный эффект Agent mode).
- Обновлённый Gemini 2.5 Flash — Улучшен по ключевым бенчмаркам (рассуждения, код, длинный контекст) и на 22% эффективнее по использованию токенов, что особенно актуально учитывая разговорчивость 2.5 Flash. Можно заценить в ai.studio и пр.
- API с нативной поддержкой звука — превью text-to-speech в Gemini API поддерживает 2 голоса, более 24 языков, может шептать. + Live API также получит превью 2.5 Flash с нативным аудиодиалогом. Уже доступно.
- Бюджеты на размышления (Thinking Budgets) в Gemini 2.5 Pro — функция для контроля соотношения затрат/задержки и качества ответа появится в 2.5 Pro в ближайшие недели, а в 2.5 Flash она уже месяц.

Mic drop...🎤

@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🚀 Mistral AI представила Devstral — новый open-source LLM для автономных кодинг-агентов

Mistral AI представил Devstral — свою модель, специально разработанную для решения реальных задач в области кодинга.

Созданная в сотрудничестве с All Hands AI, Devstral демонстрирует выдающиеся результаты на бенчмарке SWE-Bench Verified, превзойдя все существующие open-source модели с результатом 46,8%.

💡Лицензирвоание: Apache 2.0 — свободное коммерческое использование.

https://huggingface.co/mistralai/Devstral-Small-2505

@ai_machinelearning_big_data

#Devstral #MistralAI #Кодинг #ИИ #OpenSource
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ Google представила Gemma 3n — лёгкую и быструю AI-модель для работы на девайсах

Google выпустила Gemma 3n — это новая версия модели, которая запускается локально на мобильных устройствах.

Gemma 3n может работа локально на устройстве с 2 ГБ оперативной памяти!

➡️ Особенности:

• Работает в 1.5 раза быстрее, чем предыдущая Gemma 3 4B
• Поддерживает работу без интернета — всё локально и безопасно
• Умеет понимать текст, речь и изображения
• Можно использовать даже на устройствах с 2–3 ГБ RAM
• Поддерживает мгожетсво языков,

💡 Gemma 3n использует гибкую архитектуру (MatFormer), которая может "переключаться" между лёгким и полным режимом (2B и 4B параметров) — модель подстраивается под задачу, не перегружая устройство.

🔧 Как начать пользоваться:

• Через Google AI Studio — работает прямо в браузере
• Или через SDK Google AI Edge — интеграция на Android, Chromebook и другие устройства

📊 Где это применимо:

• Голосовые ассистенты
• Приложения с ИИ, которые работают без интернета
• Переводчики, чат-боты, анализ изображений на телефоне

➡️Релиз: https://developers.googleblog.com/en/introducing-gemma-3n/
➡️ Документация: https://ai.google.dev/gemma/docs/gemma-3n#parameters

#Gemma #Google #mobile #МультимодальныйИИ #МобильныйИИ #edgedevices
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Life2film
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🌟MiniMax-M1: открытя reasoning‑LLM с контекстом 1M

MiniMax-M1 — первая в мире open-weight гибридная reasoning‑LLM c 1M контекстом (8× DeepSeek R1) и гибридной архитектурой MoE + lightning attention.
• 456 млрд параметров (45,9 млрд активируются на токен), сверхэффективная генерация — 25% FLOPs DeepSeek R1 на 100K токенов
• Обучение через RL с новым алгоритмом CISPO, решающим реальные задачи от математики до кодинга
• На обучение было потрачено $534K, две версии — 40K/80K “thinking budget”
• Обходит DeepSeek R1 и Qwen3-235B на бенчмарках по математике и кодингу,
• Топ результат на задачах для software engineering и reasoning

Бенчмарки:
AIME 2024: 86.0 (M1-80K) vs 85.7 (Qwen3) vs 79.8 (DeepSeek R1)

SWE-bench Verified: 56.0 vs 34.4 (Qwen3)

OpenAI-MRCR (128k): 73.4 vs 27.7 (Qwen3)

TAU-bench (airline): 62.0 vs 34.7 (Qwen3)

LongBench-v2: 61.5 vs 50.1 (Qwen3)


Hugging Face: https://huggingface.co/collections/MiniMaxAI/minimax-m1-68502ad9634ec0eeac8cf094
GitHub: https://github.com/MiniMax-AI/MiniMax-M1
Tech Report: https://github.com/MiniMax-AI/MiniMax-M1/blob/main/MiniMax_M1_tech_report.pdf


@ai_machinelearning_big_data

#llm #reasoningmodels #minimaxm1
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
(Сделайте потише динамики)

Google выкатил MagentaRT модельку для генерации музыки в реальном времени – я поигрался и прям залип; запускается она сейчас не очень удобно, но будет очень классно когда кто-то обернет это в простой интерфейс

Как в видео, модель может играть бесконечно, сама меняя рисунок композиции – ждем новый уровень музыки для лифтов / магазинов / кафе

Модель | Google Colab для запуска | Анонс
2025/06/25 02:50:49
Back to Top
HTML Embed Code: