🧠 Секрет крутых AI‑агентов — не в коде, а в контексте
Наткнулся на интересный разбор по построению LLM-агентов.
Главный вывод: context engineering — это всё.
Вот в чём магия:
🔥 Как сделать агента умнее и стабильнее:
- Пишите промпты максимально статичным → больше KV-cache попаданий, меньше затрат
- Prefill: заранее задавай структуру ответа — модель будет вызывать нужные инструменты
- Используй файлы как память: сохраняй пути, а не сами данные
- Повторяй цели → LLM не забудет, зачем она вообще тут
- Не удаляй ошибки: проваленные tool-calls помогают модели адаптироваться
- Разнообразь few-shot-примеры: одинаковые шаблоны делают агента тупым
📈 Это не просто лайфхаки — это реально меняет эффективность агента в проде.
📌 Подробнее
Наткнулся на интересный разбор по построению LLM-агентов.
Главный вывод: context engineering — это всё.
Вот в чём магия:
🔥 Как сделать агента умнее и стабильнее:
- Пишите промпты максимально статичным → больше KV-cache попаданий, меньше затрат
- Prefill: заранее задавай структуру ответа — модель будет вызывать нужные инструменты
- Используй файлы как память: сохраняй пути, а не сами данные
- Повторяй цели → LLM не забудет, зачем она вообще тут
- Не удаляй ошибки: проваленные tool-calls помогают модели адаптироваться
- Разнообразь few-shot-примеры: одинаковые шаблоны делают агента тупым
📈 Это не просто лайфхаки — это реально меняет эффективность агента в проде.
📌 Подробнее
👍5❤4🔥3
💻 Transformer Engine — библиотека от NVIDIA для ускорения работы Transformer-моделей на GPU, включая поддержку 8-битной точности на архитектурах Hopper и Blackwell. Проект предлагает оптимизированные компоненты для популярных архитектур вроде BERT и GPT, упрощая mixed-precision обучение без потери точности.
Вместо стандартного FP32 обучение можно проводить в FP8, что значительно снижает потребление памяти и ускоряет процесс. Библиотека интегрируется с PyTorch и JAX, а также поддерживает FlashAttention для эффективного вычисления внимания. Подходит для работы с крупными языковыми моделями.
🤖 GitHub
@machinelearning_ru
Вместо стандартного FP32 обучение можно проводить в FP8, что значительно снижает потребление памяти и ускоряет процесс. Библиотека интегрируется с PyTorch и JAX, а также поддерживает FlashAttention для эффективного вычисления внимания. Подходит для работы с крупными языковыми моделями.
🤖 GitHub
@machinelearning_ru
❤5🔥2🥰1
🏆 Кремний получил конкурента!
Китайские исследователи вырастили 2-дюймовую пластину из индия селенидa — и транзисторы на ней уже обгоняют кремний по будущим бенчмаркам.
🔬 Индий селенид (InSe) — «золотой полупроводник»: лёгкие носители заряда, хороший запрещённый диапазон и сверхбыстрые электроны. Проблема: элементы испаряются с разной скоростью, и раньше удавалось получить только микрофлейки.
Теперь команда Пекинского университета решила это: напылили аморфный InSe на сапфир, покрыли жидким индий и нагрели до 550 °C. Получились крупные кристаллы с идеальной химией.
📉 Ключ: метрика energy-delay product (энергия × время переключения) у новых транзисторов уже лучше, чем ожидаемые показатели кремния на 2037 год!
Это может изменить всё: быстрее, меньше энергии, дешевле.
🔗 https://science.org/doi/10.1126/science.adu3803
Китайские исследователи вырастили 2-дюймовую пластину из индия селенидa — и транзисторы на ней уже обгоняют кремний по будущим бенчмаркам.
🔬 Индий селенид (InSe) — «золотой полупроводник»: лёгкие носители заряда, хороший запрещённый диапазон и сверхбыстрые электроны. Проблема: элементы испаряются с разной скоростью, и раньше удавалось получить только микрофлейки.
Теперь команда Пекинского университета решила это: напылили аморфный InSe на сапфир, покрыли жидким индий и нагрели до 550 °C. Получились крупные кристаллы с идеальной химией.
📉 Ключ: метрика energy-delay product (энергия × время переключения) у новых транзисторов уже лучше, чем ожидаемые показатели кремния на 2037 год!
Это может изменить всё: быстрее, меньше энергии, дешевле.
🔗 https://science.org/doi/10.1126/science.adu3803
❤12🔥5👍3
📊 Независимые бенчмарки gpt-oss от OpenAI
OpenAI выпустила два MoE-модели с открытым весом — и это, похоже, самые *интеллектуальные американские open-source LLM* на сегодня:
🧠 gpt-oss-120b (116.8B параметров, 5.1B активных): *Intelligence Index: 58*
🧠 gpt-oss-20b (20.9B параметров, 3.6B активных): *Intelligence Index: 48*
🏆 Что важно:
- gpt-oss-120b обходит o3-mini, уступая только o4-mini, DeepSeek R1 (59) и Qwen3 235B (64).
- Это *самая интеллектуальная модель*, которую можно запустить на одной H100.
- gpt-oss-20b — лидер среди моделей, которые можно запустить на ноутбуке с 16GB+ RAM.
💡 Эффективность и размер:
- MXFP4 precision: всего 60.8GB (120b) и 12.8GB (20b)
- 120B активирует только 4.4% параметров, в отличие от Llama 4 Scout с 17B активных
- Десятки токенов/с на MacBook для 20B
⚙️ Архитектура:
- MoE: top-4 эксперта на токен
- Rotary + YaRN, контекст: до 128K
- 36 слоёв / 64 головы / GQA с 8 KV
- 20B активирует ~17.2% параметров, больше, чем у 120B
📈 Сравнение с другими:
- DeepSeek R1: 671B total / 37B active, FP8, файл >10× больше
- Qwen3 235B: 64 балла, но тоже существенно тяжелее
🌐 Провайдеры API:
Тестируем:
💵 Цены (медиана):
- 120B: $0.15 / $0.69 за 1M токенов (ввод / вывод)
- 20B: $0.08 / $0.35
- Для сравнения: o4-mini — $1.1 / $4.4, o3 — $2 / $8 (!)
📄 Лицензия: Apache 2.0 — максимально свободно!
— GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB)
— GPT-OSS-20B — 21B параметров, работает на 16GB GPU
OpenAI выпустила два MoE-модели с открытым весом — и это, похоже, самые *интеллектуальные американские open-source LLM* на сегодня:
🧠 gpt-oss-120b (116.8B параметров, 5.1B активных): *Intelligence Index: 58*
🧠 gpt-oss-20b (20.9B параметров, 3.6B активных): *Intelligence Index: 48*
🏆 Что важно:
- gpt-oss-120b обходит o3-mini, уступая только o4-mini, DeepSeek R1 (59) и Qwen3 235B (64).
- Это *самая интеллектуальная модель*, которую можно запустить на одной H100.
- gpt-oss-20b — лидер среди моделей, которые можно запустить на ноутбуке с 16GB+ RAM.
💡 Эффективность и размер:
- MXFP4 precision: всего 60.8GB (120b) и 12.8GB (20b)
- 120B активирует только 4.4% параметров, в отличие от Llama 4 Scout с 17B активных
- Десятки токенов/с на MacBook для 20B
⚙️ Архитектура:
- MoE: top-4 эксперта на токен
- Rotary + YaRN, контекст: до 128K
- 36 слоёв / 64 головы / GQA с 8 KV
- 20B активирует ~17.2% параметров, больше, чем у 120B
📈 Сравнение с другими:
- DeepSeek R1: 671B total / 37B active, FP8, файл >10× больше
- Qwen3 235B: 64 балла, но тоже существенно тяжелее
🌐 Провайдеры API:
Тестируем:
@GroqInc, @CerebrasSystems, @FireworksAI_HQ, @togethercompute💵 Цены (медиана):
- 120B: $0.15 / $0.69 за 1M токенов (ввод / вывод)
- 20B: $0.08 / $0.35
- Для сравнения: o4-mini — $1.1 / $4.4, o3 — $2 / $8 (!)
📄 Лицензия: Apache 2.0 — максимально свободно!
— GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB)
— GPT-OSS-20B — 21B параметров, работает на 16GB GPU
👍6❤2👎1🥰1
⏳ CUTLASS 4.1 — фреймворк для высокопроизводительных матричных вычислений на CUDA. Библиотека NVIDIA предоставляет низкоуровневые абстракции для эффективной реализации операций линейной алгебры на GPU. Последняя версия добавляет поддержку архитектур Blackwell и экспериментальный Python-интерфейс CuTe DSL для быстрой разработки ядер без глубоких знаний C++.
Инструмент имеет гибкую систему шаблонов, позволяющая тонко настраивать вычисления под разные типы данных и аппаратные особенности современных GPU NVIDIA.
🤖 GitHub
@machinelearning_ru
Инструмент имеет гибкую систему шаблонов, позволяющая тонко настраивать вычисления под разные типы данных и аппаратные особенности современных GPU NVIDIA.
🤖 GitHub
@machinelearning_ru
❤4👍3🔥2
Машинное обучение RU
📊 Независимые бенчмарки gpt-oss от OpenAI OpenAI выпустила два MoE-модели с открытым весом — и это, похоже, самые *интеллектуальные американские open-source LLM* на сегодня: 🧠 gpt-oss-120b (116.8B параметров, 5.1B активных): *Intelligence Index: 58* 🧠…
🆕 OpenAI выложила в опенсорс рассуждающие модели gpt‑oss‑120b и gpt‑oss‑20b. Теперь их можно запускать по API в Yandex Cloud AI Studio.
📌 Почему это важно:
• Развернуть такие модели локально сложно — нужны большие вычислительные мощности и поддержка инфраструктуры.
• Прямое использование API OpenAI может не соответствовать требованиям ФЗ‑152 и закона о локализации данных.
• В Yandex Cloud данные хранятся и обрабатываются в российских дата‑центрах.
Модели сопоставимы по качеству с o3‑mini и o4‑mini, а в отдельных задачах превосходят GPT‑4o и o1. Поддерживают настраиваемую интенсивность рассуждений и скорость ответа.
Сценарии применения: автоматизация рекрутмента, техподдержки, анализ документов, первичная коммуникация с клиентами. Вскоре появится возможность вызова функций — можно будет интегрировать поиск информации в интернете прямо при генерации ответа. За использование модели 120b берут 30 копеек за 1000 токенов, для “младшей” модели – 10 копеек.
@machinelearning_ru
📌 Почему это важно:
• Развернуть такие модели локально сложно — нужны большие вычислительные мощности и поддержка инфраструктуры.
• Прямое использование API OpenAI может не соответствовать требованиям ФЗ‑152 и закона о локализации данных.
• В Yandex Cloud данные хранятся и обрабатываются в российских дата‑центрах.
Модели сопоставимы по качеству с o3‑mini и o4‑mini, а в отдельных задачах превосходят GPT‑4o и o1. Поддерживают настраиваемую интенсивность рассуждений и скорость ответа.
Сценарии применения: автоматизация рекрутмента, техподдержки, анализ документов, первичная коммуникация с клиентами. Вскоре появится возможность вызова функций — можно будет интегрировать поиск информации в интернете прямо при генерации ответа. За использование модели 120b берут 30 копеек за 1000 токенов, для “младшей” модели – 10 копеек.
@machinelearning_ru
👍2❤1🔥1
SWE‑Swiss-32B — модель с 32 млрд параметров, оптимизированная для эффективного исправления программных проблем.
Что входит в рецепт обучения:
- Мulti‑Task Fine‑Tuning + Reinforcement Learning — обучаем модель сразу на нескольких навыках и усиливаем через RL.
- Ключевые навыки:
- Локализация ошибок (файлы)
- Генерация патчей
- Создание unit-тестов
По результатам тестов на SWE‑bench Verified, модель показывает производительность на уровне передовых закрытых моделей, несмотря на свою среднюю размерность.
Плюсы:
- Доступно на Hugging Face под лицензией MIT
- Использует
transformers — просто интегрировать в пайплайнПочему это круто:
SWE‑Swiss — пример того, как грамотно комбинация мультизадочного обучения и RL позволяет добиться высоких результатов в решении понятийно сложных задач, делая LLM доступнее и эффективнее для разработчиков.
📑Notion: https://pebble-potato-fc6.notion.site/SWE-Swiss-A-Multi-Task-Fine-Tuning-and-RL-Recipe-for-High-Performance-Issue-Resolution-21e174dedd4880ea829ed4c861c44f88?pvs=143
💻Github: https://github.com/zhenyuhe00/SWE-Swiss
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1🔥1
🧠 Большинство AI‑агентов не понимают друг друга — задачи повторяются, токены тратятся впустую, и всё ломается.
📊 Новый обзор сравнил 24 фреймворка для AI-агентов и показал, что не хватает общей спецификации, из-за чего агенты не могут "работать в команде".
🤖 Что такое агентный воркфлоу?
Это playbook для LLM: какие подзадачи запускать, в каком порядке и с какими внешними инструментами.
Без него — модель либо тратит токены на догадки, либо забывает, что сделала 2 минуты назад.
🧩 Авторы разделили системы по 2 осям:
- Функции: планирование задач, вызов инструментов, память, командная работа
- Архитектура: роли, потоки данных, протоколы
⚠️ Все используют Python-цепочки и JSON-конфиги, но:
• форматы сообщений разные
• названия ролей свои
• схемы инструментов — кастомные
Это мешает совместимости, тормозит безопасность и делает баги вроде tool poisoning труднее устранимыми.
✅ Решения, предложенные в статье:
- Открытые протоколы: MCP, A2A
- Loop-архитектуры: planner → executor → feedback
- Планировщики, чтобы агенты не дрались за один ресурс
📌 Вывод: пока у нас нет общего языка воркфлоу, агентные системы останутся изолированными островами.
📝 Читать статью: https://arxiv.org/abs/2508.01186
📊 Новый обзор сравнил 24 фреймворка для AI-агентов и показал, что не хватает общей спецификации, из-за чего агенты не могут "работать в команде".
🤖 Что такое агентный воркфлоу?
Это playbook для LLM: какие подзадачи запускать, в каком порядке и с какими внешними инструментами.
Без него — модель либо тратит токены на догадки, либо забывает, что сделала 2 минуты назад.
🧩 Авторы разделили системы по 2 осям:
- Функции: планирование задач, вызов инструментов, память, командная работа
- Архитектура: роли, потоки данных, протоколы
⚠️ Все используют Python-цепочки и JSON-конфиги, но:
• форматы сообщений разные
• названия ролей свои
• схемы инструментов — кастомные
Это мешает совместимости, тормозит безопасность и делает баги вроде tool poisoning труднее устранимыми.
✅ Решения, предложенные в статье:
- Открытые протоколы: MCP, A2A
- Loop-архитектуры: planner → executor → feedback
- Планировщики, чтобы агенты не дрались за один ресурс
📌 Вывод: пока у нас нет общего языка воркфлоу, агентные системы останутся изолированными островами.
📝 Читать статью: https://arxiv.org/abs/2508.01186
👍4❤2
📌 oneDNN — высокопроизводительная библиотека для ускорения нейронных сетей, разработанная Intel. Этот open-source проект оптимизирует вычисления для процессоров Intel и ARM, а также поддерживает экспериментальные реализации под NVIDIA/AMD GPU.
Библиотека выступает строительным блоком для популярных фреймворков вроде PyTorch и TensorFlow, автоматически подбирая оптимальные инструкции CPU через JIT-компиляцию. Интересно, что она также работает на экзотических архитектурах — от IBM z/Architecture до RISC-V, хотя поддержка последних пока ограничена.
🤖 GitHub
@machinelearning_ru
Библиотека выступает строительным блоком для популярных фреймворков вроде PyTorch и TensorFlow, автоматически подбирая оптимальные инструкции CPU через JIT-компиляцию. Интересно, что она также работает на экзотических архитектурах — от IBM z/Architecture до RISC-V, хотя поддержка последних пока ограничена.
🤖 GitHub
@machinelearning_ru
❤6👍3
🔍 Как избежать хаоса в общих ML-утилитах?
Типичная ситуация в data science: несколько команд используют один и тот же код, но из-за разных репозиториев и релизных циклов версии утилит быстро расходятся. Обновления одной команды не доходят до других, баги фиксируются выборочно, а со временем код и вовсе начинает жить своей жизнью в каждом проекте.
Git submodules решают эту проблему, позволяя встраивать общий репозиторий как подкаталог в другие проекты. Вместо копирования кода — ссылка на конкретный коммит. Так, даже в условиях разных уровней безопасности или частых обновлений, все команды работают с одинаковой версией утилит.
Но при этом подход не идеален: требует аккуратности в работе, но для быстро меняющегося ML-кода — это часто лучшее решение, чем классические пакеты Python. Главное — все изменения остаются прозрачными, а утилиты можно сразу отлаживать в контексте проекта.
🔗 Ссылка - *клик*
@machinelearning_ru
Типичная ситуация в data science: несколько команд используют один и тот же код, но из-за разных репозиториев и релизных циклов версии утилит быстро расходятся. Обновления одной команды не доходят до других, баги фиксируются выборочно, а со временем код и вовсе начинает жить своей жизнью в каждом проекте.
Git submodules решают эту проблему, позволяя встраивать общий репозиторий как подкаталог в другие проекты. Вместо копирования кода — ссылка на конкретный коммит. Так, даже в условиях разных уровней безопасности или частых обновлений, все команды работают с одинаковой версией утилит.
Но при этом подход не идеален: требует аккуратности в работе, но для быстро меняющегося ML-кода — это часто лучшее решение, чем классические пакеты Python. Главное — все изменения остаются прозрачными, а утилиты можно сразу отлаживать в контексте проекта.
🔗 Ссылка - *клик*
@machinelearning_ru
❤6🔥1🥰1
🗺️ 4DGS-SLAM — SLAM для динамичных сцен на базе Gaussian Splatting
Обычные SLAM-методы с Gaussian Splatting работают только в статичных сценах.
4DGS-SLAM идёт дальше — он строит карту и отслеживает камеру в реальном времени, не удаляя движущиеся объекты, а моделируя их вместе со статичными.
🔥 Как это работает
- Работает с последовательностями RGB-D с динамикой.
- Делит сцену на статические и динамические Gaussian-примитивы.
- Отслеживает движение объектов через MLP и 2D optical flow.
- Генерирует motion masks для точной сегментации.
https://github.com/yanyan-li/4DGS-SLAM
Обычные SLAM-методы с Gaussian Splatting работают только в статичных сценах.
4DGS-SLAM идёт дальше — он строит карту и отслеживает камеру в реальном времени, не удаляя движущиеся объекты, а моделируя их вместе со статичными.
🔥 Как это работает
- Работает с последовательностями RGB-D с динамикой.
- Делит сцену на статические и динамические Gaussian-примитивы.
- Отслеживает движение объектов через MLP и 2D optical flow.
- Генерирует motion masks для точной сегментации.
https://github.com/yanyan-li/4DGS-SLAM
🔥3❤1👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Жаркий момент на интервью с CEO OpenAI.
Ведущий спросил Сэма Альтмана, что он думает о посте Илона Маска «OpenAI сожрёт Microsoft» и ответе Сатьи Наделлы.
Альтман: *«Эмм… я не так уж много о нём думаю».*
Когда ведущий уточнил, что речь о том, что в долгосрочной перспективе OpenAI получит больше власти, влияния и рычагов, чем Microsoft, Сэм ответил:
*«Я не знаю, что это значит. А вы знаете?»*
После пояснения ведущего Альтман лишь добавил:
*«Он просто весь день твитит о том, какая OpenAI плохая, что у нас плохая модель и мы не будем хорошей компанией».*
Вопрос о власти над Microsoft так и остался без ответа.
Ведущий спросил Сэма Альтмана, что он думает о посте Илона Маска «OpenAI сожрёт Microsoft» и ответе Сатьи Наделлы.
Альтман: *«Эмм… я не так уж много о нём думаю».*
Когда ведущий уточнил, что речь о том, что в долгосрочной перспективе OpenAI получит больше власти, влияния и рычагов, чем Microsoft, Сэм ответил:
*«Я не знаю, что это значит. А вы знаете?»*
После пояснения ведущего Альтман лишь добавил:
*«Он просто весь день твитит о том, какая OpenAI плохая, что у нас плохая модель и мы не будем хорошей компанией».*
Вопрос о власти над Microsoft так и остался без ответа.
👍4❤2🥰2
Пилот дрона — это не игрушка, а профессия с реальными задачами и деньгами.
Где нужны специалисты уже сегодня:
— Инспекции мостов и дорог
— Мониторинг лесов, парков и водохранилищ
— Съёмки для фильмов и рекламы
— Геодезия и кадастр
— Контроль за строительством
— Поиск людей после ЧС
— Анализ состояния объектов ЖКХ
— Сбор данных для цифровых моделей городов
📊 В России — острый дефицит специалистов. Каждый новый проект ищет своих «дроноводов».
Освойте новую профессию на онлайн-курсе Skillbox и получите шанс пройти стажировку в «Геоскане» — лидере отрасли.
Получите скидку до 60% + 3 курса в подарок!
👉 Подробнее по ссылке: https://goo.su/pgzSO?erid=2VtzqvJkepH
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
Где нужны специалисты уже сегодня:
— Инспекции мостов и дорог
— Мониторинг лесов, парков и водохранилищ
— Съёмки для фильмов и рекламы
— Геодезия и кадастр
— Контроль за строительством
— Поиск людей после ЧС
— Анализ состояния объектов ЖКХ
— Сбор данных для цифровых моделей городов
📊 В России — острый дефицит специалистов. Каждый новый проект ищет своих «дроноводов».
Освойте новую профессию на онлайн-курсе Skillbox и получите шанс пройти стажировку в «Геоскане» — лидере отрасли.
Получите скидку до 60% + 3 курса в подарок!
👉 Подробнее по ссылке: https://goo.su/pgzSO?erid=2VtzqvJkepH
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
😁8👎4🤔3❤2👍2🔥1🤬1
📄 MLflow GenAI — автоматическая оценка качества RAG-систем. Проект расширяет возможности платформы MLflow для оценки генеративных AI-моделей. Он автоматически проверяет релевантность ответов и их соответствие исходному контексту, что особенно полезно для RAG-систем. Интеграция с Ollama и LangChain позволяет тестировать локальные модели, включая Llama3.
Инструмент использует GPT-4 в качестве судьи для оценки ответов, генерируя метрики от 1 до 5. Результаты отображаются в дашборде MLflow, где можно сравнивать разные версии модели. Это упрощает процесс улучшения AI-систем без ручной проверки.
🔗 Ссылка - *клик*
@machinelearning_ru
Инструмент использует GPT-4 в качестве судьи для оценки ответов, генерируя метрики от 1 до 5. Результаты отображаются в дашборде MLflow, где можно сравнивать разные версии модели. Это упрощает процесс улучшения AI-систем без ручной проверки.
🔗 Ссылка - *клик*
@machinelearning_ru
❤3👍2
Принцип простой: описываете, что хотите получить, нажимаете Optimize — GPT-5 анализирует запрос и выдаёт готовый детализированный промт. Работает бесплатно.
Инструмент может упростить работу с любыми нейросетями, особенно если у вас нет опыта в составлении промтов.
Готовый вы можете сразу попробовать в @Chatgpturbobot
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Что умеет
- SimpleQA: 91% точности, чуть выше Perplexity Pro — и всё это полностью локально.
- Сценарии: быстрый веб-поиск и глубокое исследование (Deep Research).
Из чего сделана
- Базируется на Qwen3-4B-Thinking (контекст до 256k), дообучена в Jan на рассуждение и работу с инструментами.
Где запускать
- Jan, llama.cpp или vLLM.
Как включить поиск в Jan
- Settings → Experimental Features → On
- Settings → MCP Servers → включите поисковый MCP (например, Serper)
Модели
- Jan-v1-4B: https://huggingface.co/janhq/Jan-v1-4B
- Jan-v1-4B-GGUF: https://huggingface.co/janhq/Jan-v1-4B-GGUF
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤2👍2