Forwarded from Machinelearning
SEAL - это методика от MiT, позволяющая LLM самостоятельно генерировать обучающие данные и настраивать параметры обучения, чтобы адаптироваться к новым задачам. Вместо традиционного файнтюна на внешних данных модель учится рефлексировать: анализировать контекст, создавать из него синтетические данные и применять их для корректировки собственных весов через механизм усиленного обучения.
SEAL, по сути, это два разделенных цикла:
Этот процесс повторяется, постепенно формируя у модели навык преобразования исходных данных в полезные обучающие сигналы.
SEAL протестили на 2 задачах: интеграции новых знаний и few-shot обучении. В первом случае модель генерирует логические следствия из текста, дообучается на них и улучшает точность ответов на вопросы без доступа к исходному тексту.
Во втором случае SEAL выбирает оптимальные аугментации данных и гиперпараметры для обучения на примерах задач ARC-AGI.
В обоих сценариях SEAL превзошел подходы с фиксированными шаблонами (ICL, TTT+Self Edit без RL и) и даже синтетическими данными от GPT-4.1.
Метод скорее академический и по большей части экспериментальный, у него есть ограничения:
@ai_machinelearning_big_data
#AI #ML #LLM #SEAL #RL #MiT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3🔥3😁1
🚀 Вышли модели Qwen3 в формате MLX!
Теперь можно запускать Qwen3 локально — быстро, эффективно и с разной точностью:
- 4-bit
- 6-bit
- 8-bit
- BF16
🔧 Модели специально оптимизированы под MLX framework — минимальный объём, максимальная производительность, полная совместимость с Apple Silicon.
🧪 Идеально подходит для локального inference и интеграции в MLX‑проекты.
📦 Попробовать:
• Hugging Face: huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
• ModelScope: modelscope.cn/collections/Qwen3-9743180bdc6b48
@machinelearning_interview
#Qwen3 #MLX #LLM #AppleSilicon #AI
Теперь можно запускать Qwen3 локально — быстро, эффективно и с разной точностью:
- 4-bit
- 6-bit
- 8-bit
- BF16
🔧 Модели специально оптимизированы под MLX framework — минимальный объём, максимальная производительность, полная совместимость с Apple Silicon.
🧪 Идеально подходит для локального inference и интеграции в MLX‑проекты.
📦 Попробовать:
• Hugging Face: huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
• ModelScope: modelscope.cn/collections/Qwen3-9743180bdc6b48
@machinelearning_interview
#Qwen3 #MLX #LLM #AppleSilicon #AI
❤10👍5🔥4
🧠 Модели обучают сами себя: Anthropic представила метод ICM
Исследователи из Anthropic разработали новый подход — Internal Coherence Maximization (ICM), позволяющий языковым моделям тонко настраивать себя без участия человека.
🔍 Как работает:
Модель оценивает последовательность своих ответов, находит противоречия и улучшает собственные ответы путём самокоррекции.
Это позволяет добиться более логичных и целостных рассуждений — без аннотаций и ручной разметки.
📊 Результаты:
• На бенчмарках *TruthfulQA* и *GSM8K* ICM показывает не хуже, а иногда даже лучше, чем классическое супервизированное дообучение
• В субъективных оценках "полезности" — модели с ICM воспринимаются убедительнее
• ICM также может генерировать мощные reward-модели для RLHF
⚠️ Ограничения:
• Сложности с новыми концепциями
• Неустойчивость на очень длинных текстах
📌 Вывод:
ICM — это шаг к более автономному и последовательному ИИ, который учится рассуждать, проверять и улучшать себя сам. Без учителя.
📌 Подробнее
Исследователи из Anthropic разработали новый подход — Internal Coherence Maximization (ICM), позволяющий языковым моделям тонко настраивать себя без участия человека.
🔍 Как работает:
Модель оценивает последовательность своих ответов, находит противоречия и улучшает собственные ответы путём самокоррекции.
Это позволяет добиться более логичных и целостных рассуждений — без аннотаций и ручной разметки.
📊 Результаты:
• На бенчмарках *TruthfulQA* и *GSM8K* ICM показывает не хуже, а иногда даже лучше, чем классическое супервизированное дообучение
• В субъективных оценках "полезности" — модели с ICM воспринимаются убедительнее
• ICM также может генерировать мощные reward-модели для RLHF
⚠️ Ограничения:
• Сложности с новыми концепциями
• Неустойчивость на очень длинных текстах
📌 Вывод:
ICM — это шаг к более автономному и последовательному ИИ, который учится рассуждать, проверять и улучшать себя сам. Без учителя.
📌 Подробнее
❤13👍5🥰3👏1
Forwarded from Machinelearning
MiniMax-M1 — первая в мире open-weight гибридная reasoning‑LLM c 1M контекстом (8× DeepSeek R1) и гибридной архитектурой MoE + lightning attention.
• 456 млрд параметров (45,9 млрд активируются на токен), сверхэффективная генерация — 25% FLOPs DeepSeek R1 на 100K токенов
• Обучение через RL с новым алгоритмом CISPO, решающим реальные задачи от математики до кодинга
• На обучение было потрачено $534K, две версии — 40K/80K “thinking budget”
• Обходит DeepSeek R1 и Qwen3-235B на бенчмарках по математике и кодингу,
• Топ результат на задачах для software engineering и reasoning
Бенчмарки:
AIME 2024: 86.0 (M1-80K) vs 85.7 (Qwen3) vs 79.8 (DeepSeek R1)
SWE-bench Verified: 56.0 vs 34.4 (Qwen3)
OpenAI-MRCR (128k): 73.4 vs 27.7 (Qwen3)
TAU-bench (airline): 62.0 vs 34.7 (Qwen3)
LongBench-v2: 61.5 vs 50.1 (Qwen3)▪Hugging Face: https://huggingface.co/collections/MiniMaxAI/minimax-m1-68502ad9634ec0eeac8cf094
▪GitHub: https://github.com/MiniMax-AI/MiniMax-M1
▪Tech Report: https://github.com/MiniMax-AI/MiniMax-M1/blob/main/MiniMax_M1_tech_report.pdf
@ai_machinelearning_big_data
#llm #reasoningmodels #minimaxm1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8🔥4👍2
🚀 Moonshot AI выпускает Kimi Dev 72B — новую открытую модель для кодинга и софт-инжиниринга!
▪️ Результат 60.4% на SWE Bench Verified — новый рекорд среди open-source моделей
▪️ Обходит GPT-4.1 и уступает только Gemini 2.5 Pro
▪️ Уже доступна на Hugging Face и GitHub
Kimi Dev 72B — свежий прорыв для разработчиков, ищущих мощную и открытую LLM для Кодина!
- GitHub: https://github.com/MoonshotAI/Kimi-Dev
- HuggingFace: https://huggingface.co/moonshotai/Kimi-Dev-72B
▪️ Результат 60.4% на SWE Bench Verified — новый рекорд среди open-source моделей
▪️ Обходит GPT-4.1 и уступает только Gemini 2.5 Pro
▪️ Уже доступна на Hugging Face и GitHub
Kimi Dev 72B — свежий прорыв для разработчиков, ищущих мощную и открытую LLM для Кодина!
- GitHub: https://github.com/MoonshotAI/Kimi-Dev
- HuggingFace: https://huggingface.co/moonshotai/Kimi-Dev-72B
❤13🔥5👍3
🌀 Align Your Flow — новый прорыв в генерации изображений
Исследователи Nvidia предложили метод, который объединяет преимущества diffusion‑, flow‑ и consistency‑моделей, но без их главного минуса — большого числа шагов генерации.
📌 В чём проблема:
• Diffusion и flow‑модели выдают отличные результаты, но требуют десятки/сотни шагов
• Consistency-модели ускоряют генерацию (1–2 шага), но резко теряют в качестве при увеличении шагов
🔬 Решение: Flow Maps
• Обобщают подходы diffusion и consistency
• Связывают любые уровни шума за один шаг
• Работают эффективно при любом числе шагов
🧪 Что нового в работе:
• Два непрерывных loss-функционала для обучения flow map
• Поддержка автонавигации: слабая модель помогает сильной при дистилляции
• Дополнительный прирост через adversarial finetuning, при этом сохраняется разнообразие семплов
📈 Результаты:
• SOTA на ImageNet (64×64 и 512×512) — даже с компактными нейросетями
• Текст‑к‑картинке (text-to-image) версия превзошла все не-GAN модели в few-step генерации
🧠 Вывод:
Align Your Flow — это следующий шаг после diffusion и consistency. Меньше шагов, меньше вычислений — при том же или лучшем качестве.
📎 Отличный кандидат для продвинутых генераторов и real-time inference.
https://huggingface.co/papers/2506.14603
Исследователи Nvidia предложили метод, который объединяет преимущества diffusion‑, flow‑ и consistency‑моделей, но без их главного минуса — большого числа шагов генерации.
📌 В чём проблема:
• Diffusion и flow‑модели выдают отличные результаты, но требуют десятки/сотни шагов
• Consistency-модели ускоряют генерацию (1–2 шага), но резко теряют в качестве при увеличении шагов
🔬 Решение: Flow Maps
• Обобщают подходы diffusion и consistency
• Связывают любые уровни шума за один шаг
• Работают эффективно при любом числе шагов
🧪 Что нового в работе:
• Два непрерывных loss-функционала для обучения flow map
• Поддержка автонавигации: слабая модель помогает сильной при дистилляции
• Дополнительный прирост через adversarial finetuning, при этом сохраняется разнообразие семплов
📈 Результаты:
• SOTA на ImageNet (64×64 и 512×512) — даже с компактными нейросетями
• Текст‑к‑картинке (text-to-image) версия превзошла все не-GAN модели в few-step генерации
🧠 Вывод:
Align Your Flow — это следующий шаг после diffusion и consistency. Меньше шагов, меньше вычислений — при том же или лучшем качестве.
📎 Отличный кандидат для продвинутых генераторов и real-time inference.
https://huggingface.co/papers/2506.14603
❤8👍5🔥3
Forwarded from Machinelearning
Goodfire AI, вдохновившись примером Anthropic в интерпретации внутренних процессов Claude, воспроизвели методы трассировки цепей межслойных транскодеров (Cross-Layer Transcoders, CLT) на GPT-2 Small, чтобы проверить их способность раскрывать известные механизмы трансформеров.
Выбор на GPT-2 Small пал не случайно, эта модель небольшая и уже была ранее подвергнута ручному реверс-инжинирингу.
Cross-Layer Transcoders выжимают из модели разреженные признаки, которые объясняют работу MLP-слоев. Визуализируют это через графы атрибуции — это карты влияния признака на выход модели.
Натренировали на 100M токенов из FineWeb, получили ~590K признаков. Точность CLT-реплики модели составила 59%, что близко к оригинальным статьям. Тестировали на задаче сравнения чисел («больше, чем»), идеальном полигоне, где уже известны ключевые механизмы.
Задача "Больше, чем" (ориг. "greater-than") взята из статьи Michael Hanna, она заставляет предсказывать большие числа для второго года в диапазоне дат.
Промпт «The war lasted from the year 1711 to 17». CLT построил граф, где признаки с токена «11» (последняя цифра года) активнее всего влияли на предсказание.
Дальше, выделили топ-160 признаков, для каждого построили логит-атрибуции — теплокарты, показывающие, как признак влияет на выходные годы (ZZ) при разных входных (YY).
Похоже, CLT подсветил кучу узкоспециализированных «сравнивателей», а не универсальные нейроны, как в ручных исследованиях.
CLT автоматически находит интерпретируемые признаки, даже такие неочевидные, как абстрактная четность. Но их «разреженный» мир выглядит иначе, чем ручная трассировка цепей: тут больше узких признаков-«спецов» (Feature 461858 для диапазона 10–30) и меньше универсальных механизмов.
Возможно, дело в методе: CLT смотрит изолированные вклады фич, а в полной модели они взаимодействуют.
В общем, эксперименты с CLT показал, что под капотом языковых моделей не только четкие «сравниватели чисел», но и куча скрытых паттернов вроде детекторов контраста или любителей чисел, кратных 5. И да, полуавтономный анализ иногда видит то, что люди упускают.
@ai_machinelearning_big_data
#AI #ML #LLM #Research #CLT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8🔥4🥰1🤔1
🧠 Ragbits — продвинутый фреймворк для RAG-приложений от deepsense.ai
Ragbits — это модульная и типизированная платформа для создания RAG-систем (Retrieval-Augmented Generation) с фокусом на гибкость, масштабируемость и быструю интеграцию.
🔧 Основные возможности:
• Поддержка 100+ LLM через
• Совместимость с Qdrant, PgVector, Weaviate и другими векторными БД
• Загрузка и обработка 20+ форматов (PDF, HTML, Markdown, презентации и др.)
• CLI-инструменты:
• Поддержка Observability (OpenTelemetry), promptfoo, streamlit UI и RAG-chain
🚀 Примеры использования:
📦 Установка:
💡 Почему стоит попробовать:
• Мгновенный старт благодаря готовым шаблонам
• Продвинутая настройка пайплайна и логики агентов
• Подходит для продакшн-систем, исследований и ML-экспериментов
🔗 GitHub
Ragbits — это модульная и типизированная платформа для создания RAG-систем (Retrieval-Augmented Generation) с фокусом на гибкость, масштабируемость и быструю интеграцию.
🔧 Основные возможности:
• Поддержка 100+ LLM через
litellm, включая локальные и облачные модели • Совместимость с Qdrant, PgVector, Weaviate и другими векторными БД
• Загрузка и обработка 20+ форматов (PDF, HTML, Markdown, презентации и др.)
• CLI-инструменты:
ragbits ingest, ragbits ask, ragbits test • Поддержка Observability (OpenTelemetry), promptfoo, streamlit UI и RAG-chain
🚀 Примеры использования:
from ragbits.document_search import DocumentSearch
search = DocumentSearch()
await search.ingest("https://arxiv.org/pdf/2406.12345.pdf")
result = await search.search("Какой основной вклад в этой статье?")
📦 Установка:
pip install ragbits
create-ragbits-app myapp
💡 Почему стоит попробовать:
• Мгновенный старт благодаря готовым шаблонам
• Продвинутая настройка пайплайна и логики агентов
• Подходит для продакшн-систем, исследований и ML-экспериментов
🔗 GitHub
❤8🔥5🥰3🥱1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
GitHub объявил о начале тарификации премиум-запросов в Copilot для всех платных планов с 18 июня 2025 года. Теперь пользователи будут получать ежемесячный лимит таких запросов, а неиспользованные остатки сгорают в конце месяца.
Премиум-запросы требуются для работы с мощными моделями вроде GPT-4.5 или Claude Opus 4, где каждый запрос умножается на коэффициент сложности (GPT-4.5 «съедает» 50 единиц за раз). Для бесплатного тарифа доступ ограничен: 2000 автодополнений кода и 50 премиум-запросов в месяц, причем все чаты считаются как "премиум".
Платные планы предлагают неограниченный доступ к базовым моделям (GPT-4.1, GPT-4o), но дополнительные запросы сверх лимита обойдутся в $0.04 за штуку. Если лимит исчерпан, можно переключиться на базовые модели — правда, их скорость зависит от нагрузки.
github.com
OpenAI предупредила, что ее будущие модели могут представлять повышенный риск создания биологического оружия. Чтобы предотвратить злоупотребления, OpenAI разрабатывает комплексную систему ограничений: обучение моделей игнорировать опасные запросы, автоматический мониторинг подозрительной активности, проверку экспертов и «Red Teams», тестирующие уязвимости.
Компания сотрудничает с лабораториями и правительствами, чтобы улучшить безопасность синтеза ДНК и создать системы раннего обнаружения патогенов. Для тех, кто работает с ИИ в научных целях, планируется отдельный доступ к мощным инструментам, при условии строгого контроля. В июле OpenAI проведет саммит по биозащите, чтобы объединить усилия государств и частного сектора в борьбе с новыми угрозами.
openai.com
Wix, популярный конструктор сайтов, приобрел Base44 — платформу вайбкодинга, позволяющую создавать приложения через текстовые запросы. Сделка оценивается в $80 млн, с возможными доплатами до 2029 года в зависимости от роста пользователей или выручки.
Base44 останется независимой, сохранив текущие инструменты: управление базами данных, аутентификацию, облачное хранение и хостинг. Платформа, насчитывающая 40 тыс. пользователей, недавно добавила чат-бота на основе ИИ для упрощения разработки.
techradar.com
YouTube подтвердил, что Google использует его архив из 20 млрд. видео для тренировки ИИ-моделей, включая Veo 3. Компания утверждает, что задействует лишь часть контента, соблюдая договоры с авторами, но не уточняет деталей. Создатели, чьи ролики могут попадать в обучающие наборы, не могут отключить такую опцию.
Эксперты опасаются, что это создаст конфликт интересов: ИИ, обученный на их материалах, может конкурировать с самими авторами. Некоторые уже выразили недовольство, подчеркнув, что не знали о таком использовании своего контента.
При этом ежедневно на YouTube добавляется несколько десятков миллионов новых видео - это потенциальный «корм» для алгоритмов. Вопрос регулирования ИИ и защиты прав авторов остаётся открытым, хотя YouTube ссылается на прозрачность своих политик.
cnbc.com
MiniMax, в рамках пятидневного марафона релизов "MiniMax Week" представила второе поколение видео-модели Hailuo 02, улучшенной за счет архитектуры NCR. Модель выросла в 3 раза по количеству параметров, при этом разработчики обещают улучшенное качество и разнообразие контента, но технические детали NCR пока не неизвестны.
Hailuo 02 справляется со сложными сценариями и по данным бенчмарка Artificial Analysis Video Arena она уступила только Bytedance Seedance, но обошла Google Veo 3.
Доступны 3 варианта генераций: 768p на 6/10 секунд и 1080p на 6 секунд. Цена в API за 6-секундный ролик в 768p — $0,28, а 1080p — $0,49. Модель доступна через веб-интерфейс, мобильное приложение или API.
mp.weixin.qq.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥3
Media is too big
VIEW IN TELEGRAM
Вебинар Стэнфорда — Agentic AI: Эволюция использования языковых моделей
Стэнфорд выложил, пожалуй, лучший однострочный часовой разбор о том, как создавать ИИ-агентов.
📌 Видео
Стэнфорд выложил, пожалуй, лучший однострочный часовой разбор о том, как создавать ИИ-агентов.
📌 Видео
❤6🥰4👍3
🛡️ Fault Tolerant Llama — обучение LLM в условиях экстремальной нестабильности, без чекпоинтов
Исследовательская команда продемонстрировала обучение языковой модели в условиях, приближённых к худшему сценарию: сотни имитированных отказов происходили каждые 15 секунд, а чекпоинты полностью отключены. Цель — проверить, как себя поведёт система с полной поддержкой fault-tolerance.
🧰 Что использовалось:
• torchft — отказоустойчивая реализация DDP для PyTorch
• torchtitan — фреймворк для масштабируемого обучения с параллелизмом
• Кластер от Crusoe Cloud: 300 GPU NVIDIA L40S
• Модель: LLaMA 3, 1B параметров
🏗️ Конфигурация:
• 30 узлов × 10 GPU = 30 изолированных replica-групп
• Внутригрупповая коммуникация: NCCL
• Межгрупповая: Gloo (быстрая переинициализация, важно для отказов)
• TorchFT координирует состояние с помощью глобального Lighthouse и локальных менеджеров
🔄 Восстановление без чекпоинтов:
Обычно сбой = загрузка чекпоинта.
Здесь: сбой = локальная перезагрузка группы, автоматическая синхронизация с другими группами.
Каждый возвращающийся узел получает актуальные веса через peer-to-peer от соседей и снова включается в обучение — без полной остановки, без потери прогресса.
📉 Результаты:
• Более 1200 успешных восстановлений
• Обучение остаётся стабильным, модель не деградирует
• Пики на графике — это просто "возвращенцы", не сбой всей системы
📦 Почему это важно:
✔️ Подходит для нестабильных сетей и распределённых сред
✔️ Убирает зависимость от чекпоинтов
✔️ Поддерживает гибкие конфигурации: TP, PP, DiLoCo и др.
📌 Подробнее
Исследовательская команда продемонстрировала обучение языковой модели в условиях, приближённых к худшему сценарию: сотни имитированных отказов происходили каждые 15 секунд, а чекпоинты полностью отключены. Цель — проверить, как себя поведёт система с полной поддержкой fault-tolerance.
🧰 Что использовалось:
• torchft — отказоустойчивая реализация DDP для PyTorch
• torchtitan — фреймворк для масштабируемого обучения с параллелизмом
• Кластер от Crusoe Cloud: 300 GPU NVIDIA L40S
• Модель: LLaMA 3, 1B параметров
🏗️ Конфигурация:
• 30 узлов × 10 GPU = 30 изолированных replica-групп
• Внутригрупповая коммуникация: NCCL
• Межгрупповая: Gloo (быстрая переинициализация, важно для отказов)
• TorchFT координирует состояние с помощью глобального Lighthouse и локальных менеджеров
🔄 Восстановление без чекпоинтов:
Обычно сбой = загрузка чекпоинта.
Здесь: сбой = локальная перезагрузка группы, автоматическая синхронизация с другими группами.
Каждый возвращающийся узел получает актуальные веса через peer-to-peer от соседей и снова включается в обучение — без полной остановки, без потери прогресса.
📉 Результаты:
• Более 1200 успешных восстановлений
• Обучение остаётся стабильным, модель не деградирует
• Пики на графике — это просто "возвращенцы", не сбой всей системы
📦 Почему это важно:
✔️ Подходит для нестабильных сетей и распределённых сред
✔️ Убирает зависимость от чекпоинтов
✔️ Поддерживает гибкие конфигурации: TP, PP, DiLoCo и др.
📌 Подробнее
❤12👍4🥰2👏1