SmolLM3: Новая эра малых языковых моделей

Команда Hugging Face представила SmolLM3 - революционную модель на 3 миллиарда параметров, которая устанавливает новые стандарты для малых языковых моделей. Это не просто еще одна модель, а полноценный инструмент с уникальными возможностями!

🔘Ключевые особенности

Превосходная производительность
- Превосходит Llama-3.2-3B и Qwen2.5-3B
- Конкурирует с более крупными 4B моделями (Qwen3 & Gemma3)
- Находится в "золотой точке эффективности" между производительностью и ресурсами

Двойной режим рассуждений
Уникальная возможность переключения между:
- think - режим с развернутыми рассуждениями
- no_think - режим быстрых ответов

Мультиязычность
Поддержка 6 языков: английский, французский, испанский, немецкий, итальянский и португальский

Длинный контекст
- До 128k токенов контекста
- Использует технологии NoPE и YaRN

🔘Техническая архитектура

- Grouped Query Attention (GQA) с 4 группами для эффективности
- NoPE - удаление позиционных кодировок каждого 4-го слоя
- Intra-Document Masking для стабильного обучения

Обучение:
- 11,2T токенов в 3 этапа
- 384 H100 GPU в течение 24 дней
- Использование фреймворков nanotron, datatrove, lighteval

🔘Результаты оценки

Базовая модель показывает:
- 1-е или 2-е место на бенчмарках знаний и рассуждений
- Конкурентоспособность в математике и программировании
- Сильная мультиязычная производительность

Режим рассуждений демонстрирует:
- AIME 2025: 36.7% vs 9.3% (без рассуждений)
- LiveCodeBench: 30.0% vs 15.2%
- GPQA Diamond: 41.7% vs 35.7%

🔘Как использовать

Быстрый старт:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "HuggingFaceTB/SmolLM3-3B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Активация режима рассуждений
messages = [
    {"role": "system", "content": "/think"},
    {"role": "user", "content": "Объясни гравитацию простыми словами."}
]

🔘Поддержка инструментов:

SmolLM3 поддерживает tool calling через xml_tools и python_tools!

🔘Открытость проекта

Hugging Face предоставляет полный рецепт обучения:
✅Детали архитектуры
✅Точные смеси данных
✅ Методология построения гибридной модели рассуждений
✅Обучающие конфигурации и скрипты

🔘Ресурсы

- Базовая модель: HuggingFaceTB/SmolLM3-3B-Base
- Instruct модель: HuggingFaceTB/SmolLM3-3B
- GitHub репозиторий: SmolLM
- Коллекция моделей: Models Collection

Grok 4: Революция в мире ИИ от Илона Маска ?

Илон Маск представил Grok 4 — самую мощную ИИ-модель в мире

🔘Ключевые особенности Grok 4

📈Невероятная производительность
- Идеальные 100% на математических олимпиадах (AIME)
- 87% на тестах по физике уровня PhD
- 25.4% на "Последнем экзамене человечества" без инструментов
- 44.4% с инструментами (версия Heavy)

⚙️Технические возможности
- 256,000 токенов контекстного окна (в 2 раза больше чем у Grok 3)
- Мультимодальная обработка (текст + изображения)
- Мульти-агентная архитектура для решения сложных задач
- Интеграция с X, Tesla и SpaceX для доступа к актуальным данным

🔘Ценовая политика

- Стандартная версия: $30/месяц
- SuperGrok Heavy: $300/месяц

🔘Grok 4 vs Конкуренты

Grok 4 демонстрирует впечатляющее превосходство над конкурентами в ключевых бенчмарках. На тесте "Humanity's Last Exam" новая модель от xAI показала результат 25.4%, опередив Gemini 2.5 Pro от Google с 21.6% и GPT-4o от OpenAI с 21%.

В математических соревнованиях AIME (American Invitational Mathematics Examination) Grok 4 достиг идеального результата 100%, что кардинально отличается от 52.2% у предыдущей версии Grok 3.

На тестах по физике уровня PhD (GPQA) модель набрала 87%, превзойдя 75.4% своего предшественника. Особенно впечатляет версия Grok 4 Heavy с мульти-агентной архитектурой, которая с использованием инструментов показывает 44.4% на "Последнем экзамене человечества" — почти в два раза больше, чем 26.9% у Gemini.

В области распознавания визуальных паттернов (ARC-AGI-2) Grok 4 достиг 16.2%, что в два раза превышает результат ближайшего конкурента — Claude Opus 4. Эти показатели подтверждают заявления Маска о том, что Grok 4 является "самым умным ИИ в мире".

Что говорит Маск

Это самый умный ИИ в мире... В некотором смысле, это пугает

Маск описал Grok 4 как "супер-гения-ребенка" с интеллектом уровня PhD по всем дисциплинам одновременно!

🔘Планы на будущее

- Август 2025: Модель для программирования
- Сентябрь 2025: Мультимодальный агент
- Октябрь 2025: Генерация видео

Kimi K2: теперь доступна всем

🔘Что такое Kimi K2?

Kimi K2 — это новейшая модель Mixture-of-Experts от Moonshot AI с 32 миллиардами активированных параметров и 1 триллионом общих параметров. Это не просто очередная языковая модель — это агентный ИИ, который не только отвечает, но и действует

🔘Ключевые особенности

- SOTA производительность среди non-thinking моделей в знаниях, математике и программировании
- Агентные возможности — модель понимает инструменты и выполняет сложные задачи
- Полностью open-source — доступны две версии:
- Kimi-K2-Base: Базовая модель для исследователей и разработчиков
- Kimi-K2-Instruct: Готовая к использованию модель для чата и агентных задач

🔘Реальные примеры использования

🟡Анализ данных о зарплатах
Kimi K2 может проанализировать данные о влиянии удаленной работы на зарплату, создав:
- 16 IPython вызовов для статистики
- Интерактивные визуализации
- Готовую веб-страницу с выводами

🟡Планирование тура Coldplay 2025
Модель автоматически организует поездку в Лондон через 17 инструментов:
- Поиск информации о концертах
- Бронирование авиабилетов
- Поиск жилья на Airbnb
- Резервирование ресторанов
- Синхронизация с календарем

🟡Разработка в терминале
Kimi K2 понимает вашу среду разработки и может:
- Редактировать файлы
- Выполнять команды
- Автоматизировать разработку на JavaScript
- Конвертировать проекты из Flask в Rust

🔘Результаты бенчмарков

🟡Программирование
- LiveCodeBench v6: 53.7% (против 48.5% у Claude Sonnet 4 и 44.7% у GPT-4.1)
- SWE-bench Verified: 65.8% в одиночных попытках (71.6% с множественными попытками)
- SWE-bench Multilingual: 47.3% — лидер среди open-source моделей
- MultiPL-E: 85.7% точности в многоязычном программировании
- OJBench: 27.1% (превосходит большинство конкурентов)

🟡Работа с инструментами
- Tau2 retail: 70.6% эффективности в розничных сценариях
- Tau2 airline: 56.5% в авиационных задачах
- Tau2 telecom: 65.8% в телекоммуникационных сценариях
- AceBench: 76.5% общей точности в работе с инструментами
- TerminalBench: 30.0% в сложных терминальных задачах

🟡Математика и наука
- MATH-500: 97.4% точности (лучший результат среди всех моделей)
- AIME 2024: 69.6% (значительно опережает конкурентов)
- AIME 2025: 49.5% на самых сложных задачах
- HMMT 2025: 38.8% на олимпиадных задачах
- CNMO 2024: 74.3% в китайских математических олимпиадах
- ZebraLogic: 89.0% в логических задачах
- GPQA-Diamond: 75.1% в сложных научных вопросах

🟡Общие знания
- MMLU: 89.5% общих знаний
- MMLU-Redux: 92.7% в обновленной версии
- MMLU-Pro: 81.1% в продвинутых задачах
- IFEval: 89.8% в следовании инструкциям
- Livebench: 76.4% в динамических тестах

🔘Технические инновации

🟡MuonClip Optimizer
Новый оптимизатор для стабильного обучения на 15.5 триллионах токенов без сбоев:
- Решает проблему взрывающихся attention logits
- Более эффективен по токенам чем AdamW
- Применяет технику qk-clip для стабилизации

🟡Агентные возможности
- Масштабный синтез агентных данных с сотнями доменов и тысячами инструментов
- Общее обучение с подкреплением для задач с проверяемыми и непроверяемыми наградами
- Самооценка для масштабируемой обратной связи

🔘Как начать использовать

1️⃣ Попробуйте бесплатно
Прямо сейчас на kimi.com можно бесплатно использовать Kimi K2

2️⃣ API для разработчиков
Совместимый с OpenAI/Anthropic интерфейс на platform.moonshot.ai

3️⃣ Развертывание на своих серверах
Поддерживает: vLLM, SGLang, KTransformers, TensorRT-LLM

Команда Moonshot AI планирует добавить:
- Способности к мышлению (thinking capabilities)
- Визуальное понимание для полноценного агентного ИИ
- MCP функции для веб и мобильных приложений