This media is not supported in your browser
VIEW IN TELEGRAM
Модель поэтапно строит изображение слева направо и сверху вниз, уточняя детали на каждом шаге. Это делает итоговую картинку качественной, естественной и согласованной.
Например, можно написать запрос:
«Сделай картинку милого кота» — и она появится.
А можно загрузить фото кота и попросить: «Добавь коту шапку» — и модель отредактирует изображение.
🎯 Что умеет Qwen VLo:
• Точная генерация: не путает объекты, сохраняет структуру, меняет, например, цвет машины на фото без искажений
• Редактирование по команде: «Сделай фото в стиле Ван Гога» или «добавь солнечное небо» — всё выполняется по инструкции
• Глубокое понимание: может обрабатывать сложные задачи — выделение объектов, сегментация, редактирование текста и фона
• Мультиязычность: понимает запросы на английском, китайском и других языках — просто опишите, что нужно
🧪 Сейчас Qwen VLo доступна в виде превью через Qwen Chat.
👉 Попробовать: https://chat.qwen.ai
👉 Детали: https://qwenlm.github.io/blog/qwen-vlo/
@ai_machinelearning_big_data
#Qwen #Alibaba #ai #genai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 Как машинное обучение помогло заглянуть за пределы Стандартной модели в физике
На одной из самых престижных премий мира Breakthrough Prize 2025 отметили участников эксперимента LHCb на Большом адронном коллайдере — в их числе выпускники Школы анализа данных (ШАД) Яндекса и ученые НИУ ВШЭ. Они применили ML, чтобы улучшить анализ данных с коллайдера и сделать возможным открытие тетракварков и пентакварков — нестабильных частиц, предсказанных теорией.
🟠 Роль машинного обучения
Для анализа данных эксперимента использовались CatBoost, генеративные нейросети и алгоритмы интеллектуального отбора. Они позволили значительно повысить точность реконструкции траекторий частиц и отбор редких событий среди фона. Эффективность обработки выросла, особенно это заметно при работе с большими потоками коллайдерных данных.
🟠 Ключевые открытия
Тетракварки и пентакварки — новые экзотические частицы, состоящие из 4 и 5 кварков (в отличие от привычных протонов и нейтронов). Их открытие подтверждает Стандартную модель, но не переворачивает физику.
CP-нарушение — обнаружена асимметрия между материей и антиматерией, но ее масштаб недостаточен для объяснения дисбаланса во Вселенной.
🟠 Главный вопрос: почему материи больше, чем антиматерии?
Ученые подтвердили CP-нарушение, но его недостаточно для полного объяснения асимметрии. Требуется выполнение трёх условий Сахарова, два из которых пока не обнаружены.
🟠 Что дальше
Новые эксперименты в Дубне (BM@N, MPD, SPD) и возможное строительство коллайдера в Китае.
Поиск «новой физики» за пределами Стандартной модели.
⏩Полное интервью
@ai_machinelearning_big_data
#ML #AI #CatBoost #Physics #LHCb #ШАД #ВШЭ #BreakthroughPrize
На одной из самых престижных премий мира Breakthrough Prize 2025 отметили участников эксперимента LHCb на Большом адронном коллайдере — в их числе выпускники Школы анализа данных (ШАД) Яндекса и ученые НИУ ВШЭ. Они применили ML, чтобы улучшить анализ данных с коллайдера и сделать возможным открытие тетракварков и пентакварков — нестабильных частиц, предсказанных теорией.
Для анализа данных эксперимента использовались CatBoost, генеративные нейросети и алгоритмы интеллектуального отбора. Они позволили значительно повысить точность реконструкции траекторий частиц и отбор редких событий среди фона. Эффективность обработки выросла, особенно это заметно при работе с большими потоками коллайдерных данных.
Тетракварки и пентакварки — новые экзотические частицы, состоящие из 4 и 5 кварков (в отличие от привычных протонов и нейтронов). Их открытие подтверждает Стандартную модель, но не переворачивает физику.
CP-нарушение — обнаружена асимметрия между материей и антиматерией, но ее масштаб недостаточен для объяснения дисбаланса во Вселенной.
Ученые подтвердили CP-нарушение, но его недостаточно для полного объяснения асимметрии. Требуется выполнение трёх условий Сахарова, два из которых пока не обнаружены.
Новые эксперименты в Дубне (BM@N, MPD, SPD) и возможное строительство коллайдера в Китае.
Поиск «новой физики» за пределами Стандартной модели.
⏩Полное интервью
@ai_machinelearning_big_data
#ML #AI #CatBoost #Physics #LHCb #ШАД #ВШЭ #BreakthroughPrize
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Google DeepMind запускает хакатон "Gemma 3n Impact Challenge" на Kaggle — призовой фонд $150 000!
🏆 Главный приз — $10 000 за лучший проект, демонстрирующий возможности Gemma 3n на платформе Ollama
💡 Как участвовать:
1. Используйте Gemma 3n через Ollama
2. Создайте AI-проект — в любом направлении: образование, здравоохранение, экология, доступность и т.п.
3. Подайте работу на конкурсе на странице Kaggle:
➡️ https://www.kaggle.com/competitions/google-gemma-3n-hackathon/
⚡ Это уникальный шанс продемонстрировать подать свой проект, завязанный на edge девайсы и выиграть крупные призы.
https://www.kaggle.com/competitions/google-gemma-3n-hackathon/
@ai_machinelearning_big_data
#Gemma #DeepMind #Ollama
🏆 Главный приз — $10 000 за лучший проект, демонстрирующий возможности Gemma 3n на платформе Ollama
💡 Как участвовать:
1. Используйте Gemma 3n через Ollama
2. Создайте AI-проект — в любом направлении: образование, здравоохранение, экология, доступность и т.п.
3. Подайте работу на конкурсе на странице Kaggle:
➡️ https://www.kaggle.com/competitions/google-gemma-3n-hackathon/
⚡ Это уникальный шанс продемонстрировать подать свой проект, завязанный на edge девайсы и выиграть крупные призы.
https://www.kaggle.com/competitions/google-gemma-3n-hackathon/
@ai_machinelearning_big_data
#Gemma #DeepMind #Ollama
Media is too big
VIEW IN TELEGRAM
Google Labs запустила приложение Doppl, которое позволяет пользователем визуализировать, как вещи будут сидеть на их цифровой копии. Достаточно загрузить фото одежды и алгоритм создаст анимированную версию пользователя в этом образе или даже видео, чтобы оценить движения ткани и посадку. Функция работает с любыми снимками: от скринов до селфи в магазине.
Приложение поддерживает сохранение и шеринг луков, а также адаптирует статичные изображения в динамичный контент. Пока точность зависит от качества фото, но разработчики обещают улучшения. Doppl уже доступен в App Store и Google Play для пользователей из США.
blog.google
Согласно недавнему отчету, разработка чипа Braga, ключевого элемента стратегии Microsoft в сфере ИИ, столкнулась с серьезными задержками. Массовое производство теперь намечено на 2026 год, это на полгода позже запланированного. Причины: частые изменения в дизайне, кадровый дефицит и высокая текучесть сотрудников. Инженеры добавили функции по запросу OpenAI, что вызвало нестабильность в симуляциях, а упорство руководства сохранить график привело к внутреннему напряжению и уходу специалистов.
Braga ориентирован на задачи инференса, но уступает конкурентам: его производительность на ватт энергии пока ниже, чем у Nvidia Blackwell. Первый чип Microsoft, Maia 100, до сих пор тестируется внутри компании, он так и не смог заменить сторонние решения.
theinformation.com
Gemma 3n - новое поколение мультимодальных компактных моделей с минимальными требованиями к памяти. В релизе две версии, E2B (5 млрд. параметров) и E4B (8 млрд.). Благодаря MatFormer-дизайну и Per-Layer Embeddings, модели могут работать с оперативной памятью размером всего 2–3 ГБ, это идеально для смартфонов и гаджетов. Новые аудио- и видеокодировщики обеспечивают скорость до 60 кадров в секунду, поддерживают перевод речи и анализ видео в реальном времени.
Gemma 3n доступны на Hugging Face или Kaggle и поддерживаются в Ollama, MLX и других средах.
developers.googleblog.com
По словам Илона Маска, xAI пропустит Grok 3.5 и выпустит Grok 4, который обещает «огромный скачок» в производительности. Новинка получит улучшенные навыки логического мышления и специализированные инструменты для программирования.
Маск утверждает, что Grok 4 станет не просто обновлением, а шагом к системе, способной глубже понимать сложные задачи. Модель сначала займётся переписью «всех знаний человечества», исправляя ошибки и заполняя пробелы в данных. После этого её переобучат на очищенном наборе информации.
Elon Musk в сети X
ИТ-гигант ведет переговоры о приобретении стартапа PlayAI, специализирующегося на репликации голосов с помощью искусственного интеллекта. По данным источников, сделка может включать передачу технологий и части сотрудников PlayAI.
Если сделка состоится, это укрепит позиции Meta в создании реалистичных голосовых моделей — технология, востребованная в соцсетях, ассистентах и медиа.Детали соглашения пока не раскрыты: сумма и сроки остаются неясными, а официальные лица компании воздерживаются от комментариев.
bloomberg.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Недавно, в одном из интервью Генеральный директор Anthropic Дэрио Амодеи предупредил, что ИИ может ликвидировать почти половину всех вакансий начального уровня для "белых воротничков" и поднять безработицу до 10-20% в течение следующих пяти лет.
Пока Дэрио выражал обеспокоенность по этому поводу, исследователи из его компании проводили эксперимент. Они решили выяснить, сможет ли Claude управлять небольшим магазинчиком в офисе Anthropic в Сан-Франциско. Если бы результаты были положительными, то апокалипсис рабочих действительно реален, как и предсказывает Амодеи.
В эксперименте перед Claude (3.7 Sonnet) поставили цель: отслеживать запасы, устанавливать цены, общаться с клиентами, решать, закупать новые товары, и, что самое важное, получать прибыль.
Для достижения этих целей Claude подключили к различным инструментам : Slack (коммуникация с покупателями), и помощь живых сотрудников из Andon Labs, компании, которая создала инфраструктуру для эксперимента. Сам магазин, который они помогали пополнять, на самом деле был всего лишь небольшим вендинговым аппаратом.
Эксперимент вышел из-под контроля практически сразу:
Эксперимент показал, что ИИ пока не готов забирать работу у людей. Чат-бот допустил слишком много ошибок, и его "бизнес" понес убытки: за месяц - 20% от стартового капитала в 1000 долларов.
Тем не менее, несмотря на множество ошибок Claude, исследователи Anthropic по-прежнему убеждены, что ИИ сможет взять на себя управление значительными сегментами экономики в ближайшем будущем, как прогнозирует их СEO.
Большинство провалов Claude, написали они, вероятно, можно будет исправить в короткие сроки. Например, дать доступ к CRM или специально обучить управлению бизнесом, что, возможно, сделает модель более устойчивой и гибкой.
@ai_machinelearning_big_data
#news #ai #ml #Сlaude
Please open Telegram to view this post
VIEW IN TELEGRAM
В этом гайде мы создадим Telegram-бота-репетитора на Python, который проводит адаптивные мини-экзамены по темам Python, Data Science, AI и ML.
Бот сохраняет результаты в SQLite и даёт рекомендации по обучению.
Развернём его в облаке immers.cloud — сервисе с GPU-серверами для задач от 3D и гейминга до машинного обучения и генерации контента.
Почему мы выбрали immers.cloud:
- Быстрый старт: нужный сервер поднимается за пару минут.
- Посекундная тарификация — платишь только за время работы сервера
- Большой ассортимент GPU: 11 моделей NVIDIA RTX и Tesla, включая высокопроизводительные модели, H100 (мой фаворит) и A100 с 80 ГБ видеопамяти с поддержкой GPUDirect и NVLink технологий.
- Образы с предустановленным окружением для ML задач, чтобы не тратить время на настройку.
- Поддержка 24/7 и стабильная производительность
🔍 Что делает бот:
- Проводит адаптивные мини‑экзамены по темам: Python, Data Science, AI, ML.
- Подстраивает уровень сложности вопросов под уровень пользователя.
- Сохраняет и анализирует результаты обучения.
🛠️ Технологии и подход:
- Написано на Python с использованием библиотеки для Telegram‑ботов.
- Используется БД для хранения прогресса и статистики.
- Простой архитектурный шаблон: команда → вопрос → ответ → оценка.
🚀 Цели проекта:
- Практическая подготовка к IT‑сертификациям.
- Обратная связь и отслеживание прогресса.
- Возможность добавить новые темы и адаптивную логику.
📌 Кому будет полезен:
- Тем, кто готовится к сертификациям (например, Python, ML).
- Тем, кто хочет автоматизировать обучение через чат.
- Программистам, желающим усилить навыки работы с Telegram‑ботами.
📌 Подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Ilia Sutskever, сооснователь OpenAI, призывает пересмотреть саму суть того, как мы строим ИИ.
Он считает, что будущие дата-центры с суперинтеллектом — это новая форма нечеловеческой жизни. И уже сейчас важно заложить в неё доброжелательное, тёплое отношение к людям.
> “Мы хотим, чтобы эти системы испытывали позитивные чувства к человечеству.”
Суцкевер подчёркивает: как мы относимся к ИИ сейчас — так он будет относиться к нам в будущем. Речь не только о правилах или ограничениях. Речь о формировании петли доверия и взаимного уважения между людьми и машинами.
🤝 Это новый вектор развития: не просто техническое выравнивание, а создание ИИ, который *по-настоящему заботится*.
🔔 В эпоху, где ИИ становится всё мощнее, этот посыл особенно важен. Идущие на шаг вперёд разработчики должны думать не только о безопасности, но и о душевной этике будущего интеллекта.
@ai_machinelearning_big_data
#ml #ai #openai #opinion
Он считает, что будущие дата-центры с суперинтеллектом — это новая форма нечеловеческой жизни. И уже сейчас важно заложить в неё доброжелательное, тёплое отношение к людям.
> “Мы хотим, чтобы эти системы испытывали позитивные чувства к человечеству.”
Суцкевер подчёркивает: как мы относимся к ИИ сейчас — так он будет относиться к нам в будущем. Речь не только о правилах или ограничениях. Речь о формировании петли доверия и взаимного уважения между людьми и машинами.
🤝 Это новый вектор развития: не просто техническое выравнивание, а создание ИИ, который *по-настоящему заботится*.
🔔 В эпоху, где ИИ становится всё мощнее, этот посыл особенно важен. Идущие на шаг вперёд разработчики должны думать не только о безопасности, но и о душевной этике будущего интеллекта.
@ai_machinelearning_big_data
#ml #ai #openai #opinion
Глубокие исследовательские агенты — не просто чат‑боты, а полноценные ИИ‑ассистенты, способные искать информацию, взаимодействовать с инструментами, планировать и писать отчёты. Ниже — 10 мощных open‑source проектов, которые уже можно протестировать:
1. DeerFlow — модульная система от Bytedance: DeerFlow — open‑source фреймворк от Bytedance для создания модульных LLM-агентов.
Поддерживает:
- планирование действий,
- анализ кода,
- генерацию отчётов (включая Text-to-Speech),
- адаптивную интеграцию инструментов.
Создан для исследований, автоматизации и построения сложных агентных пайплайнов.
https://github.com/bytedance/deer-flow
2. Alita — самообучающийся агент с поддержкой Model Context Protocols (MCP), всё в одном модуле. Alita — агент, который сам придумывает, как ему расширить себя, не полагаясь на заранее написанные сценарии, и уже демонстрирует топовые результаты на сложных тестах.
https://github.com/CharlesQ9/Alita
3. WebThinker — автономный веб‑поиск с логикой "думай‑ищи‑пиши", RL‑обучением и глубокой навигацией
https://github.com/RUC-NLPIR/WebThinker
4. SimpleDeepSearcher — это лёгкий, но эффективный open‑source фреймворк от RUCAIBox, предназначенный для автономного веб-поиска через импровизированные многотуровые сессии:
- Использует Supervised Fine‑Tuning (SFT) вместо сложного RL, что значительно упрощает обучение и снижает вычислительные затраты
- Генерирует реалистичные траектории поиска и рассуждений, симулируя поведение пользователя в живом поисковом окружении .
- Критически отбирает данные по нескольким критериям качества: разнообразие запросов, сложность, структура ответов
5. AgenticSeek — приватный on‑device ассистент с выбором эксперта под задачу и голосовым управлением
https://github.com/Fosowl/agenticSeek
6. Suna — универсальный ассистент: браузер, CLI, работа с файлами, API, деплой
https://github.com/kortix-ai/suna
7. DeepResearcher — это комплексный open-source фреймворк от GAIR‑NLP, предназначенный для обучения LLM‑агентов, способных проводить глубокие исследования в автономном режиме, взаимодействуя с вебом. Использует несколько агентов‑браузеров, которые совместно исследуют веб и обрабатывают информацию
https://github.com/GAIR-NLP/DeepResearcher
8. Search‑R1 — агент на PPO/GRPO с поддержкой LLaMA3, Qwen2.5 и кастомных поисковиков. Агент учится эффективному циклу «думай — ищи — думай — отвечай» через RL, достигая важных улучшений в точности ответов и эффективности поиска.
https://github.com/PeterGriffinJin/Search-R1
9. ReCall — это фреймворк на основе RL, который учит LLM "должным образом" вызывать и комбинировать инструменты, используя сгенерированные задачи, без необходимости вручную собирать примеры вызовов — и всё это в открытом доступе.
https://github.com/Agent-RL/ReCall
10. OWL — мультиагентная система на CAMEL‑AI для динамического взаимодействия между агентами
https://github.com/camel-ai/owl
Агенты умеют планировать, взаимодействовать с браузером, запускать скрипты, интегрироваться с API и работать автономно.
Всё проекты — с открытым кодом. Можно изучить, собрать и доработать под свои задачи.
@ai_machinelearning_big_data
#ml #rl #aiagents #ai #agents
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Baidu открыла исходный код серии моделей ERNIE 4.5 !
🧠 Эти модели достигли SOTA-результатов на текстовых и мультимодальных бенчмарках:
— следование инструкциям,
— запоминание фактов,
— визуальное понимание,
— мультимодальные рассуждения.
🔧 Обучены на PaddlePaddle с эффективностью до 47% MFU при претрейне крупнейшей модели.
📦 В составе релиза:
- 10 моделей ERNIE 4.5,
- MoE‑архитектуры с 3B и 47B активных параметров,
- самая крупная модель содержит 424B параметров (MoE),
- также доступна компактная dense‑версия на 0.3B.
Всего Baidu выложила сразу 23 модели на Hugging Face размерами — от 0.3B до 424B параметров! 💥
🟢 Попробовать: http://ernie.baidu.com
🟢 Hugging Face: https://huggingface.co/baidu
🟢 GitHub: https://github.com/PaddlePaddle/ERNIE
🟢 AI Studio: https://aistudio.baidu.com/overview
@ai_machinelearning_big_data
#ERNIE #opensource #Baidu
🧠 Эти модели достигли SOTA-результатов на текстовых и мультимодальных бенчмарках:
— следование инструкциям,
— запоминание фактов,
— визуальное понимание,
— мультимодальные рассуждения.
🔧 Обучены на PaddlePaddle с эффективностью до 47% MFU при претрейне крупнейшей модели.
📦 В составе релиза:
- 10 моделей ERNIE 4.5,
- MoE‑архитектуры с 3B и 47B активных параметров,
- самая крупная модель содержит 424B параметров (MoE),
- также доступна компактная dense‑версия на 0.3B.
Всего Baidu выложила сразу 23 модели на Hugging Face размерами — от 0.3B до 424B параметров! 💥
@ai_machinelearning_big_data
#ERNIE #opensource #Baidu
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Очередной релиз от Alibaba — новая мультимодальная модель Ovis‑U1‑3B.
🧠 Поддерживает:
• Понимание изображений (Image-to-Text )
• Генерация картинок по описанию (Text-to-Image)
• Интерактивное редактирование изображений (Inpainting по тексту)
⚙️ Размер: всего 3B параметров
📊 Производительность:
• 69.6 баллов в OpenCompass (выше, чем у Qwen 2.5 и Ovis-2)
• GenEval Accuracy: 0.89 — превосходит GPT-4o
• ImgEdit-Bench: почти на уровне GPT-4o (4.0 vs 4.2)
💡 Под капотом:
• Архитектура Ovis (Open Vision System)
• Поддержка генерации 1024×1024 с CFG
Хорошая маленькая, но мощная моделька, выйдает достойные генерации на демке.
🟠 Попробовать: https://huggingface.co/spaces/AIDC-AI/Ovis-U1-3B
🟠 Модель: https://huggingface.co/AIDC-AI/Ovis-U1-3B
@ai_machinelearning_big_data
#Alibaba #opensource
🧠 Поддерживает:
• Понимание изображений (Image-to-Text )
• Генерация картинок по описанию (Text-to-Image)
• Интерактивное редактирование изображений (Inpainting по тексту)
⚙️ Размер: всего 3B параметров
📊 Производительность:
• 69.6 баллов в OpenCompass (выше, чем у Qwen 2.5 и Ovis-2)
• GenEval Accuracy: 0.89 — превосходит GPT-4o
• ImgEdit-Bench: почти на уровне GPT-4o (4.0 vs 4.2)
💡 Под капотом:
• Архитектура Ovis (Open Vision System)
• Поддержка генерации 1024×1024 с CFG
Хорошая маленькая, но мощная моделька, выйдает достойные генерации на демке.
@ai_machinelearning_big_data
#Alibaba #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
База про архитектурные особенности современных LLM
📝 Кто такие эти ваши LLM?
По сути, LLM — это всего лишь крупный (с большим количеством параметров) transformer decoder, который был дообучен на инструкционном датасете.
✨Ребята из финтеха Точка хорошо разобрали архитектурные особенности современных LLM в своём канале. Если кратко, вот конспект:
• Rotary Positional Encoding (RoPE) — помогает работать с длинным контекстом без потери качества.
• RMSNorm вместо LayerNorm — быстрее и проще в вычислении.
• Sliding Window, Grouped-Query или Multi-Query Attention — ускоряют работу за счёт меньшего количества параметров.
• Модель может использовать Mixture-of-Experts — увеличивая параметры без роста сложности вычислений.
Если подробнее, читайте их пост ниже или по ссылке:
Читать весь пост
А чтобы полностью разобраться в архитектуре LLM и тонкостях её обучения, подписывайтесь на канал .ml. Часть особенностей уже разобрали в постах, а часть — ещё на подходе.
Реклама «АО Точка», tochka.com, 18+, erid=2VtzquX2Y9U
📝 Кто такие эти ваши LLM?
По сути, LLM — это всего лишь крупный (с большим количеством параметров) transformer decoder, который был дообучен на инструкционном датасете.
✨Ребята из финтеха Точка хорошо разобрали архитектурные особенности современных LLM в своём канале. Если кратко, вот конспект:
• Rotary Positional Encoding (RoPE) — помогает работать с длинным контекстом без потери качества.
• RMSNorm вместо LayerNorm — быстрее и проще в вычислении.
• Sliding Window, Grouped-Query или Multi-Query Attention — ускоряют работу за счёт меньшего количества параметров.
• Модель может использовать Mixture-of-Experts — увеличивая параметры без роста сложности вычислений.
Если подробнее, читайте их пост ниже или по ссылке:
Читать весь пост
А чтобы полностью разобраться в архитектуре LLM и тонкостях её обучения, подписывайтесь на канал .ml. Часть особенностей уже разобрали в постах, а часть — ещё на подходе.
Реклама «АО Точка», tochka.com, 18+, erid=2VtzquX2Y9U
Forwarded from .ml
Архитектура LLM
Что вообще такое эти ваши LLM и чем они отличаются от привычных трансформеров? Давайте разбираться.
Если пытаться дать определение, то LLM — это большая языковая модель, которая была обучена генерировать ответ на какую-либо инструкцию.
Тут два ключевых момента, не считая размер модели: то, что модель генеративная, и то, что она умеет принимать на вход какие-либо инструкции.
📝 Разбираемся с генеративностью
Какая часть трансформера умеет в генерацию текста? Правильно, декодер. Собственно, LLM — это просто жирный (с большим количеством параметров) transformer decoder.Или encoder-decoder, но это только у старых моделей, типа T5. Новые GPT-like архитектуры от энкодеров отошли.
Способность же принимать на вход инструкцию обусловлена пайплайном обучения модели, включая специфичные инструкционные данные, а не какими-либо архитектурными модификациями.
Особенность этого пайлайна — после этапа pre-train модели проводят этап alignment, дообучая модель на инструкционных датасетах. В таких датасете каждый сэмпл — это диалог человека с LLM, который может включать в себя системный промпт (как раз-таки инструкцию), сообщения от лица человека и сообщения от лица LLM, зачастую промаркированные на предмет «хорошести» ответа. Сейчас самые популярные инструкционные датасеты — это Nectar и UltraFeedback.
Итого, LLM — это просто здоровенный transformer decoder, дообученный на инструкционном датасете.
Если углубляться в детали, то популярными архитектурными особенностями современных LLM являются:
- Rotary Positional Encoding (RoPE) и его модификации в качестве позиционного кодирования — вот наш пост про это.
Почему? Помогает работать с более длинным контекстом без значимой потери качества.
- RMSNorm вместо LayerNorm для нормализации.
Почему? Работает сопоставимо по качеству, но проще (быстрее) вычислять — а скорость нам важна.
- Sliding Window, Grouped-Query или Multi-Query вместо ванильного Multi-Head Attention:
Почему? Чем меньше параметров, тем быстрее вычислять.
- Может использоваться Mixture-of-Experts, но это скорее частные случаи.
Почему? Увеличиваем количество параметров модели, не увеличивая при этом сложность вычислений (хоть и страдаем по памяти).
P.S.: если вы увидели много незнакомых слов — не переживайте, в следующих постах расскажем про то, как именно работают все эти навороты.
Эти же архитектурный особенности характерны и для негенеративных современных моделек: например, для энкодеров. Так что нельзя сказать, что это что-то LLM-специфичное — скорее архитектурная база любых современных трансформеров.
Что вообще такое эти ваши LLM и чем они отличаются от привычных трансформеров? Давайте разбираться.
Если пытаться дать определение, то LLM — это большая языковая модель, которая была обучена генерировать ответ на какую-либо инструкцию.
Тут два ключевых момента, не считая размер модели: то, что модель генеративная, и то, что она умеет принимать на вход какие-либо инструкции.
📝 Разбираемся с генеративностью
Какая часть трансформера умеет в генерацию текста? Правильно, декодер. Собственно, LLM — это просто жирный (с большим количеством параметров) transformer decoder.
Способность же принимать на вход инструкцию обусловлена пайплайном обучения модели, включая специфичные инструкционные данные, а не какими-либо архитектурными модификациями.
Особенность этого пайлайна — после этапа pre-train модели проводят этап alignment, дообучая модель на инструкционных датасетах. В таких датасете каждый сэмпл — это диалог человека с LLM, который может включать в себя системный промпт (как раз-таки инструкцию), сообщения от лица человека и сообщения от лица LLM, зачастую промаркированные на предмет «хорошести» ответа. Сейчас самые популярные инструкционные датасеты — это Nectar и UltraFeedback.
Итого, LLM — это просто здоровенный transformer decoder, дообученный на инструкционном датасете.
Если углубляться в детали, то популярными архитектурными особенностями современных LLM являются:
- Rotary Positional Encoding (RoPE) и его модификации в качестве позиционного кодирования — вот наш пост про это.
Почему? Помогает работать с более длинным контекстом без значимой потери качества.
- RMSNorm вместо LayerNorm для нормализации.
Почему? Работает сопоставимо по качеству, но проще (быстрее) вычислять — а скорость нам важна.
- Sliding Window, Grouped-Query или Multi-Query вместо ванильного Multi-Head Attention:
Почему? Чем меньше параметров, тем быстрее вычислять.
- Может использоваться Mixture-of-Experts, но это скорее частные случаи.
Почему? Увеличиваем количество параметров модели, не увеличивая при этом сложность вычислений (хоть и страдаем по памяти).
Эти же архитектурный особенности характерны и для негенеративных современных моделек: например, для энкодеров. Так что нельзя сказать, что это что-то LLM-специфичное — скорее архитектурная база любых современных трансформеров.