@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤2🔥2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤2🔥2
Forwarded from Machinelearning
⚡ LitGPT
20+ производительных LLM, написанных с нуля, с подробным описанием, инструкциями, файнтюнигу и деплою.
Особенности:
🟢 Модели написаны с нуля
🟢 Нет абстракций
🟢 Подходит для обучения новичков
🟢 Flash attention
🟢 FSDP
🟢 LoRA, QLoRA, Adapter
🟢 Уменьшение памяти GPU (fp4/8/16/32)
🟢 1-1000+ GPU/TPUs
🟢 20+ LLMs
Установка:
Пример:
▪Github
▪Docs
▪Video
@ai_machinelearning_big_data
#LitGPT #tutorial #llm #ai #ml
20+ производительных LLM, написанных с нуля, с подробным описанием, инструкциями, файнтюнигу и деплою.
Особенности:
Установка:
pip install 'litgpt[all]'
Пример:
from litgpt import LLM
llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the familly goes to the mountains.")
print(text)
# Corrected Sentence: Every fall, the family goes to the mountains.
▪Github
▪Docs
▪Video
@ai_machinelearning_big_data
#LitGPT #tutorial #llm #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥3❤2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤4👏1
Forwarded from Machinelearning
Mixture-of-Mamba — экспериментальная архитектура, которая делает мультимодальные модели (работающие с разными типами данных, например, текстом, изображениями и речью) более эффективными и быстрыми. Она использует идею разреженности, чтобы уменьшить количество вычислений, сохраняя при этом высокое качество работы модели.
Разреженность — это подход, при котором модель фокусируется только на приоритетных данных, игнорируя менее значимые. Это похоже на то, как человек читает текст: мы не вникаем в каждую букву, а схватываем ключевые слова и фразы. В ML разреженность позволяет: уменьшить вычислительные затраты, ускорить обучение и инференс, повысить качество.
Mixture-of-Mamba добавляет модально-ориентированную разреженность в блоки Mamba и динамически выбирает модально-специфичные веса в каждом компоненте обработки ввода блоков Mamba.
В отличие от MoE-Mamba, где разреженность применяется только к MLP-слоям, Mixture-of-Mamba модифицирует непосредственно структуру блока Mamba. Модально-специфичная параметризация применяется к входной проекции, промежуточным и выходной проекциям. Сверточные слои и переходы состояний остаются общими.
Обучение Mixture-of-Mamba происходит в 3 модальных режимах: Transfusion (чередование текста и непрерывных токенов изображений с диффузионной потерей), Chameleon (чередование текста и дискретных токенов изображений) и расширенная трехмодальная среда со включением речи.
В Transfusion Mixture-of-Mamba достигает эквивалентных значений потерь для изображений, используя при этом лишь 34.76% от общего объема вычислительных ресурсов (FLOPs) при масштабе модели 1.4B. В сценарии Chameleon аналогичный уровень потерь при обработке изображений при использовании 42.50% FLOPs, а при обработке текстовых данных – 65.40% FLOPs. В трехмодальной среде Mixture-of-Mamba показывает потери в речевом режиме при 24.80% FLOPs на масштабе 1.4B.
@ai_machinelearning_big_data
#AI #ML #MMLM #Mamba #MixtureOfMamba
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🔥2
⚡️ OmniHuman-1 - новая ИИ-модель генерации видео от китайской компании ByteDance
Все видео были сгенерированы из одного входного изображения и одной аудио дорожки.
По сравнению с существующими методами OmniHuman не только создает более реалистичные видео, но и обеспечивает большую гибкость в управлением генерацией.
https://huggingface.co/papers/2502.01061
Все видео были сгенерированы из одного входного изображения и одной аудио дорожки.
По сравнению с существующими методами OmniHuman не только создает более реалистичные видео, но и обеспечивает большую гибкость в управлением генерацией.
https://huggingface.co/papers/2502.01061
👍12❤4🔥3
OpenAI o3-mini - Thinking AI for Free…For Everyone!
https://www.youtube.com/watch?v=oKx2xQQl--Q
@machinelearning_ru
https://www.youtube.com/watch?v=oKx2xQQl--Q
@machinelearning_ru
YouTube
OpenAI o3-mini - Thinking AI for Free…For Everyone!
❤️ Check out Weights & Biases and sign up for a free demo here: https://wandb.me/papers
o3 mini: https://openai.com/index/openai-o3-mini/
OpenAI Deep Research: https://openai.com/index/introducing-deep-research/
🤝 Interested in sponsoring us? Click here:…
o3 mini: https://openai.com/index/openai-o3-mini/
OpenAI Deep Research: https://openai.com/index/introducing-deep-research/
🤝 Interested in sponsoring us? Click here:…
👍4❤2🔥2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7👎2👏2❤1🔥1
Когда Smol становится big: Обучение небольшой языковой модели, ориентированной на данные.
https://huggingface.co/papers/2502.02737
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍2🔥2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤1👍1
🎯 Google DeepMind AlphaGeometry2 превзошел среднего золотого медалиста в решении олимпиадных задач по геометрии!
AG2 достигает 84% уровня решения геометрических задач IMO 2000-2024 гг.
Еще полгода назад он был на уровне серебра. Теперь он на уровне золота.
При таких темпах ни один человек не сможет угнаться за ИИ.
https://huggingface.co/papers/2502.03544
@machinelearning_ru
AG2 достигает 84% уровня решения геометрических задач IMO 2000-2024 гг.
Еще полгода назад он был на уровне серебра. Теперь он на уровне золота.
При таких темпах ни один человек не сможет угнаться за ИИ.
https://huggingface.co/papers/2502.03544
@machinelearning_ru
🔥9👍5🥰2
Forwarded from Machinelearning
OpenAI планирует создать местную команду, которая будет заниматься продажами, развитием, коммуникациями, лоббированием и укрепить связи с немецкими университетами. По словам Сэма Альтмана, репутация Германии в области технического совершенства и промышленных инноваций сделала ее естественным выбором для расширения OpenAI. Германия - один из ключевых рынков OpenAI , а за последний год количество платных пользователей ChatGPT в Германии увеличилось в три раза.
heise.de
Объединенные Арабские Эмираты и Франция подписали соглашение о строительстве масштабного ИИ-кампуса с ЦОД мощностью в 1 гигаватт. Проект потребует инвестиций в размере от 30 до 50 миллиардов евро и станет крупнейшим объектом такого рода в Европе.
Проект кампуса, подписанный президентом Франции и президентом ОАЭ будет разработан консорциумом французских и эмиратских компаний, с участием инвестиционного фонда MGX. Точное местоположение объекта еще не определено.
france24.com
ИИ AlphaGeometry2, улучшенная версия системы AlphaGeometry, превзошла среднего золотого медалиста в решении задач по геометрии на международном математическом конкурсе. DeepMind утверждает, что их ИИ может решить 84% всех олимпиадных задач по геометрии за последние 25 лет.
AlphaGeometry2 состоит из языковой модели из семейства Gemini и "символьного движка". Модель Gemini помогает символьному движку, который использует математические правила для вывода решений задач, приходить к возможным доказательствам для целевой теоремы. AlphaGeometry2 считает проблему "решенной", когда приходит к доказательству, которое объединяет предположения Gemini с принципами символьного движка. DeepMind создала свои собственные синтетические данные для обучения AlphaGeometry2, сгенерировав более 300 миллионов теорем и доказательств различной сложности.
techcrunch.com
Новая функция Microsoft Edge на базе ИИ работает на компьютерах с Windows. Она способна выявлять и блокировать существующие мошеннические схемы и обнаруживать новые благодаря локальной модели машинного обучения.
Когда обнаруживается мошенничество, Microsoft Edge автоматически выходит из полноэкранного режима, который пытаются навязать вредоносные сайты, останавливает воспроизведение аудио и предупреждает пользователя миниатюрой просматриваемой страницы. После этого пользователь может сообщить о сайте, чтобы его добавили в службу Microsoft Defender SmartScreen.
Функция блокировки теперь доступна в предварительной версии в последней стабильной ветке браузера. Чтобы получить доступ к этой функции, необходимо вручную включить блокировку scareware в настройках конфиденциальности Edge и перезапустить браузер. Модель машинного обучения, используемая для блокировки, работает локально, не сохраняя и не отправляя данные в Microsoft.
theverge.com
Компания разработала систему, способную анализировать мозговую активность человека во время набора текста и определять, какие клавиши он нажимает, основываясь только на мыслях. Система использует магнитно-энцефалографический сканер для сбора сигналов, производимых в коре головного мозга.
Несмотря на то, что система способна определять буквы с точностью до 80%, она далека от коммерческого применения из-за своего размера, стоимости в 2 миллиона долларов и необходимости работы в экранированной комнате. Разработчики рассматривают ее как фундаментальное исследование принципов интеллекта, которое может быть использовано для создания более мощных систем искусственного интеллекта, способных учиться и рассуждать, как люди.
technologyreview.com
🤗 Kokoro
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤3👍3
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥2