Forwarded from Machinelearning
Bamba-9B - модель, разработанная IBM, Princeton, CMU и UIUC на основе полностью открытых данных. Модель демонстрирует улучшение пропускной способности в 2.5 раза и снижение задержки инференса в 2 раза по сравнению с Transformers в vLLM. Bamba-9B доступна для использования в HF Transformers, vLLM, TRL и llama.cpp.
Bamba-9B использует уникальный распределенный, не сохраняющий состояние data loader, обеспечивающий бесшовное возобновление работы, автоматическое масштабирование, потоковую передачу данных с zero-overhead for shuffling.
Модель основана на архитектуре NVIDIA hybrid Mamba2, но с некоторыми изменениями. Bamba-9B имеет 32 слоя, из которых 3 полноценных слоя внимания и 29 слоев Mamba2, в то время как NVIDIA hybrid Mamba2 имеет 29 слоев, из которых 4 слоя внимания и 25 слоев Mamba2.
Bamba-9B была обучена на 2.2T токенов с датасетом Dolma v1.7 на первом этапе и FineWeb-edu и Cosmopedia на втором.
По проведенным замерам, средняя производительность Bamba-9B почти сравнима с Llama 3.1 8B (45.53 против 44.68), при том что Llama 3.1 8B была обучена на 7x большем объеме данных.
Bamba-9B превзошла Olmo 7B, обученную на идентичном количестве токенов и наборах данных. В сравнении с другими моделями на базе Mamba/Mamba2, Bamba-9B показывает хорошие результаты, при этом обеспечивая значительное улучшение (до 5x) эффективности логического вывода.
llm-compressor
версия Bamba 9Bllm-compressor
версия Bamba 9B 2Тllm-compressor
версия Bamba 9B 1.8Тfrom transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("ibm-fms/Bamba-9B")
tokenizer = AutoTokenizer.from_pretrained("ibm-fms/Bamba-9B")
message = ["Mamba is a snake with following properties "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])
@ai_machinelearning_big_data
#AI #ML #LLM #Bamba #IBM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥2👍1
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤1
Media is too big
VIEW IN TELEGRAM
⚡️ Математика машинного обучения.Базовые понятия тензорного исчисления. Урок 3
📌 Видео
📌 Урок 1 / Урок2
📌 Colab
📌 Видео
📌 Урок 1 / Урок2
📌 Colab
🔥6👍2🥰1
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤2🔥2
Блогер Zara Dar, известная своими объяснениями математики и машинного обучения, решила отказаться от защиты докторской диссертации ради работы на платформе OnlyFans. Ранее она занималась этим проектом как хобби, однако со временем доходы от OnlyFans стали настолько значительными, что позволили ей приобрести автомобиль, дом и продолжить обучение без необходимости брать студенческий кредит.
Основная причина этого решения заключается в том, что получение докторской степени могло бы привести к жизни с относительно невысоким доходом и обязанностью выполнять работу, которая не всегда приносит удовольствие.
@machinelearning_ru
Основная причина этого решения заключается в том, что получение докторской степени могло бы привести к жизни с относительно невысоким доходом и обязанностью выполнять работу, которая не всегда приносит удовольствие.
@machinelearning_ru
😢19😁14❤11👍3👎3🔥3🎉2
Media is too big
VIEW IN TELEGRAM
📹 Новый искусственный интеллект генерация сверхвысового разреешения - работает на 10 x быстрее
📌 Источник
@machinelearning_ru
📌 Источник
@machinelearning_ru
👍6🔥3❤2👎1
Forwarded from Machinelearning
CAD-Recode - модель для преобразования облака точек в последовательность эскизов и экструзии, записанных как код Python с использованием библиотеки CadQuery. CAD-Recode способен создавать точные CAD модели с минимальным количеством входных точек, а возможность редактирования кода с помощью LLM открывает новые возможности для интерактивного изменения геометрии САПР-моделей.
CAD-Recode состоит из двух частей: проектора, который переводит облака точек в данные для обработки, и LLM на основе Qwen2-1.5B, в которой был сохранен оригинальный токенизатор и добавлен один дополнительный линейный слой.
Модель обучалась на 1 млн. CAD-моделей. Качество обучения модели оценивалось по 3 показателям: расстоянию Хаусдорфа (CD), пересечению над объединением (IoU) и доле неверных результатов (IR).
Эксперименты с полученной моделью проводились на 3 датасетах: DeepCAD, Fusion360 и CC3D.
CAD-Recode показал значительное улучшение по сравнению с другими методами, достигнув медианного CD в 0.168 на DeepCAD и 0.159 на Fusion360. CAD-Recode продемонстрировал 76.5% точность при ответе на вопросы по САПР (CAD-QA) при использовании GPT-4o.
В репозитории проекта на Github доступна простая демонстрация инференса CAD-Recode. Перед использованием необходимо установить пакеты в соответствии с Dockerfile и затем запустить demo.ipynb в jupyter.
@ai_machinelearning_big_data
#AI #ML #LLM #CADRecode
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍2
Свежий мини-курс по работе с моделями типа O1 и другими «reasoning»-моделями.
Это официальный гайд по промптингу, созданный в сотрудничестве с OpenAI и ключевым разработчиком Колином Джарвисом (главой подразделения решений в области искусственного интеллекта).
Курс научит вас новым важным техникам для модификации запросов, выполнения планов, генерации кода, рассуждений и многого другого.
Он поможет улучшить ответы нейросети O1, ведь стандартные методы промпт-инжиниринга зачастую приводят к ухудшению качества ответов.
Гайды разработаны при участии OpenAI, поэтому им можно доверять:
https://www.deeplearning.ai/short-courses/reasoning-with-o1/
Это официальный гайд по промптингу, созданный в сотрудничестве с OpenAI и ключевым разработчиком Колином Джарвисом (главой подразделения решений в области искусственного интеллекта).
Курс научит вас новым важным техникам для модификации запросов, выполнения планов, генерации кода, рассуждений и многого другого.
Он поможет улучшить ответы нейросети O1, ведь стандартные методы промпт-инжиниринга зачастую приводят к ухудшению качества ответов.
Гайды разработаны при участии OpenAI, поэтому им можно доверять:
https://www.deeplearning.ai/short-courses/reasoning-with-o1/
👍3❤2🔥1
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
😁17🤩6👍4❤2🔥1
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤1🔥1
🔥 Мультимодальность, открытый код и гиперперсонализация вошли в тройку ИИ-трендов следующего года.
Эксперты отрасли рассказали, что в ближайшем будущем модели будут двигаться в сторону ориентирования сразу на несколько форматов данных — текст, изображения, аудио и видео. Опенсорс продолжит развиваться — разработчики будут использовать открытый код и выкладывать новые модели в Open Source.
По словам специалиста Яндекса, уровень развития опенсорса уже сейчас достаточно высок, особенно это заметно в области LLM с открытым кодом. IT-компании во всем мире применяют собственные знания вместе с опенсорс-решениями, подстраивая их под потребности бизнеса и пользователей.
Кроме того, в списке трендов — автономные системы, гибридные подходы ИИ и интеграция ИИ в повседневную жизнь.
📌 Источник
@machinelearning_ru
Эксперты отрасли рассказали, что в ближайшем будущем модели будут двигаться в сторону ориентирования сразу на несколько форматов данных — текст, изображения, аудио и видео. Опенсорс продолжит развиваться — разработчики будут использовать открытый код и выкладывать новые модели в Open Source.
По словам специалиста Яндекса, уровень развития опенсорса уже сейчас достаточно высок, особенно это заметно в области LLM с открытым кодом. IT-компании во всем мире применяют собственные знания вместе с опенсорс-решениями, подстраивая их под потребности бизнеса и пользователей.
Кроме того, в списке трендов — автономные системы, гибридные подходы ИИ и интеграция ИИ в повседневную жизнь.
📌 Источник
@machinelearning_ru
👍3🔥1
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥2
Forwarded from Machinelearning
OmniAudio - мультимодальная модель с 2.6 млрд. параметров, объединяющая в себе Gemma-2-2b, Whisper turbo и специализированный проекционный модуль для обработки аудио и текста на потребительских устройствах. В отличие от традиционных подходов, использующих последовательное соединение моделей ASR и LLM, OmniAudio, объединяет эти функции в единой архитектуре, минимизируя задержку инференса и потребление ресурсов.
OmniAudio применима в сценариях голосовых запросов в автономном режиме, ведения диалогов, генерации контента, создания кратких обзоров записей и модификации интонации голоса.
Например, можно задать вопрос "Как развести костер без спичек?" и получить полезные инструкции, не имея подключения к Интернет. Модель может поддержать беседу, если вы скажете "У меня сегодня был тяжелый день на работе", или сгенерировать хайку на тему осенних листьев. OmniAudio способна преобразовать обычную голосовую заметку в формальное сообщение, сохраняя при этом основную идею.
OmniAudio обучалась в три этапа:
Производительность модели была протестирована на потребительском оборудовании. На Mac Mini M4 Pro модель Qwen2-Audio-7B-Instruct, работающая на Transformers, достигла скорости декодирования 6.38 токенов в секунду.
В то же время OmniAudio через Nexa SDK показала 35.23 токенов в секунду в формате FP16 GGUF и 66 токенов в секунду в квантованном формате Q4_K_M GGUF.
Модель опубликовала в 4 вариантах квантования в формате GGUF:
⚠️ Разработчик рекомендует локальный инференс в Nexa-SDK, опенсорс-фреймворке на основе GGLM, написанный на C++ для инференса моделей разных модальностей.
⚠️ В качестве ориентира по планированию ресурсов: для запуска OmniAudio версии
q4_K_M
требуется 1.30GB RAM.@ai_machinelearning_big_data
#AI #ML #OmniAudio #NexaAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1🔥1