⭐️ Яндекс выложил в опенсорс свою библиотеку YaFSDP
Это библиотека для обучения больших языковых моделей с открытым исходным кодом, которая позволяет ускорить их обучение до 25%, а также тратить до 20% меньше ресурсов графических процессоров.
Использование библиотеки даёт существенный выигрыш в производительности и потреблении памяти: YaFSDP позволяет использовать ровно столько памяти процессоров, сколько необходимо, а коммуникацию между GPU в сети при этом ничего не тормозит.
https://habr.com/ru/companies/yandex/articles/817509/
@bigdatai
Это библиотека для обучения больших языковых моделей с открытым исходным кодом, которая позволяет ускорить их обучение до 25%, а также тратить до 20% меньше ресурсов графических процессоров.
Использование библиотеки даёт существенный выигрыш в производительности и потреблении памяти: YaFSDP позволяет использовать ровно столько памяти процессоров, сколько необходимо, а коммуникацию между GPU в сети при этом ничего не тормозит.
https://habr.com/ru/companies/yandex/articles/817509/
@bigdatai
👍4🔥3🥰1
Он содержит данные о 15 939 персонажах из самых разных источников, от аниме до исторических личностей, ученых и популярных персонажей, как вымышленных, так и не вымышленных!
Скачать на HuggingFace: https://huggingface.co/datasets/NousResearch/CharacterCodex
Потенциальные варианты использования - это использование для генерации синтетических данных, анализа данных о ролевых играх и многого другого.
https://huggingface.co/datasets/NousResearch/CharacterCodex
#датасет
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤2👍2
Вышел Stable Diffusion 3 - самый мощный бесплатный генератор картинок!
https://youtu.be/k3QNJBpDe7o
@bigdatai
https://youtu.be/k3QNJBpDe7o
@bigdatai
YouTube
Вышел Stable Diffusion 3 - самый мощный бесплатный генератор картинок!
⚡️ Встречайте Stable Diffusion 3!
⚡️https://www.tgoop.com/ai_machinelearning_big_data - наш канал, для всех, кто любит машинное обучение и data science
⚡️https://www.tgoop.com/+ANhw-uaOaYs1Mjky - это база с 1900 вопросами с собеседований по анализу данных, машинному обучению…
⚡️https://www.tgoop.com/ai_machinelearning_big_data - наш канал, для всех, кто любит машинное обучение и data science
⚡️https://www.tgoop.com/+ANhw-uaOaYs1Mjky - это база с 1900 вопросами с собеседований по анализу данных, машинному обучению…
👍2🔥1😁1
⚡️ Recap-DataComp-1B - это крупномасштабный набор графических и текстовых данных, который был восстановлен с использованием усовершенствованной модели LLaVA-1.5-LLaMA3-8B для повышения согласованности и детализации текстовых описаний.
▪data: https://huggingface.co/datasets/UCSC-VLAA/Recap-DataComp-1B
▪proj: https://haqtu.me/Recap-Datacomp-1B/
▪abs: https://arxiv.org/abs/2406.08478
@bigdatai
▪data: https://huggingface.co/datasets/UCSC-VLAA/Recap-DataComp-1B
▪proj: https://haqtu.me/Recap-Datacomp-1B/
▪abs: https://arxiv.org/abs/2406.08478
@bigdatai
❤2🔥2👍1
⚡️ Open VLA: Vision-Language модель с открытым исходным кодом
статья: https://arxiv.org/abs/2406.09246
страница проекта: https://openvla.github.io
код: https://github.com/openvla/openvla
Open VIA, модель открытым исходным кодом с параметрами 7B, отлаженную в Llama-2 в сочетании с визуальным кодером, который объединяет предварительно подготовленные функции из DINOv2 и SigLIP.
Она обучена на 970 тысячах эпизодов с роботами из открытого набора данных X-Embodion.
Модель превосходит 55B-param RT-2-X с закрытым исходным кодом на 16,5% по абсолютному показателю успешности выполнения задач в 29 задачах и нескольких вариантах робота, при этом его параметры в 7 раз меньше.
@bigdatai
статья: https://arxiv.org/abs/2406.09246
страница проекта: https://openvla.github.io
код: https://github.com/openvla/openvla
Open VIA, модель открытым исходным кодом с параметрами 7B, отлаженную в Llama-2 в сочетании с визуальным кодером, который объединяет предварительно подготовленные функции из DINOv2 и SigLIP.
Она обучена на 970 тысячах эпизодов с роботами из открытого набора данных X-Embodion.
Модель превосходит 55B-param RT-2-X с закрытым исходным кодом на 16,5% по абсолютному показателю успешности выполнения задач в 29 задачах и нескольких вариантах робота, при этом его параметры в 7 раз меньше.
@bigdatai
🔥2❤1👍1
SirixDB имеет облегченный буфер-менеджер, способный хранить ссылки на страницы in-memory.
SirixDB представляет собой структурированное хранилище временных документов и хранит истории всех ресурсов в компактной форме.
Процессор запросов поддерживает сложные запросы, связанные с разными временными диапазонами.
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1
🔥 CinePile - это набор данных для понимания видео, основанный на вопросах и ответах. Он был создан с использованием передовых моделей большого языка (LLM). Он состоит примерно из 300 000 точек данных для обучения и 5000 точек данных для тестирования. 300 тысяч обучающих и 5 тысяч тестовых фрагментов. A
📃 : https://arxiv.org/abs/2405.08813
🤗 : https://huggingface.co/datasets/tomg-group-umd/cinepile
📃 : https://arxiv.org/abs/2405.08813
🤗 : https://huggingface.co/datasets/tomg-group-umd/cinepile
❤1👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Apple релизнули модель 4M-21.
Это довольно эффективная мультимодальная модель, которая решает десятки задач и работет для разных модальностей.
Применение многозадачного обучения в мультимодальных моделях действительно продвинулось на шаг вперед. Мы можем обучить одну модель множеству разнообразных задач с высокой точностью.
🌐 https://4m.epfl.ch
⌨️ https://github.com/apple/ml-4m/
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2💩2❤1🔥1
⚡️ gui-world: Набор данных ориентированных на работу с GUI интерфейс мультимодальных агентов на базе LLM
Набор данных из 12 тысяч высококачественных разнообразных GUI.
▪proj: https://gui-world.github.io
▪abs: https://arxiv.org/abs/2406.10819
@bigdatai
Набор данных из 12 тысяч высококачественных разнообразных GUI.
▪proj: https://gui-world.github.io
▪abs: https://arxiv.org/abs/2406.10819
@bigdatai
👍4🔥2❤1
⚡️ Microsoft только что выпустили модель Florence
Модель уровня с параметрами SOTA 200M и 800M ! 🔥
> Лицензия MIT! 🤯
> Модель, которая превосходит Flamingo 80B (модель в 400 раз больше) с огромным отрывом
> Ссоздание субтитров, распознавание объектов и сегментацию, распознавание текста, расшифровку фраз и многое другое
> Набор данных FLD-5B - 5,4 миллиарда аннотаций на 126 миллионах изображений
> Многозадачное обучение
> > Точно настроенные модели, которые превосходят такие, как PaLI, PaLI-X
https://huggingface.co/collections/microsoft/florence-6669f44df0d87d9c3bfb76de
@bigdatai
Модель уровня с параметрами SOTA 200M и 800M ! 🔥
> Лицензия MIT! 🤯
> Модель, которая превосходит Flamingo 80B (модель в 400 раз больше) с огромным отрывом
> Ссоздание субтитров, распознавание объектов и сегментацию, распознавание текста, расшифровку фраз и многое другое
> Набор данных FLD-5B - 5,4 миллиарда аннотаций на 126 миллионах изображений
> Многозадачное обучение
> > Точно настроенные модели, которые превосходят такие, как PaLI, PaLI-X
https://huggingface.co/collections/microsoft/florence-6669f44df0d87d9c3bfb76de
@bigdatai
👍3❤1🔥1
🔥 From Pixels to Prose: A Large Dataset of Dense Image Captions
Pixel Prose содержит более 16 миллионов разнообразных изображений, полученных из трех различных веб-баз данных (commonPool, CC12M, RedCaps), с подписями, созданными с помощью Google Gemini 1.0 Pro Vision.
▪abs: https://arxiv.org/abs/2406.10328
▪датасет: https://huggingface.co/datasets/tomg-group-umd/pixelprose
@bigdatai
Pixel Prose содержит более 16 миллионов разнообразных изображений, полученных из трех различных веб-баз данных (commonPool, CC12M, RedCaps), с подписями, созданными с помощью Google Gemini 1.0 Pro Vision.
▪abs: https://arxiv.org/abs/2406.10328
▪датасет: https://huggingface.co/datasets/tomg-group-umd/pixelprose
@bigdatai
❤1👍1🔥1
wget https://raw.githubusercontent.com/matrixorigin/mo_ctl_standalone/main/install.sh && sudo -u $(whoami) bash +x ./install.sh
mo_ctl set_conf MO_PATH="yourpath" # Set custom MatrixOne download path
mo_ctl set_conf MO_DEPLOY_MODE=git # Set MatrixOne deployment method
MatrixOne — это гиперконвергентная облачная распределенная БД со структурой, которая разделяет хранение, вычисления и транзакции, образуя единый движок данных HSTAP.
Этот механизм позволяет единой системе баз данных справляться с различными бизнес-нагрузками, такими как OLTP, OLAP и потоковые вычисления.
MatrixOne поддерживает развертывание и использование в публичных и частных облаках, обеспечивая совместимость с различными инфраструктурами.
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤1🔥1
NVIDIA’s AI: Virtual Worlds, Now 10,000x Faster!
https://www.youtube.com/watch?v=g5Vo2EiEFnA
@bigdatai
https://www.youtube.com/watch?v=g5Vo2EiEFnA
@bigdatai
YouTube
NVIDIA’s AI: Virtual Worlds, Now 10,000x Faster!
❤️ Check out Microsoft Azure AI and try it out for free:
https://azure.microsoft.com/en-us/solutions/ai
📝 The paper "Factory: Fast Contact for Robotic Assembly" is available here:
https://sites.google.com/nvidia.com/factory/
📝 My paper on simulations that…
https://azure.microsoft.com/en-us/solutions/ai
📝 The paper "Factory: Fast Contact for Robotic Assembly" is available here:
https://sites.google.com/nvidia.com/factory/
📝 My paper on simulations that…
👍2❤1🔥1
⚡️ BigCodeBench: Большой бенчмарк для тестирование сгенерированного кода с использованием различных функций и сложных инструкций.
BigCodeBench бенчмарк, который содежит 139 библиотек и 7 доменов для решения 1140 сложных задач программирования".
▪abs: https://arxiv.org/abs/2406.15877
▪страница: https://bigcode-bench.github.io
@bigdatai
BigCodeBench бенчмарк, который содежит 139 библиотек и 7 доменов для решения 1140 сложных задач программирования".
▪abs: https://arxiv.org/abs/2406.15877
▪страница: https://bigcode-bench.github.io
@bigdatai
👍3❤2🔥2
⚡️ Перевод экрана приложения на русский по двойному тапу
На Хабре появилась статья с простым способом настроить перевод экрана приложений на русский язык. Он работает на айфоне и поможет переводить экраны любых приложений с незнакомых языков на русский всего лишь по одному двойному тапу.
▪️ https://habr.com/ru/companies/yandex/posts/824706
@bigdatai
На Хабре появилась статья с простым способом настроить перевод экрана приложений на русский язык. Он работает на айфоне и поможет переводить экраны любых приложений с незнакомых языков на русский всего лишь по одному двойному тапу.
▪️ https://habr.com/ru/companies/yandex/posts/824706
@bigdatai
❤4👍1