Psy Eyes

Взглянем, что нового в демократизации доступа к AI.

DistriFusion: ускоряем с помощью распараллеливания генерацию изображений без значительного ухудшения в качестве. Чем выше разрешение, тем больше прирост в скорости. Нечто похожее на эту распределёнку.

Qualcomm: выпустили сразу 95 моделей с фокусом на работу на мобильных устройствах (смартфоны, IoT, XR). У каждой модели узкая специализация: апскейлинг, сегментация, генерация текста, итд. Другой важный анонс от Qualcomm в следующем посте.

GaLore: подход для тренировки 7B моделей на одной видюхе с 24ГБ VRAM. В отличие от трени LoRA моделей, здесь нет потери параметров и минимизировано потребление памяти, в то время как производительность и эффективность показывают высокие результаты.

Fuyou: если 7В мало, то ловим фреймфворк для эффективного файнтюна 100В+ моделей на бюджетных видюхах. Работает через оптимизацию NVMe SSDs —> CPU коммуникации ради максимального использования видюхой компьютерных мощностей и обмена данными.

Microsoft: представили метод BitNet для тренировки 1-битных моделей, которые значительно менее прожорливы, чем крупные, но при этом быстрее и не уступают в качестве. Данное исследование имеет наибольше количество голосов из всех бумаг на хаггинге. Код скоро опубликуют.

DiPaCO: подход асинхронной распределённой тренировки с фокусом на поддержания работоспособности даже, когда какие-то из нод выдают ошибки или падают.

Hugging Face: опубликовали исследование Embedding Quantization, об использовании бинарной и скалярной квантизации для уменьшения в разы потребления оперативной и дисковой памяти, сократив расходы, при этом не жертвуя производительностью. (спс @nameusert2)

Эмад покинул Stability AI, а перед этим ушли три ключевых сотрудника (сейчас совет директоров ищет временного CEO). Из твиттера читается, что он будет двигаться в сторону децентрализованного AI и похоже в связке с блокчейн. Он не раз высказывал интерес к уходу от централизации и распредёлнному запуску моделей, а также рою мелких AI на телефоне для решения задач. Посмотрим.

www.tgoop.com/Psy_Eyes/1562

1.5K viewsAndrey Bezryadin, Mar 27, 2024 at 19:18

Взглянем, что нового в демократизации доступа к AI.

DistriFusion: ускоряем с помощью распараллеливания генерацию изображений без значительного ухудшения в качестве. Чем выше разрешение, тем больше прирост в скорости. Нечто похожее на эту распределёнку.

Qualcomm: выпустили сразу 95 моделей с фокусом на работу на мобильных устройствах (смартфоны, IoT, XR). У каждой модели узкая специализация: апскейлинг, сегментация, генерация текста, итд. Другой важный анонс от Qualcomm в следующем посте.

GaLore: подход для тренировки 7B моделей на одной видюхе с 24ГБ VRAM. В отличие от трени LoRA моделей, здесь нет потери параметров и минимизировано потребление памяти, в то время как производительность и эффективность показывают высокие результаты.

Fuyou: если 7В мало, то ловим фреймфворк для эффективного файнтюна 100В+ моделей на бюджетных видюхах. Работает через оптимизацию NVMe SSDs —> CPU коммуникации ради максимального использования видюхой компьютерных мощностей и обмена данными.

Microsoft: представили метод BitNet для тренировки 1-битных моделей, которые значительно менее прожорливы, чем крупные, но при этом быстрее и не уступают в качестве. Данное исследование имеет наибольше количество голосов из всех бумаг на хаггинге. Код скоро опубликуют.

DiPaCO: подход асинхронной распределённой тренировки с фокусом на поддержания работоспособности даже, когда какие-то из нод выдают ошибки или падают.

Hugging Face: опубликовали исследование Embedding Quantization, об использовании бинарной и скалярной квантизации для уменьшения в разы потребления оперативной и дисковой памяти, сократив расходы, при этом не жертвуя производительностью. (спс @nameusert2)

Эмад покинул Stability AI, а перед этим ушли три ключевых сотрудника (сейчас совет директоров ищет временного CEO). Из твиттера читается, что он будет двигаться в сторону децентрализованного AI и похоже в связке с блокчейн. Он не раз высказывал интерес к уходу от централизации и распредёлнному запуску моделей, а также рою мелких AI на телефоне для решения задач. Посмотрим.

BY Psy Eyes