Открытый код ФКН ВШЭ

Guide-and-rescale

Код, позволяющий тренировать и инференсить диффузионную модель, способную редактировать изображение по текстовому запросу. В своей работе авторы исследуют метод гайденса для модели, благодаря которой траектория, вдоль которой семплируюется шум в диффузионной модели, не выходит из реального распределения данных. Это, в свою очередь, позволяет получить качественные и реалистичные изображения. Для достижения результата авторы вводят специальные энергетические функции, сохраняющие локальные свойства объектов на изображениях. Исследователи утверждают, что их подход эффективен с точки зрения вычислений, а так же показывают в ряде экспериментов его состоятельность. Код может быть полезен DL-исследователям, Data Science специалистам и ML-инженерам.

статья | код

GitHub

GitHub - MACderRu/Guide-and-Rescale: Official Implementation for "Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning…

Official Implementation for "Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing" - MACderRu/Guide-and-Rescale

www.tgoop.com/hse_cs_opensource/49

894 viewsedited  Oct 25 at 09:14

Guide-and-rescale

Код, позволяющий тренировать и инференсить диффузионную модель, способную редактировать изображение по текстовому запросу. В своей работе авторы исследуют метод гайденса для модели, благодаря которой траектория, вдоль которой семплируюется шум в диффузионной модели, не выходит из реального распределения данных. Это, в свою очередь, позволяет получить качественные и реалистичные изображения. Для достижения результата авторы вводят специальные энергетические функции, сохраняющие локальные свойства объектов на изображениях. Исследователи утверждают, что их подход эффективен с точки зрения вычислений, а так же показывают в ряде экспериментов его состоятельность. Код может быть полезен DL-исследователям, Data Science специалистам и ML-инженерам.

статья | код

BY Открытый код ФКН ВШЭ