DeepSchool

Дистилляция диффузии. Часть 2

Сейчас диффузионные модели — лидеры по качеству и разнообразию генерации. Однако чаще всего они требуют большого количества шагов, что делает генерацию довольно медленной, например, в сравнении с GANs. Именно поэтому ускорение диффузионных моделей является важной задачей. Существует множество различных подходов для превращения 1000-шаговой диффузии в генератор, состоящий из нескольких шагов.

Недавно мы познакомились с понятием дистилляции диффузии и рассмотрели первые попытки её применения для ускорения. Однако эти работы не смогли добиться нужного качества и требовали значительных улучшений.

Сегодня мы рассмотрим несколько SOTA-работ, которые, в частности, использовались для ускорения известной SDXL Turbo. Познакомимся с основными методами и узнаем:
- что представляет собой Adversarial дистилляция с использованием GANs
- чем отличается Latent Adversarial Diffusion Distillation (LADD) от Adversarial Diffusion Distillation (ADD)
- и что такое Distribution Matching Distillation (DMD)

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/2-fa4241bac68749beafffa7ddffda41a0?pvs=4

DeepSchool on Notion

Дистилляция диффузии. Часть 2 | Notion

Автор: Нина Коновалова

www.tgoop.com/deep_school/433

5.7K viewsSep 17 at 13:55

Дистилляция диффузии. Часть 2

Сейчас диффузионные модели — лидеры по качеству и разнообразию генерации. Однако чаще всего они требуют большого количества шагов, что делает генерацию довольно медленной, например, в сравнении с GANs. Именно поэтому ускорение диффузионных моделей является важной задачей. Существует множество различных подходов для превращения 1000-шаговой диффузии в генератор, состоящий из нескольких шагов.

Недавно мы познакомились с понятием дистилляции диффузии и рассмотрели первые попытки её применения для ускорения. Однако эти работы не смогли добиться нужного качества и требовали значительных улучшений.

Сегодня мы рассмотрим несколько SOTA-работ, которые, в частности, использовались для ускорения известной SDXL Turbo. Познакомимся с основными методами и узнаем:
- что представляет собой Adversarial дистилляция с использованием GANs
- чем отличается Latent Adversarial Diffusion Distillation (LADD) от Adversarial Diffusion Distillation (ADD)
- и что такое Distribution Matching Distillation (DMD)

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/2-fa4241bac68749beafffa7ddffda41a0?pvs=4

BY DeepSchool