эйай ньюз

This media is not supported in your browser

VIEW IN TELEGRAM

⚡️Latent Diffusion

Парни из моей научной группы (Heidelberg Uni + LMU) запилили соту в text-to-image генерации!

Новая моедель - Latent Diffusion умеет генерить картинки из воздуха, так же как и по классовому лейблу, семантической сегментации или по текстовому описанию. Более того она может и в super-resolution, и зарисовывать дыры в картинках.

Классические диффузионные модели довольно громоздкие и медленные. Главный трюк нового метода - это запуск дифуззионного процесса на скрытых векторах в ботленеке автоэнкодера, вместо сырых пикселей, как это делалось раньше. За счет этого стало возможным найти сладкий баланс между экспрессивностью модели и ее громоздкостью. То есть такую диффузию можно обучить (и тестировать) за адекватное время на умеренных вычислительных ресурсах. Парни тренили на одной NVIDIA A100.

Потыкать можно в код или в колаб. А подробнее про метод - в статье

www.tgoop.com/ai_newz/1057

10.7K viewsedited  Apr 4, 2022 at 20:20

⚡️Latent Diffusion

Парни из моей научной группы (Heidelberg Uni + LMU) запилили соту в text-to-image генерации!

Новая моедель - Latent Diffusion умеет генерить картинки из воздуха, так же как и по классовому лейблу, семантической сегментации или по текстовому описанию. Более того она может и в super-resolution, и зарисовывать дыры в картинках.

Классические диффузионные модели довольно громоздкие и медленные. Главный трюк нового метода - это запуск дифуззионного процесса на скрытых векторах в ботленеке автоэнкодера, вместо сырых пикселей, как это делалось раньше. За счет этого стало возможным найти сладкий баланс между экспрессивностью модели и ее громоздкостью. То есть такую диффузию можно обучить (и тестировать) за адекватное время на умеренных вычислительных ресурсах. Парни тренили на одной NVIDIA A100.

Потыкать можно в код или в колаб. А подробнее про метод - в статье

BY эйай ньюз