tgoop.com/ai_newz/1057
Last Update:
⚡️Latent Diffusion
Парни из моей научной группы (Heidelberg Uni + LMU) запилили соту в text-to-image генерации!
Новая моедель - Latent Diffusion умеет генерить картинки из воздуха, так же как и по классовому лейблу, семантической сегментации или по текстовому описанию. Более того она может и в super-resolution, и зарисовывать дыры в картинках.
Классические диффузионные модели довольно громоздкие и медленные. Главный трюк нового метода - это запуск дифуззионного процесса на скрытых векторах в ботленеке автоэнкодера, вместо сырых пикселей, как это делалось раньше. За счет этого стало возможным найти сладкий баланс между экспрессивностью модели и ее громоздкостью. То есть такую диффузию можно обучить (и тестировать) за адекватное время на умеренных вычислительных ресурсах. Парни тренили на одной NVIDIA A100.
Потыкать можно в код или в колаб. А подробнее про метод - в статье
BY эйай ньюз
Share with your friend now:
tgoop.com/ai_newz/1057