как насчет стилизации БЕЗ ПРОМПТА? с новым IP-Adapter - запросто!

про IP-Adapter говорят что это "лора по одной картинке". он прекрасно работает в последней версии автоматика в расширении контролнет, нужно только скачать модели. есть версия для Comfy и в ней даже чуть больше возможностей!

волна хайпа до сих пор незаслуженно обходила IP-Adapter стороной и очень зря, потому что инструмент супер мощный. идеально делает вариации по входящему изображению без промпта. а еще позволяет неплохо смешивать картинки, но про это позже

насчет стилизации видео - сразу скажу, пайплайн еще очень сырой но точно стоит того чтобы хорошенько в нем покопаться. в анимации выше 2 версии, одна на ip2p, другая на temporalnet. в первой лучше держится стиль но сильнее гуляют формы, во второй лучше консистентность но картинка приобретает hdr эффект. моя локальная карточка не вмещает больше 3 слоев контрола за раз, возможно соединение этих двух подходов даст лучший результат

оригинальное видео и референс стиля плюс настройки - все в комментах

IP-Adapter project page и github
модели для автоматика
версия для Comfy

@тоже_моушн

продолжаю мучать IP-Adapter

киллер фича - возможность смешивать пару изображений. из первого контролнетом забираем карту глубины, из второго ай-пи адаптером получаем стиль. а дальше начинается магия. и я хочу еще раз акцентировать - это генерации без промпта!

две доступные модели для sd15 справляются чуть по разному. стандартная - чуть хуже схватывает стиль, но за счет своей "подвижности" круто накладывает его на карту глубины. модель с плюсом - старается жестче следовать стилю, менее подвижная, из за этого частенько попадает в неприятности, например рисует девушку поверх кота потому что в стиле был портрет.

максимально оценить возможности такого смешивания - можно по двум сравнительным таблицам в комментариях

IP-Adapter
стилизация видео ай-пи адаптером

@тоже_моушн

а вы в курсе что в AnimateDiff больше нет ограничения по хронометражу?

сначала в ComfyUI а теперь и в A1111 добавили немного костыльное но работающее решение: AD генерит все так же по 16 кадров, а затем еще 16 с небольшим наложением на предыдущие и так сколько душе угодно. если промпт не сильно динамичный, стыков не будет заметно

также AnimateDiff очень неплохо показал себя в задаче стилизации видео (vid2vid)! а с новым контекстным окном обработать можно любой хрон, круто же

еще интересное решение - motion lora - модели движения для AD (совсем как в ген2 и пикалабс), довольно простые но их можно комбинировать для получения более сложного движения

супер полезная к прочтению статья на civitai о том какие крутые штуки теперь можно творить с AnimateDiff в ComfyUI, да еще и сетапы в подарок

animatediff comfyui
ext a1111
motion lora
civitai guide + setup

@тоже_моушн

помните недавний мой эксперимент с деформацией по optical flow? говорил же что это гибкий пайплайн!

Mickmumpitz использовал в качестве исходника движения стандартные визуализации звука и получил на выходе - нейро-винамп, жаль только не реалтаймовый. по ссылке подробный гайд, где показан весь процесс подготовки, настройки и обработки

кстати у Mickmumpitz на канале масса годного контента из категории "делаем кино самостоятельно на коленке используя все доступные бесплатные методы"

подсмотрено у Psy Eyes

видео на ютуб
пост в Х
мой пост с настройками

@тоже_моушн

продолжаю пребывать в некотором шоке от далли-3

уровень детализации и качество картинки без тюнов, лор, инпейнтов и тд - зашкаливает и завораживает. особенно в сравнении со стейблом

кому интересно, почему так и как новый далли опять всех уделал - вот читабельный саммари от Дмитрий Савостьянов Вещает вчерашней статьи OpenAI

@тоже_моушн

🕸🎃 чрезвычайно милая и атмосферная хэллоуинская короткометражка от Алексея Лоткова

сделано на коленке но при этом профессионально, качественно, с юмором и любовью к делу. по словам автора - на создание ушло 2 дня

из инструментов: анимейтдифф для стилизации, стейбл для фонов и окружения, щепотка миксамо и классического композа, синтез голоса в play.ht

Алексей Лотков в IG

@тоже_моушн

обработка в стейбле потихоньку подбирается к реалтайму. а виной всему LCM, который лихо ускоряет генерацию без потери качества

Олег Чомп записал мега полезный гайд о том как используя ComfyUI и Touchdesigner обрабатывать любой видео сигнал на лету

я и сам сейчас в работе активно использую патч Олега для комфи, так что рекомендую!

оригинальный пост
гайд на ютуб
lora LCM
патч для Тача

@тоже_моушн

ComfyUI Stable Diffusion Video

ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4.

Некоторые пояснения к параметрам:
— video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24)
— motion_bucket_id: чем выше число, тем больше движения будет в видео.
— fps: чем выше частота кадров, тем менее прерывистым будет видео.
— augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения.
— VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам.

Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff.

Если возникнет ошибка при генерации связанная с xformers, то при запуске добавить параметр:
--use-pytorch-cross-attention

В комментах скидываю два .json для ComfyUI.

Встречайте KeenTools 2023.3: Стабильный GeoTracker for Blender и поддержка Nuke 15.0 / 14.1

Ура, бета-тестирование нашего 3D трекера объектов успешно завершилось! Благодаря вашим бесценным комментариям, GeoTracker теперь отполирован, свеж, светел, и готов к использованию в вашем трекинг-пайплайне.

Кое-что новенькое в стабильной версии:
— Встроенное текстурирование с возможностью спроецировать текстуру объекта из видео на его 3D модель
— Опция Lock View для стабилизации вьюпорта на конкретной модели или точке на ней
— Экспорт группы пинов, создающий Empty-объект с координатами нужной точки с трекаемой геометрии

Теперь GeoTracker for Blender становится платным продуктом с 15-и дневным триалом. В знак благодарности за вашу помощь, до конца декабря можно приобрести годовую Freelancer подписку с 50% скидкой за первый год.

Касаемо других обновлений, в этом релизе мы добавили поддержку Nuke 15.0 и 14.1, а также внесли ряд минорных изменений в наш трекер для AE.

Все детали, туториалы, скидки ждут вас здесь!

Под конец года многие из нас ощущают пустоту и меланхолию. Еще один год пролетел, как вспышка. Новогоднего настроения всё меньше, мы повзрослели и только воспоминания о "тех самых" зимних каникулах отдаются теплым эхом времени.
⠀
Мы хотим подарить вам немного тепла и пожелать, чтобы даже в самые холодные грядущие годы вы сохраняли его в своих сердцах!

https://youtu.be/lyqrS6hkRuo?si=GWDhD1xrEVWd5HgX

в конце прошлого года мы делали предположения про что будет год следующий. много кто считал что после картинок - на очереди конечно же видео и 3д.

и видео сетки за год действительно проделали лихой путь от ультра криповых (один, два) до вполне артовых (один, два) и довольно реалистичных результатов (один, два, три, четыре). конечно со своими нейро-артефактами которые с каждой новой моделью выглядят все более естественно и все меньше бросаются в глаза

с 3д дело обстоит куда сложнее. уже есть неплохие решения (один, два, три, четыре) но все равно в основном шляпа на выходе

внезапно к концу года оказалось что если усилия 3д и видео моделей объединить - можно получить ну очень качественный псевдо 3д результат. не могу перестать удивляться - иллюзия работает почти идеально.

запускается это дело конечно же в ComfyUI. воркфлоу положу в комменты. там же дополнительные прикольные результаты

это видео от разработчика расширения IP-Adapter для комфи - обязательно к просмотру. чел сооружает похожий сетап и крутит девушку в 3д, сохраняя примерно ее внешность. вообще канал этого парня для меня настоящий исайт, уровень полезной информации зашкаливает

гайд о возможностях StableZero123 от Оливио
гайд от Матео Latent Vision
страничка воркфлоу в дискорде banodoco

всех с наступающим и пусть следующий год будет лучше чем этот! всем лучи добра

@тоже_моушн

вдруг вы из Лондона? если так то имеете шанс попасть на классную выставку, которую мы в Силе Света запилили незадолго до нового года: арт инсталляция Hyperfeeling про спектр человеческих чувств для The Balloon Museum

для меня это первый опыт создания нейро контента в формате сферы 360. выглядит и работает очень кайфово, хотя и не обошлось без костылей)

360 в статике - изи. но вдруг вам известны способы как генерить анимацию типа дефорума или анимейтдифф - без лор, ассиметричного тайлинга и прочих костылей - сразу со всеми искажениями 360 развертки? вроде несложная задача но до сих пор не попадалось хороших решений

@тоже_моушн

морфинг с помощью animatediff и ip-adapter

выше я уже рекомендовал к просмотру гайды/туториалы от Latent Vision. и это видео не исключение. берем две картинки и анимированную чб маску перехода. твикаем настройки и вуаля - магия работает, морфинг супер плавный и кайфовый

но сразу должен расстроить - это снова не морфинг из картинки А в картинку Б. ipadapter не воссоздает оригинальные картинки, но весьма неплохо понимает что на них изображено, считывает стиль, некоторые детали и общий вайб

воркфлоу в комментах

туториал

@тоже_моушн

Houdini + Stable Diffusion

Принес годноты для CG-взрослых.

Симуляция в Гудини, нейрорендер в Stable Diffusion (Комфи+КонтролНет).
В Гудини генерятся частицы, маска и глубина, потом все это забирается в Stable Diffusion и кормится в ControlNet и Animatediff.

Вот такой нейрорендер нам нужен!
Более того, держите:

Подробный тутор, где все это расписано.

Канал этого удивительного чувака, который скрещивает 3Д и нейрорендеринг.

И клондайк из разных полезных постов для тех, кто в кино и VFX.

Enjoy CG-Bros.

P.S. Представьте, лукдев теперь это текстовый промпт и выбор чекпойнта (утрирую, конечно).

Ежик в тумане, 2024

Stable Video Diffusion очень неплохо имитирует поведение природных явлений - воды, огня, тумана, облаков. а также вполне четко считывает объем и улавливает предполагаемую динамику в кадре: без особого управления хорошо двигает камеру обычно в 2 случаях из 5

поэтому пайплайн чаще всего выглядит так: закинул картинку и жмешь 2-3 раза на генерацию, выбираешь лучший вариант

шевелить объекты не очень любит но иногда умеет. главное не переборщить с таким оживлением, иначе объекты ломаются

и к сожалению главное ограничение - всего 25 кадров за раз

картинки - mj
анимация - SVD 1.1
музыка - suno.ai

@тоже_моушн

свежая китайская моделька I2VGEN-XL теперь доступна в комфи

в отличие от SVD не так пафосно и красиво двигает камерой, зато гораздо лучше анимирует объекты в кадре. по скорости генерации тоже немного проигрывает и к сожалению прожорлива до VRAM. в теории лучше держит внешность (у меня пока не получилось, фейлы в комментах)

посмотреть как работает можно тут. у меня нормально установилась только на свежую версию комфи

гитхаб
кастом ноды для I2VGEN-XL
гайд на ютубе
демо на replicate

@тоже_моушн

Новая технология нейрогенерации видео от Тиктока

Полный отвал башки.

В чем была главная проблема генерации видео в Pika или Gen2? В непредсказуемом результате.

Бралась картинка и случайным, бесконтрольным образом анимировалась.

И вот Тикток выкатывает новую работу, дающую возможность конкретно указывать, чего и куда нужно анимировать.

Через 2-3 месяца обещают публичное демо. Ждем.

нет, это не настоящее видео, это генерация

потому что опять пришли опенаи и всех уделали. это их новый text2video. инфы минимум. кода и подавно

смотреть и удивляться тут - openai.com/sora

@тоже_моушн