Интересная история с Kinetix, который вдруг приподвзвирусился в телеге.

Они начинали еще в 2022 году как AI-assisted 3D animation platform под знаменами Метаверса и NFT.

В прошлом году они делали довольно кринжовый AI Emote Creator(на втором видео), где юзеры генерили вот эти вот все .. жесты.

Но в сентябре Kinetix объявила о создании фонда в размере $1 млн для поддержки разработчиков игр, сочетающих генеративный искусственный интеллект и пользовательский контент.

А в январе пивотнулись в довольно банальный Video2Video генератор - описываете сцену промптом, а движения персонажа берутся из видео, которое вы загрузите дополнительно.
Главная фишка - video2video берется именно с персонажа.
У них также есть огромный датасет из мокапных движений, что, по идее, позволяет им "допиливать" движения до годного.
По идее им надо вводить стили на движения и управление весами этих стилей.

Поглядим, когда из беты выйдут.
https://www.kinetix.tech/character-motion-control-for-video-generation-models


@cgevent

Вчера постил про @AIMemeArenaBot.

Подписчики не подвели, держите пачку ИИ-мемов.

Более того, я связался с автором безобразия и завтра мы устроим эпический баттл в реальном времени на Хабе в Пафосе.

Кто на Кипре, заходите, вот уже где скучно не будет!
https://www.tgoop.com/hub_cy/2029

@cgevent

Вот вам пример видеогенерации, от которого у меня немного закипел мозг.

Мы тут извращаемся в промптах, пытаясь заставить двигаться камеру или персонажа.
Но.
Оказывается, можно попросить ИИ добавить на видео гринскрин (этим я вас не удивлю) и, внимание, маркеры для трекинга камеры (а вот этим удивлю). Для того, чтобы потом оттрекать камеру в AE или Нюке, восстановить движение объектов в 3Д, убрать фон и навалить сверху нормальной графики или футажа.
В общем все, как на съемках с парой супервазеров, мешком маркеров, тейпов, рулеток, далее по списку. Только промптом!

И судя по этому примеру у Veo2 (пока крайней мере у него, но думаю и у остальных) в голове есть реальная модель 3Д мира и вполне себе эвклидово пространство, ибо это работает и условная фотограмметрия не ломается.

Я в шоке. А вы не поленитесь, почитайте нехилый такой промпт, где написано про маркеры, гринскрин и прочую супервайзерскую требуху (тут есть момент, чтобы писать такой промпт, надо как бы быть в супервайзерской теме, но об этом в другой раз).

Я уж не знаю, на чему учили Veo2, но то, что это вообще работает, приводит меня в восторг.

Подробности тут.

Кто совсем ничего не понял: здесь только девушка (см. промпт). Среднее видео демонстрирует добавление созданной человеком модели (андроид, G) в сцену, созданную ИИ, а нижнее - объединение созданного ИИ персонажа (девушки) в созданную человеком сцену (сакура и небесное пространство). В обоих случаях необходимы данные с камеры, полученные в результате работы ИИ.

Попробуйте в Клинге что ли...

@cgevent