Кажется, не так много времени осталось, и пора разобраться.
В первую очередь честно ответьте себе: если ваш партнёр начнет чаще говорить, шутить, обсуждать общие темы со своим AI-компаньоном хотя бы на том же уровне, что и с вами, будете ли вы чувствовать ревность, зависть, непринятие?

Да, AI со временем зарегулируют, и он будет выступать больше в роли семейного психолога, но ведь будут и те, которые будут восполнять то, чего не получают в отношениях с реальным человеком. Будет ли AI поводом для расставания, ревности, зависти? У вас это было бы проблемой?

Все: Невероятное использование нейросетей в продакшене, кажется все студии и художники теперь потеряют работу.

Next generation AI: create video of sculpting wooden plank in zbrush

@CGIT_vines
P.S. к слову, он генерил это дней 5

О вишенках и реальности

Год радует на громкими словами, а не релизами. Очередной симпатичный релиз от моих любимых Runway ждет нас уже скоро — доступы обещали начать раздавать уже со вчерашнего дня. В этот раз нам обещают шикарный перенос мимики (лицевой мокап), лучше завирусившейся недавно Hedra.

Видео из нового продукта Act-On Runway правда сначала потрясают. Но тестируя как работают другие релизы типа обновления Gen c переносом стиля на кадр, понимаешь, что это годится только пока для мемов и творческого поиска. И на том спасибо.

Применяя это на практике понимаешь, что инструменты из коробочки работают примерно на 20%, в кейсе часто приходится это учитывать, подстраиваясь не под идею, а возможности софта. Например у Hedra, если у героя не очевидные черты лица (а это бывает часто), то инструмент просто выдаст ошибку, перенести точки как-то вручную и помочь ему сориентироваться — никак. Кредиты только так улетают, вне зависимости от качества картинки-движения-реалистичности.

Итого для хорошей работы нужно иметь в арсенале несколько подписок, механику которых ты знаешь можешь приблизительно предсказать результат. Часто возникает ситуация, когда одна механика вырусится, автор или группа авторов начинает работать именно с определенным пайплайном, забивая на содержание и вместо экспериментов и все новых и новых открытий мы получаем нейронный шум. Создатели (или их заказчики) потом еще удивляются, а почему их кейс с пайплайном 2022 года не оценили.

Некоторые коллеги выбирают для своих проектов решения из опенсорса, но в этом случае больше управления несет за собой больше экспериментов, итераций и поломок, что конвертируется во время. Зато результат часто не такой как у всех.

Настоящее и будущее больших открытий и хороших денег как всегда за междисциплинарными кейсами, где используется много нейронок, много не-нейронок, а самое главное человеческий талант. Волшебной видео-кнопки пока нет.

Извините, а SORA выйдет? А мячик можно?

Давайте пока охладим траханье на счёт управленческих LLM-систем. Если кто не в курсе, почитайте тут у Дениса.

Если влом читать, то это LLM-агенты, способные "управлять" вашим компом через промпты.

Не знаю, в чём там сложность установки, но я как гуманитарий поставил в течение пары минут.

Попросил создать сферу в Blender — окей, не можешь, давай тогда, может быть, куб? Тоже нет? Окей, я создам сам, просто подвинь его на 5 см вправо. Нет? Бу, испугался?

В общем, моё дело — периодически проверять, теряем ли мы работу или ещё можно пофлексить. И, как видно из видео, для съёмки которого я оплатил API Claude AI, оно того стоило, ага 🤡. Работу пока не теряем.

Блуперы, не попавшие на видео: на просьбу запустить Blender, он настойчиво открывал ZBrush.

Давайте ваши советы, что ещё попробовать! Автору самого интересного и рабочего промпта посвящу пост в канале.

Агента брал с этой репы

В Японии освятили Гандама!
Теперь официально, выходные можете проводить спокойно, человечество под защитой.

По всей видимости, текущие методы RL не очень подходят для генерации трёхмерных представлений либо тратят слишком много вычислительных ресурсов. Поэтому для новой беты модели Gen-1 RLHF V0.9 использовали Reinforcement Learning with Human Feedback (RLHF): у них, натурально, в штате сидит команда моделлеров, которые раздают вознаграждения.

К слову, генерации на уровне Tripo3D из этого поста — возможно, у Tripo тоже RLHF, но это же не звучит так волшебно, если у тебя разметку делают люди.

На старте дадут 8 бесплатных кредитов, погонять тесты хватит. Для остального есть возобновляемые кредиты у Tripo.

Пробовать тут

Сегодня наткнулся на интересное исследование, в котором обсуждается, как крупные языковые модели учатся, используя структуры, схожие со строением человеческого мозга. В работе показано, что концепты в ИИ организованы на трёх уровнях: от «атомных» идей до более сложных «кластеров» с общими смысловыми признаками.

Использование автоэнкодеров для представления концептов в виде трёхуровневой иерархической структуры организовывает данные по принципу, напоминающему когнитивные структуры. Это дает языковым моделям возможность более глубоко понимать и генерировать смысловые связи, улучшая их точность и интерпретируемость. В итоге, это создает предпосылки для развития ИИ, способного обрабатывать сложную иерархическую информацию, типо того как это делает человеческий мозг.

Подробнее читать тут

Спустя примерно полтора года после того, как Wonder Dynamics присоединилась к Autodesk, они запустили бета-версию тулзы Wonder Animation.

Напомню для тех, кто пропустил: вы можете снимать на свой телефон шоты с актёрами и потом переводить их анимацию в готовые трёхмерные представления. Я даже делал стрим на эту тему полтора года назад.

Создатели сами заявляют, что не поддерживают хайп по автоматическим решениям с кнопкой «сделать красиво», понимают, что художникам нужны широкие настройки в инструментах при работе с ИИ, и предоставляют их, давая художникам полный контроль над анимацией движений, мимики, крупности шотов и, по заявлениям, поддержку бесшовного переключения между крупностями кадра. (Интересно посмотреть, как это работает).

С каждым месяцем всё лучше и лучше. Геймдев все ближе к точке бифуркации.

Ребята из Etchet в сотрудничестве с Decart, на которой выпустили DoomAI, показали Minecraft, полностью сгенерированный, идущий в 20 fps без инпут-лага.

В эту демку можно поиграть вот тут, дождавшись своей очереди; на момент написания её около 100-200 человек.

Кадры генерируются в зависимости от вашего ввода: из интерактива — повороты, прыжки, строительство и разрушение.

Etchet также представили свой чип, который супербыстр для генерации видео через трансформеры, и предупреждают, что 70% контента уже имеют видеооснову, будут иметь ещё больше, в том числе генеративного формата. Эта демка запускается всё ещё на H100 в разрешении 360, и потом апскейлится; на чипах Sohu будут обслуживаться модели 100B+ и разрешением 4K, которые будут супербыстрыми за счёт распараллеливания.

Подробнее в их блоге.
@cgit_vines

Offline is new luxury
#PIA

Decart в демку Oasis добавил возможность создавать представления на основе вашей входящей картинки.

Ожидаемо, такой мир довольно быстро начинает деградировать и разваливаться. В следующих версиях обещают сделать его более стабильным. Все инсинуации с будущим оставляю вам в комментариях.

Пробовать всё там же. Свои миры кидайте в комменты — либо картинками, либо видосами.

@CGIT_vines