Google удивляют всех своим новым релизом ИИ-симулятора мира

Genie 2 – это так называемая world model, а иными словами игровой ИИ-движок. Это диффузионка, которая генерирует видео, основываясь на действиях пользователя (кликах мышки, WASD). В общем все, как в обычных видеоиграх, только мир вокруг вас полностью создает моделька.

Качество второй версии – просто отпад, судя по демо. Здесь у нас полноценные 3D миры, в то время как первая версия была способна максимум на подобие Марио. А еще сами видео очень длинные по меркам таких моделей – аж до минуты.

При этом отдельно отмечают Long horizon memory, которая позволяет модели "держать в уме" части мира, которые уже были показаны. Если в них вернуться, они сильно не изменятся (это довольно важная проблема таких вот моделек). Еще разработчики поработали над текстурками, физикой, согласованностью команд пользователя с игровым процессом и добавили NPC.

Кстати, все-таки модель носит название world model неспроста. Авторы нескрываемо отмечают, что разрабатывают Genie не только из любви к играм, но и чтобы обучать агентов в таких вот симуляторах мира. Ведь это действительно идеальная среда для того, чтобы объяснить модели, как устроен физический мир и как в нем действовать (главное не обучать на CS). В Google уже попробовали запустить в Genie такого агента SIMA, и он даже вполне успешно поиграл.