谷歌 Genie 4 发布:一句话造出能走进去的虚拟世界,还第一次带上了声音
谷歌把世界模型又往前推了一步。新发布的 Genie 4 能根据一句话或者一张图,实时长出一个可以…
文章目录
谷歌把世界模型又往前推了一步。新发布的 Genie 4 能根据一句话或者一张图,实时长出一个可以走动、可以互动的虚拟场景,而且第一次把声音也一起生成了。上一代 Genie 3 还是研究预览,这次隔了一年多,升级幅度不小。
一分钟速览
- 画面更真,物理效果更准,虚拟人物更接近真人。
- 一个场景最长能连贯维持两分钟,是上一代的两倍。
- 可以边看边改:换天气、调镜头、加人加物,实时生效。
- 目前只给「可信测试者」用,之后陆续开放给谷歌 AI Ultra 订阅用户和开发者。
它强在哪
世界模型和普通视频生成不一样。视频生成是给你一段拍好的片子,你只能看;世界模型是给你一个能操作的空间,镜头往哪转、天气怎么变、屋里多一个人,都会实时算出来。
Genie 4 这次的进步集中在三件事上。一是拟真度,物理规律和人物动作都更自然;二是时长,同一个场景能撑到两分钟不崩;三是可控性,它支持自由形式的编辑,用户看到一半觉得光线不对,直接说一句就能改,不用重新生成一遍。
Gemini 当导演,Genie 4 当摄影棚
谷歌把两个模型的分工说得很清楚:Gemini 负责规划步骤、检查画面帧,相当于导演;Genie 4 负责把画面生成出来,相当于摄影棚。
在跟机器人有关的一项实验里,Gemini 4 Argon 把一项任务拆成好几个步骤,Genie 4 负责实时仿真。这套流程的意义在于,机器人还没进真实世界,就可以先在虚拟世界里把动作试一遍,撞坏了也不心疼。
谷歌研究总监特贾斯·库尔卡尼的说法是,以后这类混合式世界模型会越来越常见:Gemini 写代码和文本,Genie 4 实时读进去,在不同抽象层级上模拟现实。
能拿来干什么
官方主推三个方向:游戏、互动学习、机器人。互动学习给了一个挺有意思的设想:用户走进一幅描绘历史场景的画里,和画中的人物聊画里记载的事。
参与测试的人还找到了别的用法——拍电影前的原型制作。谷歌 DeepMind 工程师迭戈·里瓦斯说,实时特性的价值在需要保持创作思路连贯的环节最明显,比如头脑风暴、画分镜脚本,都是想法一冒出来就要马上看到效果的地方。
短板也很明显
团队自己承认了问题:仿真跑得越久,细节和物体越容易漂移;音频要准确、画面里的文字要清晰,这两件事目前还没法同时保证。
里瓦斯反复强调 Genie 4 仍处在发展早期,完整产品最终是什么体验还没有定论。谷歌还提到,未来有望借助多模态模型 Gemini Omni,把原型素材直接转成正式创作资产,但这项能力离落地还有距离。
放到行业里看,世界模型现在比的是谁能把「可交互」做得更久、更稳、更便宜。Genie 4 把时长翻倍、把声音补上,算是把门槛又抬了一截,但离普通人拿来当工具,还差一段路。
本文地址:https://www.163264.com/18368