VAST 开源 EdenLive:一句话生成能玩的世界,5B 模型在单张 5090 上跑 720P 超 24 帧
在游戏里走到一扇门前,你不确定能不能进去,通常会先转身走两步,再跳一下,看看能不能翻过旁边的墙。…
文章目录
在游戏里走到一扇门前,你不确定能不能进去,通常会先转身走两步,再跳一下,看看能不能翻过旁边的墙。这些动作毫无意义,却极其真实——玩家就是这样不断试探边界的。
如果眼前的画面由 AI 实时生成,模型就必须跟上每一次临时起意:突然停下、突然转身、突然跑跳,每一帧都要稳定在线。这正是 VAST 开源的实时世界模型 EdenLive 想解决的问题。
一分钟速览
- VAST 开源 Project Eden 系列中的实时生成式渲染器 EdenLive。
- 规则与状态由上游交互系统维护,模型只负责把状态渲染成画面。
- 参考视频决定布局、镜头、轨迹与事件时间;目标首帧决定主体、材质、配色与画风;文本提示词补充细节。
- 白模、2D/3D 场景、真实录像都能作为参考,同一参考换首帧即可切换写实、线稿、卡通、像素、油画等风格。
- 5B 模型在单张 RTX 5090 上以超过 24 FPS 生成 720P 画面,支持分钟级长时生成。
- 在 45 个长时案例的盲评中,14B 与 5B 在参考遵循、首帧一致性、物理合理性、画质、避免外观泄漏五个维度排名前二。
把“规则”和“画面”拆开
实时世界模型最容易走进的误区,是让模型同时负责“世界怎么运转”和“世界长什么样”。前者需要严格的物理与游戏逻辑,后者需要审美与生成能力。把两者塞进一个模型,结果是规则不稳定、画面也不可控。
EdenLive 的分工很明确:交互系统维护白模、角色位置、镜头参数和事件状态,把这些转换成灰盒画面与场景描述,再交给生成模型渲染。模型不决定门能不能打开,只决定门看起来是木头的、金属的,还是被藤蔓覆盖的。这个边界一旦划清,生成就不需要“猜”物理,只需要“画”结果。
三类输入,各管一件事
参考视频负责结构与运动:场景布局、镜头怎么走、物体怎么动、事件在什么时候发生。目标首帧负责外观:主体是谁、材质是什么、配色和画风如何。文本提示词负责补充:光线的质感、天气、情绪,以及交互过程中临时追加的描述。
这种拆分带来的直接好处是可控。过去用一句话生成视频,用户很难指定“保持这个镜头运动,但把场景换成赛博朋克”。现在参考视频锁住运动,首帧锁住风格,提示词只做微调,三者互不打架。对内容生产者,这意味着生成结果更接近分镜,而不是抽卡。
24 帧是实时交互的门槛
视频生成模型通常离线运行:输入完整提示,等几分钟,输出一段成片。实时交互的要求完全不同——用户每按一次键,画面必须在几十毫秒内响应。24 FPS 是流畅体验的底线,720P 是当前消费级显卡能承受的合理分辨率。
5B 模型在单张 RTX 5090 上达到这个指标,意义不在于“能跑”,而在于“能在家用设备上跑”。这让实时世界模型从云端 demo 变成可本地部署的工具:游戏开发者可以在自己的机器上预览,具身智能团队可以在实验室里做数据增强,不必每次都排队等算力。
盲评第一,说明的不只是画质
VAST 披露的评测使用 Gemini-3.8-Flash 对 45 个长时案例做两两盲评,每组交换顺序各评一次,再按维度计算 Elo。EdenLive 14B 与 5B 在参考遵循、首帧一致性、物理合理性、画质、避免外观泄漏五个维度排在前二;14B 的参考遵循得分 1704,比 AgentGarten 高约 200 分。
“参考遵循”和“首帧一致性”比画质更能说明问题。前者衡量模型有没有按用户给的轨迹走,后者衡量生成过程中主体会不会变形。长时生成最容易翻车的地方,就是几分钟后画面“漂”了:人脸变了、场景结构散了、光影跳了。能在这两项上领先,才谈得上可用于生产。
开源会改变什么
世界模型目前是少数几家大厂的竞技场,模型权重、训练代码、推理优化大多闭源。VAST 把整条链路开源,等于把“实时生成式渲染”从黑箱变成可复现的工程 baseline。对研究者,这是可以拿来改的起点;对开发者,这是可以接进自己引擎的组件;对游戏与影视行业,这是一次重新分配制作成本的机会。
当然,开源不等于可用。显存、延迟、长时稳定性、与主流引擎的集成,仍需要大量工程。真正的分水岭是第一个用它做出可玩 demo 的团队,而不是论文里的分数。
趋势洞察
生成式 AI 正在从“生成内容”走向“生成环境”。图片和视频是单向的,世界模型是双向的:它会响应你的动作,也会拒绝你的动作。当这种能力足够实时、足够稳定,游戏、影视预览、机器人仿真之间的边界会变得模糊。EdenLive 的开源,把这场竞赛的起跑线往前挪了一截。
本文地址:https://www.163264.com/17562