英伟达把 4K 视频重生成开源了:5 秒素材 22 秒出片,画质评分反超官方 API
视频生成的门槛,正在被一层层拆掉。继 MiniMax H3 开放权重之后,英伟达与麻省理工学院组…
文章目录
视频生成的门槛,正在被一层层拆掉。继 MiniMax H3 开放权重之后,英伟达与麻省理工学院组成的研究团队,又把高分辨率重生成这一环做成了任何人都能部署的开源方案。
一分钟速览
- 团队在 Hugging Face 发布 Open-H3-Regenerate-2K 模型权重,推理代码开放在 NVlabs/Sana 仓库。
- 方案基于 MiniMax H3,把低分辨率视频草稿重生成高分辨率视频,支持 2560×1440 的 2K 输出,最高可做 3840×2160 原生 4K。
- 训练时冻结 H3 的 Transformer 主干和视频 VAE,只训练新增的细化 LoRA。
- 单张 B200 上,约 5 秒视频的潜空间放大、三步细化和 2K 解码合计从 87.26 秒降到 22.45 秒,约为原来的 3.9 倍。
- RefinerBench-150 上,UniPercept 感知质量均分 60.0,高于官方 H3-Regenerate-2K API 的 53.4。
它解决的到底是哪一步
完整的 MiniMax H3 系统包含多模态上下文处理、基础音视频生成和高分辨率重生成几个环节。已经开放权重的 H3-Base 负责生成 768P 音视频,而官方的 H3-Regenerate-2K 模块此前只通过 API 提供服务。这次开源的 Open-H3-Regenerate-2K,复用的正是 H3 基础模型的生成能力,把“高分辨率重生成”这一步做成了可自行部署的实现。
做法并不复杂,但很讲究:研究团队保持 H3 Transformer 主干与视频 VAE 的参数不变,只训练新增的细化 LoRA。推理时,细化 LoRA 与 LightX2V FL2VA Turbo、LMS Sharp 等社区适配器合并使用,通过三步去噪,在目标分辨率下重新生成画面细节;视频草稿里的场景、布局和运动信息,则为这个过程提供基础。换句话说,它不是从零生成一段 4K 视频,而是把已有的低分辨率草稿“补”成高清版本。
3.9 倍加速是怎么来的
高分辨率重生成最大的成本在编解码。团队采用了社区开发的潜空间放大器,直接放大视频的潜在表示,减少高分辨率下重复解码、编码的开销;同时结合 SoL-Engine 的稀疏注意力、低精度计算和快速 VAE 解码器,对细化与解码环节做加速。
效果可以用一组数字说明:在单张 NVIDIA B200、预热后的测试条件下,一段约 5 秒视频的潜空间放大、三步细化和 2K 解码合计耗时,从 87.26 秒降到 22.45 秒,处理速度约为原来的 3.9 倍。其中,快速解码器把视频解码耗时从约 15 秒压到约 1.6 秒。对需要批量处理素材的创作者来说,这个差距决定了工作流是“等一等”还是“换一条路”。
画质:赢了感知,输了运动
在 RefinerBench-150 的对比评测中,相同输入、相同 2K 输出条件下,Open-H3-Regenerate-2K 在 UniPercept 感知质量上的平均分为 60.0,官方 API 为 53.4。VBench 评测里,开源方案的美学质量、成像质量和主体一致性得分更高;官方 API 则在运动平滑度和动态程度上略优。
这组结果很有意思:开源实现更像“静态画面更精致”,官方 API 更像“动态更稳”。对广告、电商这类以画面质感为优先的场景,开源方案可能更合适;对动作密集、镜头运动复杂的视频,官方服务仍有优势。选择哪一种,取决于内容类型,而不是单纯的分数高低。
H3 生态正在滚雪球
MiniMax H3 在今年 8 月开放权重后,围绕它的微调、蒸馏和工具适配迅速增多。一个月内下载量超过 2400 万次,产生 300 多个公开衍生模型,成为 2026 年全球下载量最高的模型之一。英伟达与 MIT 的合作也不止这一项:他们还发布了基于 H3 Ref2VA 的流式视频渲染模型 StreamRender-H3,以及从 H3 视频 VAE 蒸馏而来的快速解码器 Sol-H3-VAE。社区侧,LightX2V 的 Turbo 版本、Singularity 的微调、FastVideo 与 Pika 的采样方案,以及 ComfyUI、Unsloth 的适配,正在把 H3 带进更多本地创作工作流。
趋势洞察
视频模型的开源竞争,已经从“谁能生成”进入“谁能便宜地生成高清”。英伟达这次的角色很微妙:它不卖模型,卖的是让模型跑得更快的算力与工具链。当 4K 重生成可以在一张 B200 上 22 秒完成,视频生产的成本曲线会被再次改写。接下来真正的分水岭,不是参数规模,而是谁能把“草稿到成片”的整条流水线做得足够便宜、足够稳定。
本文地址:https://www.163264.com/18599