
小米在机器人领域放了个大招。
7月15日,小米正式发布并全量开源了380亿参数的多模态自回归具身生成基础模型 Xiaomi-Robotics-U0。这是行业首个能统一覆盖四类核心具身生成任务的一体化方案,打破了以往机器人场景、轨迹、视频生成模型各自为政的局面。
四大能力一体化
这个模型同时承载了四项能力:
- 具身场景生成
- 具身轨迹迁移
- 机器人交互视频生成
- 通用文生图与图像编辑
它还能自主生成和扩增机器人训练所需的图像与视频数据,解决真机采集极端、危险、长尾场景数据成本高、难度大的痛点。
五维解耦控制,改哪里动哪里
模型独创了五维解耦结构化控制范式,可以分别对工作台布局、操作物体、杂物、光照、背景五大维度通过自然语言独立调整。修改画面元素时不会出现机械臂位姿错位、场景空间畸变的问题,全程保障多视角几何一致性。
兼容性方面,它支持方舟无限、智元多款、松灵PiPER等多种机器人本体,还能生成室内、户外、海底、赛博场景等各种开放世界仿真环境。
评测成绩:全球第一
在全球126款模型同台比拼的WorldArena具身视频评测基准中,Xiaomi-Robotics-U0拿下总分第一,指令遵循、交互流畅度、多视角一致性全部领跑。
在具身迁移对比测试中,它在深度一致性、结构保真等指标上全面超越闭源的GPT-Image-2.0——后者普遍存在跨视图物体错位的问题,根本没法用于机器人训练数据扩充。
真机实测更亮眼:用该模型扩增数据训练的机器人,在陌生光照、全新背景等复杂工况中,任务完成进度平均提升超26%,面对反光、彩色强光等视觉干扰也能自主校正。
生成速度:从400秒压到5.44秒
小米还自研了FlashAR推理加速方案,搭配vLLM分页KV缓存批量调度技术,把1024×1024分辨率图像生成耗时从四百多秒压缩到5.44秒,效率提升近83倍,真正做到了工业化批量生成。
全量开源
目前模型全部代码和权重已在官网、GitHub、Hugging Face、魔搭平台完整开源,面向全球具身智能开发者开放。
本文地址:https://www.163264.com/14196


微信扫一扫,鼓励一下~