跳到文章正文
大模型 编辑推荐

米哈游 Gamer 模型亮相:不读游戏数据,只看画面就能自己玩《崩坏:星穹铁道》

米哈游公布通用视觉语言动作模型 Gamer,以 5Hz 画面输入生成 30Hz 键鼠操作,1 万…

米哈游 Gamer 模型亮相:不读游戏数据,只看画面就能自己玩《崩坏:星穹铁道》

米哈游 Gamer 模型亮相:不读游戏数据,只看画面就能自己玩《崩坏:星穹铁道》

让 AI 玩游戏,常见做法是读内存、调接口、拿游戏内部状态;米哈游换了个更笨也更通用的路子:只给它看屏幕。11 月 17 日,米哈游《崩坏》系列 AI 研发团队公布通用视觉语言动作基础模型 Gamer,能像真人一样用键盘鼠标自主游玩 3D 和 2D 游戏。

一分钟速览

  • 输入是每秒 5 帧游戏画面,输出是 30Hz 键盘与鼠标指令
  • 不读游戏内部数据,也不依赖游戏专用 API
  • 用超过 1 万小时跨游戏键鼠轨迹做持续预训练
  • 自研 Streaming-vLLM 把端到端延迟从 1306 毫秒降到 65.12 毫秒
  • 40 项未见过的小游戏任务平均成功率 49.7%

为什么“只看画面”更难

读取游戏状态等于开卷考试,模型知道坐标、血量、任务进度,做决策自然容易。只看画面则是闭卷:模型要从像素里识别角色、地形、敌人和界面,再把理解翻译成按键与鼠标移动。这条路的好处是通用,换一款游戏不用重写接口;坏处是每一步都在跟延迟和内存较劲。

Gamer 的输入频率是 5Hz,输出却是 30Hz。画面看得不算快,手却要动得足够密,否则动作会一顿一顿。团队用超过 1 万小时的跨游戏键鼠操作轨迹做持续预训练,让模型先学会“人是怎么操作的”,再用稀疏思维指令微调和时序感知强化学习,把长任务拆成可执行的阶段。

65 毫秒意味着什么

推理延迟是游戏智能体的生死线。团队专门开发了 Streaming-vLLM 推理引擎,在英伟达 H200 上把端到端请求延迟从 1306 毫秒压到 65.12 毫秒。这个数字接近人类反应时间,模型才有机会在战斗、解谜这类实时场景里做出有效操作,而不是每一步都慢半拍。

实机演示里,Gamer 在《崩坏:星穹铁道》中执行主线任务、探索场景、完成解谜。经过强化学习的 Gamer-RL 在 40 项此前没接触过的小游戏任务里平均成功率 49.7%,高于未经微调的通用模型。这个成绩离“稳定通关”还有距离,但说明跨游戏迁移这件事开始有可行性。

先划清边界

外界最容易联想到外挂和自动化脚本。团队明确表态:Gamer 是探索交互环境通用智能体的学术项目,潜在方向是游戏测试、无障碍辅助和人机交互研究,不支持用于作弊、未授权访问、利用漏洞或破坏游戏公平性。出于数据安全考虑,目前只公开早期基础预训练阶段的通用文件,没有放出《崩坏:星穹铁道》的训练数据和相关模型权重。

游戏只是试验场

游戏是理想的智能体训练场:规则明确、反馈即时、画面信息丰富,又比真实世界便宜。Gamer 真正想验证的,是“看屏幕、动手操作”这套通用循环能不能成立。如果这条路走通,同一套范式可以迁到软件测试、手机操作、机器人遥操作。米哈游把边界划得很清楚,但这项研究指向的显然不只是游戏。

本文地址:https://www.163264.com/21643