跳到文章正文
开源项目 编辑推荐

米哈游联合清华北大开源 GameScaling:8 个模型,教 AI 用键鼠打游戏

让 AI 玩游戏,难点不在看懂画面,而在把"看懂"变成"手上有动作"。米哈游崩坏 AI 研发团队…

让 AI 玩游戏,难点不在看懂画面,而在把”看懂”变成”手上有动作”。米哈游崩坏 AI 研发团队联合清华大学、北京大学、中国科学院大学、香港大学、新加坡国立大学等机构,开源了 GameScaling 系列游戏模型,一共 8 个版本,参数从 0.8B 覆盖到 27B。

一分钟速览

  • 基于 Qwen3.5 视觉语言模型继续预训练,输入画面与操作记录,输出键鼠指令。
  • 8 个检查点覆盖 0.8B、2B、9B、27B 四种规模,每种分 S1、S3 两个版本。
  • S1 只用《我的世界》数据训练,S3 用多游戏混合数据,《我的世界》占 27%。
  • 各版本均使用 1600 小时游戏数据进行训练。
  • 代码与权重采用 Apache 2.0 许可,支持 vLLM 部署。

它到底在学什么

研究团队关心的是一个老问题:模型规模变大,能力会不会跟着变强?也就是所谓的扩展规律。他们把这个问题放进了游戏场景里——因为游戏既有清晰的目标,又有连续的操作,还能自动判定成败,是研究具身智能的天然试验场。

模型的输入是当前游戏画面,加上此前的一部分画面和操作记录;输出则是接下来的键盘、鼠标动作。每次调用大约生成 200 毫秒的操作序列,里面包含 6 个各 33 毫秒的动作步骤,以及鼠标移动和滚轮指令。节奏之细,接近人手操作的真实频率。

能打的游戏不止一种

在《我的世界》里,模型要完成采矿、合成物品、对抗僵尸;在《毁灭战士》里,要一边战斗一边找路;在密室场景中,则要解谜并逃出去。任务类型差别很大,考的是同一套能力:看懂画面、记住刚才发生了什么、然后决定下一步按哪个键。

8 个版本的区别也在这里。S1 只吃《我的世界》的数据,属于专精路线;S3 用多游戏混合数据训练,其中《我的世界》占 27%,走的是通用路线。两组对照,正好能看出”数据多样性”值不值这个代价。

部署门槛不算高

按项目仓库的说明,0.8B、2B、9B 三个版本的权重都能在单张 GPU 上跑;27B 版本需要两张 GPU 做张量并行推理。项目提供了推理客户端、提示词模板、操作解析代码和示例程序,也支持用 vLLM 部署模型服务。

对研究者和独立开发者来说,这个组合比较友好:想验证想法,用最小的版本就够;想做效果对比,还有完整梯度可选。团队同时放出了论文《Scaling in Games: Continued Pre-Training for Embodied Agents in Diverse Virtual Worlds》,把持续预训练的思路讲得更细。

趋势洞察

把游戏当作训练场,已经不算新鲜事,但这一系列工作的价值在于”把规律量出来”。到底多大的模型能稳定操控角色,数据从单一游戏换到多游戏后收益如何,这些答案比一个漂亮的演示更有用。

更远一点看,游戏里的键鼠操作只是手段,真正想练的是”感知—决策—执行”这条闭环。今天它在《我的世界》里挖矿,明天可能就在真实设备上拧螺丝。差距不在模型结构,而在现实世界不给你重开一局的机会。

本文地址:https://www.163264.com/17733