跳到文章正文
应用 编辑推荐

破解后的 PS5 跑起 27B 大模型:每秒 20.9 个 token,游戏机成了本地 AI 服务器

家里那台吃灰的 PS5,除了打游戏还能干什么?一位开发者的回答是:把它变成一台本地大模型服务器。…

家里那台吃灰的 PS5,除了打游戏还能干什么?一位开发者的回答是:把它变成一台本地大模型服务器。不是跑几个小模型玩玩,而是让 270 亿参数的 Qwen3.8-27B 在游戏机上开口说话,速度还能达到每秒 20.9 个 token。

一分钟速览

  • 开发者 abhi245y 在 PS5LM 项目基础上做出原生 GPU 版 PS5LM Plus,让破解后的 PS5 本地运行大模型。
  • 早期纯 CPU 方案跑 27B 模型,平均每分钟只能生成约 1 个 token,基本不可用。
  • 移植 Mesa 的 AMD RADV 驱动、走 Vulkan 计算接口后,可用内存从约 6GB 提升到 11.4GB。
  • Qwen3.8-27B 高度量化版达到 20.9 token/s;Gemma 4 E4B 约 61 token/s,Llama 3.2 3B 约 124 token/s。
  • 内置网页聊天界面,并通过局域网 8081 端口提供兼容 OpenAI、Anthropic 的 API。

从“每分钟一个 token”到“每秒二十个”

PS5LM 并不是新项目。它最早是把 llama.cpp 移植到 PS5 上的尝试,思路很直接:既然 PS5 本质上是一台带 AMD APU 的电脑,那就让它在本地做推理。问题是,早期版本主要靠 CPU 跑,27B 参数模型平均每分钟只能吐出约 1 个 token。等一句话说完,咖啡都凉了。

真正的转折来自 GPU。开发者 abhi245y 把 Mesa 开源项目里的 AMD RADV 驱动移植到 PS5,再通过 Vulkan 计算接口,让 llama.cpp 以原生应用的方式调用主机 GPU。这个改动带来两个直接收益:一是可用内存从约 6GB 提升到 11.4GB,足以装下经过高度量化的 27B 模型;二是推理从 CPU 转移到 GPU,速度出现数量级变化。

PS5 的内存带宽是 448GB/s,这在游戏主机里属于相当可观的数字,而大模型推理恰恰是“喂数据”的活。最终,Qwen3.8-27B 的生成速度达到每秒 20.9 个 token。测试时 GPU 使用率拉满到 100%,CPU 只占 2%,说明瓶颈已经回到模型本身,而不是主机算力。换成更小的模型,数字更夸张:Gemma 4 E4B 约每秒 61 个 token,Llama 3.2 3B 能到每秒 124 个 token。

它不只是个聊天玩具

PS5LM Plus 内置了网页聊天界面,用户可以在同一局域网的其它设备上打开页面,直接和 PS5 上的模型对话。更重要的是,它通过 8081 端口提供 API 服务,并且兼容 OpenAI 与 Anthropic 的接口格式。这意味着 opencode、Codex、Claude Code 这类工具,可以把 PS5 当成一个“本地模型后端”来调用。

这一步的意义在于,它把游戏机从“单机玩具”变成了家庭网络里的推理节点。对于不想把代码、文档上传到云端的人来说,本地跑一个 27B 模型,已经能覆盖不少日常任务:改代码、写脚本、整理文档、做简单问答。速度谈不上飞快,但 20 token/s 已经接近正常阅读节奏。

代价与边界

先说清楚风险:想跑这套东西,PS5 必须先破解。破解主机可能带来账号封禁、无法联机、系统更新受限等问题,PSN 账号也有被封的风险。其次,PS5 的 16GB 统一内存仍是硬约束,11.4GB 可用内存意味着模型必须重度量化,上下文长度和输出质量都会打折。

再有,20.9 token/s 是 27B 模型的表现,和动辄几百 token/s 的桌面显卡相比并不算快;它更像是一次“硬件再利用”的极客实验,而不是要替代正规的推理服务器。散热、功耗、长时间运行的稳定性,也都还需要更多测试。

趋势洞察:消费硬件的“第二职业”

这件事最值得玩味的地方,不是 PS5 有多强,而是大模型正在重新定义“算力”的边界。过去,游戏主机、显卡、甚至手机,都是为特定场景设计的;现在,只要内存够大、带宽够高、能跑得动量化模型,它们就能被改造成 AI 推理设备。

对厂商来说,这是一块尚未被认真开发的市场:如果未来主机能官方开放本地模型接口,家庭里的游戏机就可能变成隐私友好的 AI 中枢。对开发者和极客来说,PS5LM Plus 证明了一件事——限制你的往往不是硬件,而是驱动和软件栈。Mesa RADV 与 Vulkan 的组合,把一个“不可能”变成了“每秒 20 个 token”。

当然,破解与封禁的风险不会消失。更合理的期待是,下一轮主机或掌机厂商会把“本地 AI”写进产品定义,而不是等民间黑客先跑通。

项目与讨论可关注 PS5LM 相关开源仓库及开发者 abhi245y 的发布页。

本文地址:https://www.163264.com/17193