越狱版 PS4 跑起 9B 本地大模型:每秒 43 个词元,全程不联网
开源项目 Garlic LLM 让越狱版 PlayStation 4 跑起 90 亿参数本地大模…
文章目录


开源项目 Garlic LLM 干了件挺硬核的事:让一台越狱版 PlayStation 4 跑起 90 亿参数的本地大语言模型,最高生成速度每秒 43 个词元,聊天和语音对话都能离线完成,不需要联网。
项目作者是开发者 Leonardo Alegria。技术路径说白了就是“绕过中间层”:PS4 原本的驱动是给游戏图形处理用的,他没有走这条路,而是直接向主机里那颗 AMD GCN 架构 GPU 下底层指令,把游戏机当成一台能跑 AI 推理的离线电脑。
麻烦在于 PS4 没有给非官方程序用的通用 GPU 计算接口,也没有机器学习库。这些都得自己写。作者等于从零补了一套 GPU 指令集和推理运行时,才让模型在主机上跑起来。
内存是另一道坎。为了塞进 PS4 有限的内存,项目选用阿里巴巴的 Qwen3.5-9B 作为基座,把权重压到 3 位或 4 位量化,连同加速数据整体控制在约 4.5GiB。生成时用了“推测解码”(MTP),预先采样并验证多个词元,以此提高输出效率。
实测数据是这样:普通文本生成大约每秒 31 到 39 个词元,生成程序代码时最高能到每秒 43 个词元,上下文窗口约 16000 词元。除了文字聊天,它还支持语音输入和语音对话——语音识别用 Parakeet TDT 0.6B v3,语音合成用 Chatterbox,另外还能在主机上执行 AI 生成的 Python 代码,并提供“思考模式”,让模型先推理再作答。
代价是内存吃紧。开启语音对话后占用明显上升,文本生成速度会掉到每秒 22 个词元左右。
这个项目的价值不是让你真拿 PS4 当生产力工具,而是给了一个明确的信号:一台七八年前的游戏主机,配上足够聪明的量化方案和底层优化,就能跑起 9B 级别的模型。当推理硬件从数据中心下沉到客厅设备,本地 AI 的门槛比多数人想的更低。
本文地址:https://www.163264.com/21635


