跳到文章正文
模型框架 编辑推荐

180B 参数塞进 32GB 内存:Hugging Face 把 MoE 专家流式加载跑通了

Hugging Face 工程师用“槽位池 + 磁盘流式读取”让 180B MoE 模型在 32…

180B 参数的 MoE 模型,塞进一台只有 32GB 统一内存的 MacBook,还要跑到“能用”的速度——过去这基本等于痴人说梦。Hugging Face 工程师 Tarek Ziadé 最近把这件事做成了,而且代码几乎全部由 AI 编写。

MoE 专家流式加载示意
MoE 专家流式加载示意

他盯上的模型是 Qwen3.8-Flash-Next:48 层、每层 512 个专家、每次激活 10 个,FP8 下专家权重合计 121GB,另有一张 51GB 的 n-gram 嵌入表。目标机器是一台 32GB 内存的 M5 MacBook。

一分钟速览

  • 核心思路:只把“热专家”放进显存/统一内存,其余专家放磁盘,按路由结果流式读取;
  • 关键技巧是把专家缓存做成“槽位池”,让标准 grouped_mm 内核直接复用;
  • OLMoE-1B-7B 上做到 34.6 tok/s,原版 Transformers 为 38.1 tok/s;
  • Qwen3.8-Flash-Next 在 32GB Mac 上流式加载 121GB 专家,速度接近 Strata 的 94%;
  • 相关实现已提交 Transformers PR,目标是把 experts_offload 变成标准能力。

先看别人怎么“卸载”

MoE 模型的特点是参数多、激活少:专家占总权重的 90% 以上,但每个 token 只走其中一小部分。理论上,只要把不常用的专家放到内存或磁盘,就能用很小的显存跑很大的模型。难的是“怎么放、谁来算、每个 token 搬什么”。

llama.cpp 用 mmap 映射 GGUF,把专家留在 CPU 上并直接在 CPU 计算,只有激活值过 PCIe。专家能装进内存时它很难被击败;装不进时,页缓存会剧烈抖动。vLLM 的 –cpu-offload-gb 把权重放在固定内存里,内核通过 PCIe 就地读取,但没有缓存,热专家每个 token 都要重新搬一次,也没有磁盘层。Transformers 走 Accelerate 的 device_map,按模块整体搬运;对 MoE 来说,一个模块就是一整层专家库,为了用 8—10 个专家,每个 token 要把整层所有专家都复制到 GPU。

在单张 A10G(24GB)上跑 Qwen3.6-35B-A3B,差距非常直观:Strata Q8_0 为 82—88 tok/s,llama.cpp Q8_0 为 63—64 tok/s,vLLM FP8 加专家卸载为 20.1 tok/s,原版 Transformers + Accelerate 只有 0.16 tok/s。三个数量级的差距,说明问题不在硬件,而在数据搬运方式。

槽位池:让缓存“伪装”成普通专家库

作者先从能装进内存的 OLMoE-1B-7B 开始,保证每个 token 都能和原版逐位对比。第一版把专家放磁盘、在设备上做 LRU 缓存、用 Python 循环一次跑一个专家,结果只有 10.1 tok/s,而原版约 32 tok/s。I/O 不是瓶颈,Python 循环才是。

真正的转折是把缓存改造成“槽位池”:一块预分配的设备张量,所有层共享;每层维护一张“专家 id → 槽位”的表。推理时把路由给出的专家 id 重映射到槽位,整个池子看起来就像普通的专家库,grouped_mm 可以原样运行,不需要写自定义专家矩阵乘。这样速度回到 34.6 tok/s,与原版的 38.1 tok/s 只差约 9%。

随后,作者把这套加载器做成 from_pretrained 的一个选项,提交到 Transformers 的 PR。专家映射到 “disk” 后不再走 Accelerate 的整层搬运,而是走流式路径:未命中时由 8 个 I/O 线程读取,每个专家一次连续读;提前两层用当前隐状态跑路由器,预测接下来要预取哪些专家;专家可以离线量化,减少每次读取的字节数。

32GB Mac 上的真实成绩

Qwen3.8-Flash-Next 的 121GB 专家只是第一道坎,51GB 的 n-gram 嵌入表还需要另一套处理。最终方案把稠密权重放 MPS、专家放磁盘、以 12GB 缓存做流式加载,专家量化为 3 bit。作者称,流式方案在 token 生成上已经接近 Strata 的 94%,差距约 6%。

这个数字的含义不是“Mac 能替代 GPU 服务器”,而是“本地大模型的门槛又被往下拽了一截”。对个人开发者,13.5 tok/s 的体验仍然偏慢,不适合高频编程智能体;但对离线文档处理、隐私敏感任务、长尾语言实验,它已经跨过了“完全不能用”的门槛。

趋势判断

MoE 正在把“模型大小”和“运行内存”解耦。过去大家比谁的显存大,接下来会比谁的专家调度更聪明:缓存命中率、预取准确率、量化精度、SSD 带宽,都会成为推理系统的新指标。

更值得注意的是开发方式。作者明确说,Transformers PR、模型专用包和 Metal 内核几乎全部由 AI 生成,他负责的是选择方向、读 profile、决定保留什么。这或许是另一条暗线:当 AI 能写底层推理代码,个人工程师能触达的系统复杂度正在快速上升。

如果 experts_offload 最终进入 Transformers 主线,受益的不会只是 Mac 用户。任何“显存不够、但磁盘够大”的设备,都可能用同一套接口跑起远超内存容量的 MoE 模型。

本文地址:https://www.163264.com/21927