Edge0 开源 1450 亿参数端侧模型：29GB 内存跑在笔记本上，解码 80 tokens/s

把 1450 亿参数的模型塞进一台笔记本，这件事过去几年一直被认为不现实：显存不够、带宽不够、功耗更不够。11 月 12 日，Edge0 开源了 Edge0-145B 与 Edge0-120B，连同统一推理框架与部署工具一起放出，给出的实测数字是峰值内存 29GB、解码速度 80 tokens/s 以上。

如果这些数字在更多机型上复现，它改变的不是「能不能离线用 AI」，而是「离线能不能干重活」。

一分钟速览

• Edge0 开源 Edge0-145B 与 Edge0-120B，号称首个开源的 1450 亿参数端侧模型，权重、推理框架、部署工具与客户端一并放出。
• 官方数据：兼容笔记本上峰值内存 29GB，prefill 超过 1,100 tokens/s，解码 80+ tokens/s，典型功耗约 120W。
• 上下文支持 128K 至 256K，长输入下速度基本不变。
• 定位是能干活的助手：规划任务、写并运行代码、调试错误、对 3D 场景、游戏、硬件程序与 PCB 设计做视觉检查。
• 上一代 Edge0-35B 手机版峰值内存低于 2.5GB，已在 iPhone 18 Pro Max 上运行。
• 本地推理没有 token 与 API 费用，数据留在本机、可离线工作，但硬件与电费仍需自付。

29GB 这个数字意味着什么

端侧大模型过去两年一直在「能力」和「装得下」之间做取舍。参数量上去，内存和带宽要求就顶到消费级硬件的上限；参数量下来，复杂任务就明显吃力。

29GB 峰值内存之所以关键，是因为它正好落在一台高配笔记本的统一内存范围内。这意味着不需要服务器、不需要外接显卡，模型可以和编辑器、浏览器、容器同时待在一台机器上。80 tokens/s 的解码速度也过了「可用」这条线——比人阅读的速度快，交互时不会出现明显的等待感。

1,100 tokens/s 的 prefill 同样重要。真实工作里，提示词往往不是一句话，而是几十页代码或一整份规格文档。prefill 慢，意味着每次提问都要先等半分钟；prefill 够快，长上下文才谈得上实用。

至于 120W 的典型功耗，它决定的是能不能长时间跑。笔记本的散热上限通常在 60 到 140W 之间，120W 意味着这类负载必须靠插电和高转速风扇维持，续航场景下不可能持续。这一点官方也没有回避：硬件和电费仍然要花钱。

「能干完活」比「会答题」难

这份发布里最值得注意的不是跑分，而是任务清单：规划、写代码、运行、看结果、改。3D 场景、游戏、硬件程序、PCB 设计这几个例子，共同点是都需要「生成—执行—观察—修正」的闭环。

云端模型做这件事靠的是工具调用和足够长的上下文；端侧模型要在一个内存受限的进程里同时容纳模型权重、代码执行环境和渲染结果，工程难度高一个量级。Edge0 把推理框架一起开源，说明它希望开发者复现实验、做评测和微调，而不是只提供一个应用。

端侧模型的第三次机会

端侧 AI 此前经历过两轮热度：一轮是「小模型也能聊天」，一轮是「手机上的语音助手」。两次都没能真正替代云端，原因是能力差距太大，用户很快就会回到更强的模型那边。

这一次的变量有三个。第一，模型压缩与混合精度推理的工程进步，让 100B 级别的模型能在统一内存架构上跑起来；第二，Agent 工作流对延迟和数据位置敏感，本地执行有天然优势；第三，企业对数据出域的容忍度在下降，尤其是代码、病历、财务这类场景。

但冷静看，还有几个问号。其一，29GB 是特定机型与特定量化配置下的数字，不同硬件、不同上下文长度表现会差很多；其二，端侧模型的评测目前多来自发布方，独立盲测不足，「与部分前沿云端模型相当」需要更细的任务拆解；其三，开源许可证的具体条款决定了商业集成的边界。

谁最该关心这件事

第一类是处理敏感代码的团队。把仓库索引、重构建议、单元测试生成放在本机跑，等于把「代码不出内网」从合规口号变成物理事实。

第二类是网络不稳定环境下的开发者。离线可用不是噱头，飞机上、客户现场、隔离网络里，能不能继续用 AI 改代码，差别很实际。

第三类是硬件与制造行业的工程师。PCB 设计、嵌入式程序、机械装配这类工作，图纸和参数本身就是资产，本地推理的吸引力远大于省下的那点 API 费用。

还有一个更长远的影响：如果本地模型能稳定完成中等复杂度的任务，云端算力的需求结构会变。不是所有请求都需要最贵的通用模型，一部分会分流到本地。对正在把资本开支押在数据中心上的公司来说，这是一个需要用几年时间去验证的变量。

Edge0 这次给出的，是一份可以被复现的工程样本。它能不能变成日常工具，取决于接下来几周社区在真实任务上的反馈——尤其是那些官方演示里没有的、脏活累活。