小米玄戒O100实测：端侧AI性能提升10倍，330Tokens/s流畅跑大模型

在%ignore_a_1%技术沟通会上，小米正式亮相了首款自研AI加速芯片玄戒O100。这款芯片的定位非常明确——专为端侧大模型而生的协处理器，目标是从底层解决端侧AI的带宽瓶颈问题。

传统SoC的痛点：数据搬运效率低

传统手机SoC在运行生成式AI任务时，普遍存在一个关键问题：数据搬运效率偏低。内存和计算单元之间的数据传输路径长、带宽有限，导致大模型生成卡顿、推理速度受限。这是端侧AI体验不佳的核心原因之一。

玄戒O100的解法：从传输架构入手

玄戒O100没有走堆算力的路线，而是从底层传输架构进行优化：

• 采用6nm Wafer on Wafer晶圆级垂直堆叠工艺，搭配Hybrid Bonding混合键合技术
• 实现双晶圆垂直键合堆叠，大幅缩短数据传输路径
• 1.4μm超小键合间距，高密度垂直互连通道带来1.22TB/s的超高内存带宽

这个带宽规格达到了主流旗舰手机的16倍。

实测表现：330Tokens/s

在运行小米MiMo-3B端侧大模型的场景下，玄戒O100的推理速度最高可达330 Tokens/s。这意味着本地AI文本生成、智能总结和内容创作的流畅度有了质的提升。

沟通会现场，小米展示了玄戒O3主SoC搭配玄戒O100协处理器的技术原型机。双芯协同架构下，主SoC负责系统调度与基础运算，O100独立承接高强度端侧大模型推理负载，分工明确。

量产时间待定，但方向明确

小米尚未公布玄戒O100在量产机型上的具体落地时间，但从原型机的展示来看，端侧AI的性能释放已经有了明确的技术路径。主SoC+协处理器的协同路线，可能是未来端侧AI设备的标准配置。

对于用户来说，这意味着未来的手机、平板甚至智能家居设备，都有可能在本地流畅运行大模型，而不必完全依赖云端。