行业/好文 编辑推荐
高通 AI200 推理卡开测:一个机架 56 张卡,43TB 内存
高通联合 Cirrascale 开放 Dragonfly AI200 客户评估,主打大内存和低持…
文章目录
高通当地时间 17 日宣布,与 AI 私有云厂商 Cirrascale 合作,向部分客户开放 Dragonfly AI200 推理加速器的评估。客户可以在云端先跑自己的 AI 负载,看看这张卡合不合手。

AI200 是高通第一款机架级 AI 方案。单张卡配 768GB LPDDR5X 内存,支持 PCIe Gen6 纵向扩展和 RoCE 横向扩展,思路很明确:把“内存管够”当成卖点。
放到机架上更直观。一个 140kW 的液冷 ORv3 机柜能塞进 56 张卡,总内存 43TB,内存带宽 0.414 PB/s。高通称这样的单机架就能跑 10T 级别超大模型的推理,总持有成本更低。
AI 推理这盘棋上,英伟达之外的选择正在变多。高通能不能靠内存容量和能效切走一块,接下来就看这批客户试用的反馈。
本文地址:https://www.163264.com/22221


