跳到文章正文
行业/好文 编辑推荐

高通 AI200 推理卡开测:一个机架 56 张卡,43TB 内存

高通联合 Cirrascale 开放 Dragonfly AI200 客户评估,主打大内存和低持…

高通当地时间 17 日宣布,与 AI 私有云厂商 Cirrascale 合作,向部分客户开放 Dragonfly AI200 推理加速器的评估。客户可以在云端先跑自己的 AI 负载,看看这张卡合不合手。

高通 AI200 推理卡开测:一个机架 56 张卡,43TB 内存
高通联合 Cirrascale 开放 Dragonfly AI200 客户评估,主打大内存和低持有成本。

AI200 是高通第一款机架级 AI 方案。单张卡配 768GB LPDDR5X 内存,支持 PCIe Gen6 纵向扩展和 RoCE 横向扩展,思路很明确:把“内存管够”当成卖点。

放到机架上更直观。一个 140kW 的液冷 ORv3 机柜能塞进 56 张卡,总内存 43TB,内存带宽 0.414 PB/s。高通称这样的单机架就能跑 10T 级别超大模型的推理,总持有成本更低。

AI 推理这盘棋上,英伟达之外的选择正在变多。高通能不能靠内存容量和能效切走一块,接下来就看这批客户试用的反馈。

本文地址:https://www.163264.com/22221