谷歌 TPU v5p AI 芯片击败英伟达H100 速度是其的3.4到4.8倍

谷歌 TPU v5p AI 芯片击败英伟达H100 速度是其的3.4到4.8倍

谷歌最近推出了其最新旗舰张量处理单元(TPU)v5p,这是一款专门设计的AI加速器,用于AI训练和推理,标志着Google在对抗市场领导者Nvidia的GPU方面迈出了重要一步。

TPU v5p已被部署以支持Google的“AI超级计算机”架构,这是一种专门为运行AI应用而构建的超级计算架构,与通常运行科学工作负载的超级计算机不同。

核心规格对比:
– TPU v5p:每个集群(Pod)拥有8,960个芯片,相比之下v4版为4,096个芯片。新Pod提供4,800Gbps的吞吐量,并具有95GB的高带宽内存(HBM),而v4版为32GB HBM RAM。
– Nvidia H100:被认为是AI工作负载最佳的图形卡之一,其训练工作负载的速度是Nvidia A100 GPU的四倍。

性能对比:
Google的v5p TPU在训练大型语言模型方面的速度是TPU v4的2.8倍,提供2.1倍的价值。尽管今年早些时候发布的中间版本TPU v5e在性价比方面表现最佳,但其速度仅是TPU v4的1.9倍,这使得TPU v5p成为最强大的选项。

根据Google自己的数据,TPU v4在性能上估计比A100快1.2到1.7倍。粗略计算表明,TPU v5p的速度大约是A100的3.4到4.8倍,这使其与H100相当或更优,尽管需要更详细的基准测试才能得出结论。

Google的TPU v5p AI芯片以其在速度、内存和带宽方面的显著提升,成为Nvidia H100的有力竞争者。

不同于Nvidia的做法,Google的定制TPU仅在内部使用,用于支持其自身的产品和服务,包括Gmail、YouTube和Android等服务,并且已被用于训练Gemini AI模型。

本文地址:https://www.163264.com/6283

(1)
上一篇 2024年1月29日 下午12:58
下一篇 2024年2月1日 下午6:44