跳到文章正文
大模型 编辑推荐

谷歌一次掏出两款 TPU:一颗保机密,一颗堆内存

TPU 8tx 与 TPU 8i Max 同台亮相:前者与 AMD 联合设计,把安全做进硬件层;…

谷歌一次掏出两款 TPU:一颗保机密,一颗堆内存

就在外界盯着英伟达的各种风波时,谷歌悄悄把自己的芯片路线图又往前推了一步。两款新 TPU 同时发布,一款解决数据不能出门的问题,一款解决上下文不够装的问题。

一分钟速览

  • 新芯片为 TPU 8tx 与 TPU 8i Max,属第八代 TPU 家族,基于今年 4 月发布的 8t / 8i;
  • TPU 8tx 与 AMD 联合设计,面向机密训练与推理,安全能力做进硬件层;
  • TPU 8i Max 把两颗推理芯片合封,内存、算力、带宽翻倍;
  • 目标很直接:降低云业务对外部芯片供应的依赖。

8tx:让模型权重在用的时候也不暴露

机密计算不是新概念,但把它做到 AI 加速器层面,难度完全不同。模型在训练和推理时,权重必须被解密、加载进显存、参与计算,这个过程中任何一环被旁路,机密性就破了。谷歌的说法是,8tx 把安全直接构建在硬件层,敏感数据和模型权重即使在活跃使用中也能保持隔离。

更有意思的是它的定制推理网络:可以在训练的同时跑推理,实现在线蒸馏——用大模型的能力现场带出小模型。对金融、医疗这类数据不能出机房的客户,这意味着可以用自己的专有数据训练,而不必把数据在设备之间搬来搬去。

8i Max:为大上下文买单

另一颗芯片走的是另一条路。8i Max 本质上是把两颗面向推理的 8i 合到一个封装里,内存容量、处理能力、带宽同时翻倍。落到用户体验上,就是模型在一次查询里能记住更多信息——长文档、长对话、大代码库,这类场景对显存和带宽的饥渴程度远超一般问答。

过去一年,长上下文几乎是所有头部模型的军备竞赛。但上下文窗口不是免费的:KV 缓存随长度线性膨胀,推理成本跟着上涨。把内存堆上去,是最笨也最有效的解法之一。

自研芯片的真正动机

谷歌、亚马逊、微软都在做自己的 AI 芯片,表面理由是性能,深层理由是供给安全。英伟达的产能和定价权,始终是云厂商成本结构里最不可控的一块。TPU 做到第八代,已经不只是内部替代品,而是可以对外售卖的云服务卖点。

值得注意的是,8tx 拉上了 AMD 联合设计。这既是技术分工,也是供应链上的风险对冲——把鸡蛋放进不同的篮子,在当下比任何时候都重要。

接下来看什么

芯片发布只是开始,真正的分水岭是软件栈:编译器能不能吃满新硬件、框架支持是否到位、客户迁移成本有多高。TPU 过去的短板从来不是峰值算力,而是生态。8tx 和 8i Max 能不能把机密和大上下文变成可交付的云产品,明年上半年的客户案例会给出答案。

本文地址:https://www.163264.com/20371