英伟达不想再堆显存了:HBM 只加 3%,每美元智能体吞吐量最高翻 30 倍
一家公司把客服流程交给智能体之后,工程师发现账单的涨法很奇怪:GPU 数量没翻倍,Token 也没暴增,但推理成本每周都在往上跳。往下查,问题不在算力,而在显存——智能体每次调用工具都要把历史上下文重新带一遍,KV 缓存…
主题标签
一家公司把客服流程交给智能体之后,工程师发现账单的涨法很奇怪:GPU 数量没翻倍,Token 也没暴增,但推理成本每周都在往上跳。往下查,问题不在算力,而在显存——智能体每次调用工具都要把历史上下文重新带一遍,KV 缓存…
在AI芯片的世界里,参数表通常只会朝一个方向走:更高、更快、更大。但英伟达最近做了一次反方向的调整。对比今年六月与十月的第一方文档可以看到,Ru…
一颗 HBM 芯片,不只有存储单元,还有一层负责供电、信号和接口的“底座”——基底裸片。过去,三星供应的 HBM 从核心裸片到底座,全部自己造…
9 月 29 日消息,TrendForce(集邦)今日宣布上调对 HBM 内存 2027 年价格的展望,预计其平均价格将在明年出现 121% 的…