7530 亿参数的 GLM-5.3,两台 DGX 跑出 607.8 tok/s:本地推理摸到“可服务”门槛
GLM-5.3 量化后约 464GB,单张 GB300 的 252GB HBM3e 装不下。NVIDIA 用两台 DGX Station 走 ConnectX-8 RDMA、TP=2,把这套模型跑成了单一 OpenAI…
主题标签
GLM-5.3 量化后约 464GB,单张 GB300 的 252GB HBM3e 装不下。NVIDIA 用两台 DGX Station 走 ConnectX-8 RDMA、TP=2,把这套模型跑成了单一 OpenAI…