dspark

大模型推理的速度和成本，一直是AI落地的两大痛点。最近，北京大学和DeepSeek联合开源了一个叫DSpark的推理框架，专门解决这两个问题。 从初步信息来看，DSpark在生成效率和吞吐量上都有显著提升。对于需要大规模部署AI服务的企业来说，这可能是个好消息。 大模型推理的痛点：慢和贵 先说说为什么大模型推理这么让人头疼。 现在的AI应用，比如ChatGPT、文心一言这些聊天…