近日，AI芯片创企Groq推出了Mixtral 8x7B API，据AI模型和托管提供商ArtificialAnalysis.ai的测评数据，该接口创下了新的大模型吞吐量记录，达到每秒430 Tokens。Groq还提供Llama2 7B模型访问，最高可实现每秒750 Tokens。据介绍，Groq平台基于其自研LPU（语言处理单元）芯片运行，该芯片在大模型推理任务上速度是英伟达GPU的10倍。Groq由谷歌前员工乔纳森·罗斯（Jonathan Ross）在2016年创立，主要针对云计算市场开发AI芯片，其主要成员曾参与研发谷歌的TPU（张量处理单元）。
试用地址：
https://www.groq.com/
本文地址：https://www.163264.com/6607