Mistral AI 开源了 Mistral 8X22B 模型，发布磁力链（262 GB）

地址：

magnet:?xt=urn:btih:9238b09245d0d8cd915be09927769d5f7584c1c9&dn=mixtral-8x22b&tr=udp%3A%2F%http://2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%http://2Ftracker.opentrackr.org%3A1337%2Fannounce

• Mistral AI在1月份公布了Mixtral 8x7B模型的技术细节，并推出了相应的聊天模型，其性能在人类评估基准上超过了多个知名模型，如GPT-3.5 Turbo、Claude-2.1、Gemini Pro和Llama 2 70B。
• 3个月后，Mistral AI开源了更大的模型——Mistral 8X22B，成为迄今为止第二大开源模型，仅次于xAI的Grok-1。
• Mistral 8X22B模型文件大小约为262GB，是一个MoE（专家混合模型）模型，具有56层、48个注意力头、8名专家和2名活跃专家。
• 该模型的上下文长度为65k，相比于之前8x7B模型的性能和多语言支持，8X22B模型预计会有更进一步的提升。