开源项目 编辑推荐
欧洲云厂商 OVH 下场做模型:开源 Olala mini 7A1B,8GB 显存就能跑
OVHcloud 发布首个 AI 模型家族 Olala,首个成员 Olala mini 7A1B…
文章目录
欧洲云服务商 OVHcloud 发布了自家第一个 AI 模型家族 Olala,首个成员叫 Olala mini 7A1B。

名字里的“7A1B”说的是总参数 70 亿、激活参数 10 亿。架构上,它把 Differential-TPA 和 Mamba-3 组合成混合注意力机制,使用 BF16 数据格式。
最实用的一点是门槛低:模型可在 8GB 显存的 GPU 上运行,在 RTX A4500 上词元吞吐量可达 160 TPS,纯 CPU 平台也能跑到 50 TPS。模型以 Apache 2.0 许可开源,发布在 Hugging Face 上。
训练成本并不便宜。OVH 用了三台欧洲公共超级计算机,靠 NVIDIA GH200、A100 和 H100 完成训练,总开销约 700 万欧元,折合约 5142.8 万元人民币。
当前版本上下文长度为 32K,年底推出的 1.1 版本会扩展到 128K,并提升数学能力。OVH 还透露,后续 Olala 2.0 的参数规模将超过 100B。
对开源社区来说,又多了一个能在消费级显卡上跑的欧洲选手;对 OVH 来说,这是从卖算力走向卖模型的第一次尝试。
本文地址:https://www.163264.com/21584


