b
-
蚂蚁集团百灵大模型开源 Ling-2.6-flash:104B参数仅激活7.4B,推理速度最高340 tokens/s
蚂蚁集团旗下百灵大模型今日宣布正式开源 Ling-2.6-flash,这是一款总参数量 104B、激活参数仅 7.4B 的 Instruct 模型,以极低的推理成本实现了令人瞩目的性能表现。 核心看点 104B 总参、7.4B 激活:采用混合专家(MoE)架构,大幅降低推理资源需求 推理速度达 340 tokens/s:在 4 卡 H20 环境下实现极速推理,Prefill 吞…