模型框架
-
蚂蚁百灵万亿级大模型Ling-2.6-1T正式开源:1万亿参数,主打”快思考”
蚂蚁集团旗下的百灵大模型迎来重大动作——Ling-2.6-1T 正式开源!这不是一个”为了大而大”的参数怪物,而是一头真正能打”实战”的万亿级综合旗舰模型。 核心看点 1万亿参数规模,采用MLA与Linear Attention混合架构,兼顾性能与效率 主打”快思考”策略,通过抑制过程冗余的强化奖励机制压缩…
-
苹果发布AI推理框架LaDiR:突破单一思维,让AI同时探索多条解题路径
核心看点 并行推理机制:LaDiR让AI在回答问题前同时启动多条独立的推理路径,从随机噪声开始逐步优化,最后选出最佳答案 扩散+自回归混合架构:推理阶段使用扩散模型并行探索,最终输出阶段使用自回归模型保证连贯性 多样性鼓励机制:框架内置特殊机制防止所有路径过早收敛于同一结论,确保每条路径探索不同解题思路 实测表现优异:在LLaMA 3.1 8B和Qwen3-8B-Base上部署…
-
英伟达发布Nemotron 3 Nano Omni全模态模型:30B-A3B MoE架构,推理吞吐量暴涨9倍
核心看点 全模态统一:Nemotron 3 Nano Omni将视频、音频、图像和文本推理集成于单一模型,替代传统碎片化的视觉-语音-语言模型链 30B-A3B混合MoE架构:结合Mamba层(提升序列与内存效率)和Transformer层(精准推理),内存和计算效率最高提升4倍 吞吐量9倍领先:在视频推理任务中,相比其他开源全模态模型,有效系统容量最高提升约9.2倍;多文档推…
-
英伟达发布 Nemotron 3 Nano Omni 全模态模型:30B-A3B 混合 MoE,吞吐量飙升 9.2 倍
英伟达近日宣布推出 Nemotron 3 Nano Omni,一款面向企业级 AI Agent 平台的开源全模态推理模型,可将视频、音频、图像和文本的多模态推理集成于单一模型中,替代传统碎片化的多模型链方案。 核心看点 30B-A3B 混合 MoE 架构:结合 Mamba 层(高效序列处理)与 Transformer 层(精准推理),计算效率最高提升 4 倍 吞吐量碾压级表现:…
-
蚂蚁集团百灵大模型开源 Ling-2.6-flash:104B参数仅激活7.4B,推理速度最高340 tokens/s
蚂蚁集团旗下百灵大模型今日宣布正式开源 Ling-2.6-flash,这是一款总参数量 104B、激活参数仅 7.4B 的 Instruct 模型,以极低的推理成本实现了令人瞩目的性能表现。 核心看点 104B 总参、7.4B 激活:采用混合专家(MoE)架构,大幅降低推理资源需求 推理速度达 340 tokens/s:在 4 卡 H20 环境下实现极速推理,Prefill 吞…
-
蚂蚁集团百灵大模型开源 Ling-2.6-flash:104B参数、4卡H20跑到340 tokens/s
4月29日消息,蚂蚁集团旗下百灵大模型今日宣布 Ling-2.6-flash 正式开源,同步提供 BF16、FP8、INT4 等多个量化版本,方便开发者根据硬件环境和部署需求灵活选择。 核心看点 惊人推理速度:4卡H20环境下推理速度最快可达 340 tokens/s 超高效 Token 消耗:完整评测仅消耗 1500 万 tokens,约为竞品的 1/10 104B 总参 +…
-
英伟达发布 Nemotron 3 Nano Omni 全模态开源模型:30B-A3B MoE架构,吞吐量飙升9.2倍
4月29日消息,英伟达今日正式推出 Nemotron 3 Nano Omni 开源全模态推理模型,这是一款面向企业级 AI Agent 的一体化基础模型,将视频、音频、图像和文本的统一推理集成于单个高效开放式模型中。 核心看点 超强吞吐量:在视频推理任务中,相比其他全模态模型,有效系统容量最高提升约 9.2 倍 全模态统一:视频、音频、图像、文本全部打通,告别碎片化模型链 架构…
-
英伟达开源Nemotron 3 Nano Omni全模态模型:30B参数MoE架构,吞吐量暴增9.2倍
英伟达又放了个大招。当地时间4月28日,英伟达正式发布了 Nemotron 3 Nano Omni 开源全模态推理模型,一口气把视频、音频、图像和文本的多模态推理能力塞进了一个统一的模型里。翻译成大白话就是:以前需要好几个模型串起来干的活儿,现在一个模型全搞定。 核心看点 采用30B-A3B混合MoE(混合专家)架构,每个token只激活3B参数,效率拉满 视频推理吞吐量最高提…
-
小米MiMo-V2.5系列正式开源!MIT协议商用无限制,同步启动百万亿Token激励计划
今天凌晨,小米技术官方宣布MiMo-V2.5系列模型全面开源,采用宽松的MIT协议,允许自由商用、二次训练与微调,无需额外授权。与此同时启动的MiMo Orbit百万亿Token计划,更是直接向全球AI开发者送出价值数亿元的免费Token。 核心看点 MiMo-V2.5-Pro在GDPVal-AA和ClawEval榜单上位列全球开源模型第一 两款模型均支持100万Token上下…
-
小米 MiMo-V2.5 系列模型全面开源:MIT 协议 + 百万亿 Token 免费送,登顶全球开源榜首
4月28日凌晨,小米技术官方正式宣布,旗下 MiMo-V2.5 系列大模型全面开源,同步启动「Orbit 百万亿 Token 计划」,面向全球开发者免费发放总计 100 万亿 Token 额度。这一动作将小米 AI 推向了开源赛道的最前沿。 核心看点 MiMo-V2.5 系列包含 Pro 和标准版两款模型,均支持 100 万 Token 超长上下文窗口 Pro 版本在 GDPV…
