开源项目 编辑推荐
美团开源 LongCat-2.5:1.6 万亿参数、百万上下文,还专门照顾了国产芯片
总参数 1.6 万亿,每个 token 只激活约 480 亿,MIT 协议可商用,视觉和文本共用…
文章目录

美团 11 月 2 日发布的 LongCat-2.5,在 11 月 9 日正式开源了。协议是 MIT,可以商用推理部署,也能拿去做二次训练,不需要额外授权。
这是一个面向长程智能体任务的原生多模态模型。总参数 1.6 万亿,但每个 token 只激活约 480 亿参数,上下文长度支持到一百万。官方说,它在复杂代码库开发、完整项目构建、Visual Coding 和专业办公这些场景里,端到端交付能力都有明显提升。
它处理视觉的方式值得说一下。模型没有外挂一个视觉模块,而是把视觉信号表示成多层级的离散 token,和文本一样交给同一个主干模型处理。具体做法是对原生分辨率的视觉特征做残差向量量化,一层层补足细节;视觉 token 可以离线预先算好并缓存,减少在线计算量,分布式训练的负载也更均衡。视觉码本和主干是联合训练的,所以视觉和文本共享同一套参数,在同一个语义空间里完成图像理解和代码生成。
推理效率上,LongCat-2.5 走的是 W4A4 方案:专家权重和激活值同时量化到 4 bit,直接用原生 INT4 矩阵乘法单元来算。团队还针对显存和带宽受限的国产算力芯片,在模型架构、芯片适配和部署策略上做了协同优化。
在 Visual Coding 方向,它能做创意设计和 3D 类任务。模型权重已经放到 Hugging Face,技术博客和 API 平台也同步上线。
本文地址:https://www.163264.com/20129


