蚂蚁百灵开源 Ming-3.0 语音全家桶：一句台词怎么演，你可以“导演”它

给配音演员一段台词，再补一句要求：“第二句把声音压下来，说到‘别走’的时候停半秒，尾音带一点不甘心。”这样的沟通，过去要在录音棚里来回好几遍；现在，它可以直接写进提示词里。

10 月 20 日，蚂蚁百灵宣布开源 Ming-3.0 语音系列。这套模型分成语音合成、音频理解与对话、语音识别三条线，一共五款，开发者可以只取其中一块，也可以把几块拼成一条完整的语音交互链路。

一分钟速览

• Ming-3.0 共五款模型，覆盖语音合成、音频理解与对话、语音识别三类能力
• 语音合成支持文字描述音色、参考音频克隆，以及用“导演模式”控制情绪、重读和节奏
• 音频模型可直接处理长音频，输出转写、总结和结构化观点，并保留说话人、情绪与环境信息
• 五款模型已在 Hugging Face、ModelScope 开源，Ling Studio 提供在线体验与 API
• 蚂蚁内部已用于阿福 App、医生音色克隆、支付宝搜索、安全核身等场景

三条产品线，拼成一条链路

这次开源的模型并不是一个“万能语音模型”，而是按任务拆开的三组能力。Ming-3.0-tts 负责把文字变成声音，提供 0.5B 和 tiny 两个规格；Ming-3.0-audio-flash 与 audio-tiny 负责听懂长音频，做转写、总结和观点分析；Ming-3.0-asr-tiny 则专注语音识别，把声音变回文字。

拆开的好处是组合自由。一个客服机器人可以先用 asr-tiny 接住用户的语音输入，再由大模型生成回复，最后交给 tts 播报；一条播客处理流水线则可以直接把整段音频丢给 audio-flash，让它一次性产出逐字稿、摘要和结构化要点。对于算力预算有限的团队，tiny 版本也留出了端侧和低并发场景的空间。

导演模式：把“表演”写进提示词

Ming-3.0-tts 最值得注意的设计，是把“怎么演”变成了可描述的输入。它的 Voice Design 允许用一段文字描述目标音色，也支持用参考音频做音色设定。更进一步的是导演模式：创作者可以说明台词的表演方式，情绪怎样变化、哪些词需要重读、节奏应该怎么处理。

这件事的意义不在于“音色更多了”，而在于控制粒度。过去的语音合成，开发者调的是语速、音高、停顿这些参数；现在的调法更接近导演给演员说戏。对有台词、有角色、有情绪起伏的内容来说，这种接口比一堆数值参数更接近创作现场。

为什么先在自家业务里跑一遍

蚂蚁给出的落地场景很具体：阿福 App 的主对话与语音通话、医生音色克隆、小虎智能办公，以及支付宝搜索、蚁小保实时语音对话和安全核身。这些场景的共同点是，对识别的准确率、对音色的可信度、对实时性的要求都不低，尤其是安全核身，任何一点误识别都可能带来真实风险。

先在自己的高频业务里打磨，再拿出来开源，是一条比较务实的路径。它意味着模型面对的不是干净的测试集，而是方言、口音、领域热词、嘈杂环境和多人对话。Ming-3.0-asr-tiny 的语料构建里就专门提到普通话、英文、方言和领域热词，并用候选热词列表与对话上下文来修正识别结果，这些都是在真实业务里才会被逼出来的工程细节。

语音正在变成智能体的入口

过去一年，行业把大量注意力放在文本和代码上，语音更像是“附属能力”。但当智能体开始接管日程、客服、车载和家居，语音重新变成了最自然的入口：用户不想打开 App、不想打字，只想说一句话把事情交出去。

这也解释了为什么语音模型的开源竞争突然密集起来。谁能在低延迟的前提下，同时做好识别、理解和合成，谁就有机会成为智能体的“耳朵和嘴”。Ming-3.0 把三段能力拆开开源，实际上是在邀请开发者自己组装这套感官系统。

当然，开源只是起点。音色克隆带来的版权与滥用问题、语音数据里的隐私信息、实时对话中的打断与纠错，这些都还没有标准答案。模型能力越强，围绕它的规则就越需要被认真讨论。对开发者来说，先把技术跑通，再想清楚边界，可能才是这套模型真正要面对的功课。