腾讯混元开源同传大模型：边听边译，3 秒出结果，还能克隆你的声音

腾讯混元在 10 月 26 日发布并开源了同声传译大模型 Hy-SimulMT。它做的事很实在：把说话人的音频实时送进模型，模型一边听一边翻，同步输出译文文字和语音，还能克隆说话人的音色，把声音特点和语气一起保留下来。这项能力已经在腾讯的 Hy 翻译 App 里上线，目前可以免费体验。

一分钟速览

• 支持中英双向语音到语音实时翻译，说一句译一句，不用等整段说完。
• 实测响应时间在 3 秒左右，人类专业同传的平均水平是 4 到 5 秒。
• 模型权重开源，同时支持实时音色克隆，译文听起来还是本人的声音。
• 在自建的多领域测试集上，翻译质量评分超过人类同传专家组的最高分。

同传难在哪

普通的翻译是”听完再翻”，句子完整了才好处理。同声传译不一样，说话人还在讲，译员就得开口，这意味着要提前判断后半句要往哪走。

中英文的语序差异让这件事更难。中文习惯把时间、条件放在前面，英文常常把关键信息压在句尾。译员如果老老实实等，延迟就上去了；如果抢着说，又容易翻错、翻漏。所以同传本质上是在延迟和质量之间做取舍：反应越快，留给理解的信息越少。

Hy-SimulMT 走的是同一条路。音频持续输入，模型持续输出，翻译和语音合成同时进行，所以用户听到的不是一段段拼接的译文，而是跟着说话节奏走的连续表达。

成绩单是怎么算的

官方在业界常用的长音频开源评测集 RealSI 上做了测试。横轴是延迟指标，衡量译文比原声慢了多少秒，越低越好；纵轴是翻译质量，由 GPT6.1-Sol 打分，越高越好。结果显示，Hy-SimulMT 在延迟压到最低的同时，质量做到了开源模型里的最好水平，也超过了大多数商业同传接口。

短音频测试集上，模型的表观同样稳定。不过团队显然清楚，跑分不等于实战，于是又自己搭了一套更接近真实场景的数据。

和人类译员正面对比

这套数据覆盖十个领域：软件与人工智能、医学、制造能源、自然科学、农业食品、商务管理、法律、教育、文化文旅、体育生活，包含演讲、访谈、会议等多种场景，素材来自互联网上新出现的中英文音频。团队请来六位人类同传专家做同样内容的翻译，其中三位持有一级口译证书，三位持有二级口译证书，都有多年实战经验。

对比时，人类组取三人中的最高分作为代表。结果是模型在质量得分上更高，延迟也更低。也就是说，在这场限定范围的比试里，它同时赢下了速度和准确率两项。

为什么值得关注

同传是语音技术里最难啃的组合题：既要识别得准，又要译得顺，还要合成得像人。过去这类能力大多锁在商业接口里，按分钟计费，开发者想改也改不了。现在权重开放，做会议系统、直播字幕、跨境客服的团队可以直接拿来做二次开发。

当然，测试集再全面也覆盖不了真实世界的全部噪音。口音、方言、专业术语、多人抢话、网络抖动，这些才是落地时真正会掉链子的地方。模型给出的 3 秒延迟是个漂亮数字，但产品体验好不好，最终要看它在信号不稳、场景嘈杂时还能不能稳住。

另一个看点是音色克隆。译文用本人的声音说出来，听感上更自然，可一旦被滥用，伪造音频的门槛也跟着降低。技术开源之后，这类风险不会自动消失，只会在更多场景里出现。