跳到文章正文
开源项目 编辑推荐

英伟达开源 Nemotron 3.5 Transcribe:300 亿参数跑在一块芯片上,1 小时录音分得清 8 个人

周一早上的跨国会议,屏幕里六个人、三种语言,散会后半小时内要发纪要。过去只有两条路:把录音传到云…

周一早上的跨国会议,屏幕里六个人、三种语言,散会后半小时内要发纪要。过去只有两条路:把录音传到云端转写服务,按分钟付钱,顺便把公司内部讨论交给别人的服务器;或者让同事戴着耳机一句句重听。现在英伟达给出了第三个选项——把模型下载到本地,一块芯片就能跑起来。

10 月 28 日,英伟达发布 Nemotron 3.5 Transcribe,一个开放权重的语音转写模型,同时把开源语音数据集 Granary 更新到第二版。模型权重、数据集、配套工具一起放出,没有订阅门槛,也不绑定某一家云服务。

一分钟速览

  • 开放权重、可自行部署,支持最多 40 种语言转写
  • 31 种语言能与英语互译,单次可处理 1 小时长录音
  • 最多区分 8 名说话人,直接面向会议纪要与病历记录
  • 300 亿参数,可在一块 Jetson AGX Thor、DGX Spark 或 Blackwell 芯片上运行
  • 同步开源 Granary v2 数据集;目前只处理录音文件,不支持直播流

语音转写为什么又成了必争之地

语音识别本身不是新问题,难的是企业真正想要的东西:不是把声音变成字,而是把一场会变成能直接用的记录。谁在说话、在哪一句换了人、专业术语有没有写错,这些细节决定了转写结果到底是“能看”还是“能用”。

英伟达把目标场景说得很明确:商务会议和医疗病历。这两块是 AI 在办公场景里最早落地、也最容易算清投入产出比的地方。一场两小时的会,人工整理纪要要花掉一个助理半天;一份门诊记录,医生边问诊边打字,注意力被切走一半。转写模型如果足够准,省下的是真金白银的人力。

300 亿参数塞进一块芯片,意味着什么

Nemotron 3.5 Transcribe 的参数量是 300 亿。这个数字放在语言模型里不算大,但放在需要实时处理的语音模型里已经相当可观。更关键的是,英伟达称它可以在单块芯片上运行,覆盖从机器人控制器 Jetson AGX Thor、笔记本级的 DGX Spark,到数据中心的 Blackwell。

这条产品线里还有一个对照物:Parakeet,参数只有 11 亿,主打极小体积。一个 11 亿、一个 300 亿,中间留出的空间,正好对应“能听清”和“听得懂专业内容”之间的差距。医院里一句“患者诉剑突下压痛”,会议里一句“这个季度的 ARR 环比”,通用模型经常写错,行业模型才有机会写对。

数据、说话人和那点没做到的

官方给出的能力清单包括:40 种语言转写、31 种语言与英语双向翻译、单次最长 1 小时音频、最多 8 名说话人分离。英伟达还表示,它在包括 Hugging Face 开放语音识别榜单在内的多项基准上优于同类模型。

短板也很直白:它处理的是录音文件,不是直播流。想把一场正在进行的会议实时转成字幕,这个模型暂时帮不上忙。对绝大多数“会后整理”的需求来说,这不算致命;但对客服实时质检、在线课堂字幕这类场景,就是硬门槛。

开源数据集才是长期筹码

与模型一起更新的 Granary v2,是这次发布里容易被忽略的部分。语音模型的水平,很大程度取决于标注数据的语言覆盖和场景多样性。把数据集开源,等于把“自己调行业术语”的能力交到开发者手里:拿模型、拿数据、用 NeMo Speech 之类的工具做微调,就能让它在某个行业、某种口音上继续提升。

这套组合拳的潜台词是:英伟达不打算靠卖转写服务赚钱,它要的是更多人愿意在自己的机器上跑语音模型,而机器里的芯片,最好是自己家的。

语音模型正在扎堆发布

这段时间语音赛道明显升温:Mistral 本月推出 Voxtral 3,ElevenLabs 上线面向语音智能体的 Realtime,Salesforce 也发布了自家语音模型 Launa-Omni。大家的路线不同,有人押实时对话,有人押多语言,有人押端侧。

英伟达选的是自己最熟悉的位置——开放权重、单芯片可跑、从边缘到数据中心全覆盖。对开发者来说,这意味着语音能力正在从“调用一个 API”变成“部署一个模型”。前者的成本随调用量线性上涨,后者的成本在硬件买断之后就基本固定。

趋势洞察

语音转写正在重复图像识别的路径:先由云端服务证明需求,再由开放模型把价格打下来,最后由端侧硬件把能力推到离用户更近的地方。当 300 亿参数的模型能塞进一块芯片,会议纪要、门诊记录、法庭笔录这些“音频不出门”的场景,就有了真正落地的可能。

接下来值得观察的只有两件事:一是 40 种语言里,中文和各类方言的实际准确率究竟如何;二是“不支持直播流”这个限制,会在下一代产品里补上,还是被留给合作方去做。

本文地址:https://www.163264.com/18378