跳到文章正文
大模型 编辑推荐

讯飞把语音模型做成「现场理解器」:SparkAudio 1.0 能分清谁在说话,端侧 4B 模型做到云端七成能力

语音助手的经典失败场景是这样的:五个人在会议室里讨论,你对着音箱说了一句指令,它把旁边人的半句话…

语音助手的经典失败场景是这样的:五个人在会议室里讨论,你对着音箱说了一句指令,它把旁边人的半句话也收了进去,然后给出一个谁都听不懂的回答。问题不在识别率,而在传统语音系统把声音压成文字的那一刻,说话人、情绪、方向、环境声全丢了。科大讯飞 10 月 22 日发布的新一代交互模型,试图把这个环节补回来。

一分钟速览

  • 星火语音基座大模型 SparkAudio 1.0 发布,把音频理解、情绪识别、实时说话人分离、环境声理解统一到一个模型里。
  • 讯飞星火 X2.6 端云一体大模型与端侧 Spark-X2.6-4B 同步亮相,4B 模型约 41 亿参数、最长上下文约 100 万词元。
  • 官方数据:部分端侧方案已达到约 70% 的云端能力;2026 年平台语音大模型相关调用量同比增长超过 20 倍。
  • 多人场景下串扰率降至 1.7% 以下,最高 5 人同时交互时实时分辨率达 87%。

从级联到统一:丢掉的信息找回来

过去的语音交互是一条流水线:降噪、识别、转文本、交给语言模型理解、再合成语音输出。每一层职责清晰,但每一层都在丢信息。语气里的犹豫、突然拔高的音量、背景里的关门声、声音来自左边还是右边,这些在转成纯文本后基本消失。模型只能根据字面意思回答,于是就有了「听不懂现场」的尴尬。

SparkAudio 1.0 的方向是把这些能力收进同一个模型:不只处理语言内容,也处理声音本身携带的信息。在多人对话里,系统需要判断现在是谁在说话、用户有没有被打断、不同声音来自哪个方向、到底该回应哪一个人。这些判断如果交给下游模块拼装,延迟和错误率都会累积;放进基座模型统一建模,才有可能做到实时。

目前相关能力已经进入讯飞输入法 16.0、讯飞听见、讯飞智能办公本等产品。这个落地路径很讯飞:先在自有硬件和成熟软件里跑通,再对外供给。

端侧 4B 模型的真实意义

Spark-X2.6-4B 有约 41 亿参数,最长上下文约 100 万词元,延续了上一代 Spark-X2.5 系列的长上下文架构,并通过后训练强化长文本理解、工具调用和智能体任务。它的上一代还包括 1.7B 版本,用于进一步压低端侧部署的算力门槛。

更关键的是比例:讯飞称部分端侧方案已经能达到约 70% 的云端能力。过去端侧模型只能做唤醒、固定指令、简单问答,因为参数、内存、算力三重约束摆在那里。当 4B 级模型具备百万上下文、工具调用和智能体能力,一部分原本必须上云的任务就可以留在本地——尤其是高频、简单、涉及敏感数据的任务。

刘庆峰给出的分工判断是:未来约 60% 的应用在本地完成,30% 通过端云协同解决,剩下约 10% 的高复杂度任务交给云端。这个比例是否准确可以讨论,但方向清楚:端侧不再是「降级版」,而是默认执行层,云端负责兜底。

把「声学空间」也交给模型

只提升语言模型能力,解决不了真实空间里的交互。一个人在安静办公室说话,和五个人在嘈杂展厅同时交谈,对系统是两个难度完全不同的问题。

讯飞这次公布了多模交互与具身多模交互技术,把声源定位、多人交互、视听觉信息和空间环境结合起来。此前他们尝试过用唇动视觉配合麦克风阵列解决「鸡尾酒会问题」,但受光线、角度、是否面对摄像头影响。新方案引入全景摄像头与环形麦克风阵列,在 360 度空间内处理多人声音,官方数据是串扰率低于 1.7%、5 人同时交互实时分辨率 87%。

机器人方向则更进一步:复杂空间动态降噪、多目标交互意图识别、语音与动作统一规划执行、视觉触发的主动交互。这意味着系统不只要判断「谁在说话」,还要理解人在空间里的位置、状态和意图,再决定自己该做什么动作。对服务机器人来说,这项能力的重要性不亚于语言推理本身。

换设备不换上下文

家庭里的电视、手机、音箱、投影各有各的交互系统,用户在客厅电视上起了一个任务,走到卧室再开口,系统通常不知道前面发生了什么。讯飞的做法是用统一的云端 Agent 管理上下文与任务状态,让多台设备共享同一段交互过程,实现自动换端、换端继续、跨设备协同。

这背后是一个不太被讨论但很关键的变化:语音助手的主体从「一台硬件」变成「整个空间」。用户不需要判断该对哪台设备说话,系统根据距离、任务类型、设备能力决定谁接收、谁回答、在哪完成。这和端云分工是同一套逻辑——AI 不绑定固定终端,而是按当前任务动态选择模型、设备与能力。

趋势观察

语音正在从「输入法」变成「传感器」。当模型能同时理解语言、说话人、情绪与环境声,语音交互的评价标准就会变:不再是识别准确率多少,而是多人场景下能不能正确归属、嘈杂环境里能不能只听该听的、换设备后能不能接着聊。

这也给硬件厂商提了个新问题:麦克风阵列和摄像头的布局,开始直接影响模型效果,而不只是工业设计。语音 AI 的竞争,正在从模型层往声学结构层下沉。

本文地址:https://www.163264.com/17804