跳到文章正文
大模型 编辑推荐

豆包把边看边听边说塞进一个模型:SeedRealtime 1.0 API 上线

火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API,把声音、画面、时序…

豆包把边看边听边说塞进一个模型:SeedRealtime 1.0 API 上线

火山引擎今天正式上线豆包实时音视频通话模型 SeedRealtime 1.0 的 API 服务。简单说,它想让 AI 像人一样,一边看着你、一边听你说、一边接话。

过去的语音助手大多是串糖葫芦:先做语音识别,再交给视觉模型看画面,最后用语音合成说出来。环节一多,延迟叠加,信息也在转换中丢掉不少。SeedRealtime 1.0 的做法是把声音、画面、时序和表达统一到同一个端到端模型里,在连续的多模态信息流上实时交互。

这意味着模型不再只是等你提问。它能持续理解场景变化,在合适的时候主动开口。比如看到关键目标出现、画面状态变化,或者任务节点到了,它会主动提醒、反馈和补充。

官方给的应用例子挺具体。多人聚餐时,它能结合视觉和语音区分不同的人、记住各自身份,再按每个人的需求分别定制旅行方案。冲咖啡时,它看到用户把整颗咖啡豆倒进萃取手柄,会提醒要先研磨;萃取完成后,还能根据油脂和出液量建议缩短萃取时间。

学习场景里,它能盯着翻页画面,识别到指定章节就提醒用户,并报出学习率、动量、权重衰减这些关键训练参数。在嘈杂的机场,它能自动过滤无关闲聊,用户问航班时调用刚才看到的大屏信息作答,还能认出指示牌,主动指路到网约车上车点。

抗干扰是另一个重点。模型能分辨旁人闲聊和背景噪声,不会因为一点动静就误触发,也能感知对话节奏,该接话时接话、该停顿时停顿。官方称,相比级联方案,它的音视频对话节奏问题减少了一半,单次对话能完整顺畅进行的概率也明显提升。

对开发者来说,语音助手、智能硬件、陪伴类应用和实时客服,都是这套 API 的直接落点。AI 交互正在从会对话往会协助走。

本文地址:https://www.163264.com/21991