跳到文章正文
开源项目 编辑推荐

小米开源空间音频理解大模型 MiDashengLM-Spatial:给 AI 装上一双能听出方位的耳朵

小米发布 Dasheng 系列的重要新成员 MiDashengLM-Spatial,完整公开了模…

小米发布 Dasheng 系列的重要新成员 MiDashengLM-Spatial,完整公开了模型权重和推理代码,并以 Apache 2.0 许可证发布。

过去两年,小米先后发布并开源了声音基座模型 Xiaomi Dasheng 和声音理解大模型 MiDashengLM-7B,相关技术已经在智能家居、汽车座舱等场景落地超过 30 项应用,能够对语音、环境声音和音乐做统一感知和理解。

这次的新模型以 MiDashengLM-7B 为基座,给声音理解大模型补上“一双耳朵”。它不仅能听懂声音的内容,还能判断声音来自哪里、在空间里如何分布。

小米称,MiDashengLM-Spatial 是业界首个开源的端到端空间音频理解大模型。它在保留基础音频理解能力的同时,具备了空间感知和推理能力,让音频大模型从“听懂声音”进一步走向“理解声音所处的空间”。

这款模型后续会陆续用在小米智能家居、汽车座舱等场景,用空间听觉能力提升“人车家全生态”的交互体验。

本文地址:https://www.163264.com/17029