小米开源端到端空间音频理解大模型MiDashengLM-Spatial
摘要
小米发布并开源MiDashengLM-Spatial,这是业界首个端到端空间音频理解大模型,以MiDashengLM-7B为基座,赋予模型空间感知与推理能力,将应用于智能家居和汽车座舱等场景。
10月16日,小米宣布推出Dasheng系列新成员MiDashengLM-Spatial,并完整公开模型权重与推理代码,采用Apache 2.0许可证发布。这是继声音基座模型Xiaomi Dasheng和声音理解大模型MiDashengLM-7B之后,小米在音频AI领域的又一次开源动作。
据小米介绍,MiDashengLM-Spatial以MiDashengLM-7B为基座,为声音理解大模型赋予“一双耳朵”——不仅能识别声音内容,还能判断声音来源方向及其在空间中的分布。小米称其为业界首个开源的端到端空间音频理解大模型,在保留基础音频理解能力的同时,新增空间感知与推理能力,推动音频大模型从“听懂声音”迈向“理解声音所处的空间”。
此前,Dasheng系列技术已在小米智能家居、汽车座舱等场景实现超过30项落地应用,覆盖语音、环境声音和音乐的 unified 感知与理解。新模型将陆续接入上述场景,借助空间听觉能力提升“人车家全生态”的交互体验。
目前,小米已公开项目主页、技术报告及评估代码,供开发者查阅与复现。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗