英伟达发布Nemotron 3.5 Transcribe开源语音模型,支持8人同时说话识别
摘要
英伟达推出开放权重语音转录模型Nemotron 3.5 Transcribe,采用MoE架构,总参数340亿、激活参数43亿,支持40种语言转录与最多8人说话人识别,在Hugging Face英语ASR榜以5.33%词错误率位居开放权重模型第一。
英伟达于10月28日发布开放权重语音转录模型Nemotron 3.5 Transcribe,同时公开训练数据管线Granary v2。该模型将转录、说话人归属、翻译与音频问答整合于一体,目标场景覆盖会议纪要、课堂录像、访谈整理及多语言客服。
架构层面,Nemotron 3.5 Transcribe采用混合专家(MoE)设计,总参数约340亿,激活参数量约43亿。模型可处理最长1小时的录音,支持40种语言转录,其中31种语言可与英语互译;说话人识别最多可区分8名说话人,并支持13种语言的说话人标注。
该模型的核心能力在于应对多人同时发言。它在生成文本的同时即可为每段发言标注说话人,官方演示中针对1940年电影《他的女友礼拜五》语速极快、对白大量重叠的场景,仍能分角色生成字幕。
评测数据显示,该模型在Hugging Face Open ASR Leaderboard英语组以5.33%的平均词错误率位列开放权重模型第一;在Artificial Analysis非流式词错误率指数中以2.8%与Voxtral Small Transcribe并列开源模型首位。说话人归属方面,其在David AI的21种语言说话人分项评测中亦有表现。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗