豆包实时音视频通话模型1.0 API全量上线,端到端融合看听说
摘要
火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,将声音、画面、时序与表达统一到同一端到端模型,实现边看边听边说全模态实时交互,降低传统级联系统的延迟叠加与信息损耗。
11月19日,火山引擎宣布豆包实时音视频通话模型(SeedRealtime 1.0)API服务正式全量上线。该模型将声音、画面、时序与表达整合进同一个端到端架构,使系统能够在连续的多模态信息流上完成实时交互,用户可同时获得“边看、边听、边说”的体验。
与依赖ASR、VLM、TTS等多个模块串联的传统语音级联系统相比,SeedRealtime 1.0以端到端方式减少了延迟叠加与信息损耗。模型不再被动等待用户提问,而是持续理解场景变化,在适当时机主动开口,把看、听、说纳入同一套实时决策体系。
在技术细节上,SeedRealtime 1.0原生支持声音、画面与时序信息的深度融合,可结合场景消解同音词歧义,也能理解视觉中的时序指代。在多人、嘈杂、开放的真实环境中,模型能够分辨说话对象、理解上下文关系,并基于多模态信息作出实时判断。
应用层面,该模型可覆盖多人协同交流、跨语言导览以及带视觉上下文的实时问答等场景。以多人聚餐为例,SeedRealtime 1.0可结合视觉与语音区分不同人物、记住各人身份,并依据多人不同需求定制旅行方案。模型还具备持续环境感知与主动表达能力,可在察觉关键目标出现或画面状态变化时作出响应。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗