快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 11-19 · 星期四 · 11-19 14:55 约 1 分钟读完

豆包实时音视频通话模型1.0 API全量上线,端到端融合看听说

摘要

火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,将声音、画面、时序与表达统一到同一端到端模型,实现边看边听边说全模态实时交互,降低传统级联系统的延迟叠加与信息损耗。

11月19日,火山引擎宣布豆包实时音视频通话模型(SeedRealtime 1.0)API服务正式全量上线。该模型将声音、画面、时序与表达整合进同一个端到端架构,使系统能够在连续的多模态信息流上完成实时交互,用户可同时获得“边看、边听、边说”的体验。

与依赖ASR、VLM、TTS等多个模块串联的传统语音级联系统相比,SeedRealtime 1.0以端到端方式减少了延迟叠加与信息损耗。模型不再被动等待用户提问,而是持续理解场景变化,在适当时机主动开口,把看、听、说纳入同一套实时决策体系。

在技术细节上,SeedRealtime 1.0原生支持声音、画面与时序信息的深度融合,可结合场景消解同音词歧义,也能理解视觉中的时序指代。在多人、嘈杂、开放的真实环境中,模型能够分辨说话对象、理解上下文关系,并基于多模态信息作出实时判断。

应用层面,该模型可覆盖多人协同交流、跨语言导览以及带视觉上下文的实时问答等场景。以多人聚餐为例,SeedRealtime 1.0可结合视觉与语音区分不同人物、记住各人身份,并依据多人不同需求定制旅行方案。模型还具备持续环境感知与主动表达能力,可在察觉关键目标出现或画面状态变化时作出响应。

豆包SeedRealtime 1.0火山引擎多模态交互
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词