蚂蚁联袂清华开源Realtime-Venus,全双工交互系统登陆GitHub
摘要
蚂蚁集团Venus团队与清华大学在GitHub开源Realtime-Venus实时交互系统,支持全双工对话与异步任务委托。系统由三个组件构成:9B参数的多模态模型Realtime-Venus-Omni、专注语音的Realtime-Venus-Audio,以及负责任务执行与结果回传的Harness运行时。
蚂蚁集团Venus团队与清华大学近日在GitHub上联合开源了一个名为Realtime-Venus的实时交互系统。该系统主打全双工对话能力,同时支持异步任务委托,试图在实时交互与后台任务处理之间建立统一的运行框架。
从公开的组件构成来看,Realtime-Venus被拆分为三个独立模块。其中,Realtime-Venus-Omni为9B参数规模,承担流式音视频对话与主动交互功能;Realtime-Venus-Audio同样为9B参数,聚焦语音交互与音频理解场景。两者分别覆盖多模态与纯音频两条技术路径。
第三个组件是Harness运行时。根据描述,该运行时负责在后台执行任务,并将执行结果返回至同一对话上下文中。这一设计意味着系统不仅处理即时的双向对话,还能将异步任务的处理结果无缝嵌入原有交互流程。
此次开源由蚂蚁集团与清华大学合作完成,代码已托管于GitHub平台。对于关注实时多模态交互与任务型对话系统的开发者而言,Realtime-Venus提供了一套包含模型与运行时在内的完整参考实现。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗