腾讯混元开源同声传译大模型Hy-SimulMT,实测响应约3秒
摘要
腾讯混元发布并开源同声传译大模型Hy-SimulMT,支持中英语音到语音实时翻译与音色克隆,实测响应约3秒,快于人类专业译员4-5秒的平均水平,已在腾讯Hy翻译App免费上线。
腾讯混元团队于10月26日发布并开源同声传译大模型Hy-SimulMT,该模型面向中英两种语言之间的语音到语音实时翻译场景。使用者输入的音频可被模型实时接收,模型在"边听边译"的过程中同步输出译文与合成语音,并支持实时音色克隆,以还原说话人的声音特征与语气。目前该模型已在腾讯Hy翻译App中首发上线,免费向用户开放体验。
低时延是Hy-SimulMT主打的性能指标。官方实测数据显示,该模型的响应时间约为3秒,而人类专业译员的平均水平在4至5秒之间。这意味着在语音输入到译文输出的链路上,模型的反应速度已快于人工同传的常规表现。
在翻译质量方面,官方测评称Hy-SimulMT的效果优于市面上主流的开源同传模型,并超过大部分商用同传API。在业界常用的长音频开源评测集RealSI上,该模型在StreamLAAL延迟指标处于最低区间的同时取得了开源模型中的最佳翻译质量,评分由GPT6.1-Sol给出。短音频测试集上,该模型同样有较好表现。
为更准确评估模型的真实水平,混元团队在合规允许范围内广泛收集了互联网上新出现的中英文音频素材用于测试。从开源与免费体验并行的策略看,Hy-SimulMT的发布为实时语音翻译领域提供了一个可供开发者直接调用的新选项,其实际落地效果仍有待更多第三方场景验证。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗