微软专利拟用AI实时改写直播语音并同步唇形,延迟1至10秒
摘要
微软提交专利申请US 2026/0341309 A1,计划以AI智能体实时监听直播音频,按预设规则或观众年龄、语言、居住地等资料识别并替换词语,生成式AI同步重绘嘴部动作掩盖改动,处理后的视频延迟约1至10秒播出,专利还涵盖实时翻译功能。
微软近日提交一项专利申请,编号为US 2026/0341309 A1,名称为《利用人工智能近乎实时增强直播活动的视频或增强现实(AR)演示》。该技术瞄准直播及其他实时视频节目,目标是在播出过程中近乎实时地修改人物说出的内容,并让改动不易被观众察觉。
根据专利申请文件,系统内置一个AI智能体,可实时监听音频,并依据预设规则或观众个人资料识别需要修改或删除的词语,资料维度包括年龄、所讲语言和居住地。随后,生成式AI在音频中完成词语替换,并对每处修改前后的衔接做平滑处理,同时生成新的视频画面,使说话者的嘴部动作与修改后的语音保持一致。
在可替换内容方面,相关报道提到,口头填充词、口吃、发音错误的词语、冒犯性词汇,以及“y'all”和“bite the bullet”等口语表达都可能被处理。经过处理的视频会延迟约1至10秒播放,为系统留出完成音视频修改的时间。此外,该专利还涵盖实时翻译功能。
从技术路径看,这套方案将音频识别、内容替换与唇形重绘整合在同一流程中,并引入观众画像作为判断依据。对直播行业而言,这意味着内容审核与实时本地化可能出现新的实现方式;同时,按观众属性差异化修改播出内容,也涉及内容透明度与观众知情等议题,具体落地形态仍待观察。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗