索尼专利:AI在GPU渲染前预测下一帧,瞄准游戏卡顿与帧生成延迟
摘要
索尼新专利提出用AI在GPU完成渲染前预测下一帧,直接向显示缓冲区发送预测画面,以缓解卡顿并规避传统帧生成需等待两帧的延迟问题;方案采用联合训练编解码器,并结合运动矢量与手柄操作历史进行预测。
索尼近期申请的一项专利显示,其正在探索让AI在GPU完成渲染之前预测下一帧画面,以此减少游戏过程中的画面卡顿,并尝试规避帧生成技术附带的额外延迟。该信息由科技媒体TechSpot报道。
按照专利描述,传统帧生成需要等待前后两帧渲染完成,才能插入中间帧;索尼的方案则直接利用已生成的画面预测下一帧,无需等待两帧即可完成插值,从而帮助游戏维持更稳定的帧输出节奏。
在实现路径上,索尼采用联合训练的编解码器:编码器将渲染完成的画面转换为嵌入表示,对图像做紧凑的数值化表达,解码器再利用这些提示生成预测帧。运行时,该系统与图形渲染管线并行工作——硬件渲染下一帧的同时,AI处理上一帧,并将预测结果发送至显示缓冲区,使预测画面有可能在下一帧渲染完成前先行显示。
专利还提到,系统可利用运动矢量以及玩家近期的手柄操作,将玩家操作角色的历史作为下一帧动作预测的依据。训练过程使用连续视频帧,神经网络以随机初始化权重起步,输入一帧并尝试预测下一帧,再将预测结果与实际后续画面比对,计算衡量预测误差的损失值。
不过,这项技术能否真正发挥作用,取决于AI能否足够迅速地生成准确画面,从而在渲染速度下降时填补帧输出间隙。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗