OpenAI 为 GPT-6 升级提示词缓存,复用前缀最高可享九折输入优惠
摘要
OpenAI 面向 GPT-6 系列推出改进的提示词缓存系统与配套诊断工具,默认提升缓存命中率。在 30 分钟窗口内复用的合格共享前缀,可获得最高 90% 的缓存输入 token 折扣,有望降低高频调用场景的推理成本。
OpenAI 近日针对 GPT-6 系列模型更新了提示词缓存机制,并同步上线了一套诊断工具,用于帮助开发者观察缓存的实际运作情况。与此前版本相比,新系统在默认状态下即可获得更高的缓存命中率,开发者无需额外配置即可受益。
根据官方披露的信息,此次缓存优化的核心在于对共享前缀的复用判定。当请求中包含符合条件的共享前缀,且该前缀在 30 分钟的时间窗口内被重复使用时,系统会将其识别为可缓存内容,并对其对应的缓存输入 token 提供折扣。
折扣力度是本次更新中最受关注的数字:符合条件的缓存输入 token 最高可享受 90% 的价格减免。这意味着在长系统提示词、固定上下文或高频重复调用等场景下,输入侧的成本结构可能发生明显变化。
配套推出的诊断工具则补上了可观测性这一环。开发者可借助该工具排查缓存未命中的原因,进而调整提示词结构或调用节奏,以更充分地利用这一折扣机制。对于将 GPT-6 用于生产环境的团队而言,缓存命中率的提升直接关系到单位请求的支出与响应效率。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗