快讯 23:59阿里预判三年内原生全模态统一生成模型将落地23:46Agent时代,CPU的价值该重估了22:35Meta macOS AI助手Muse曝0-day漏洞:本地应用可窃取账户令牌 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 今天 · 星期三 · 09-23 05:00 约 1 分钟读完

OpenAI 为 GPT-6 升级提示词缓存,复用前缀最高可享九折输入优惠

摘要

OpenAI 面向 GPT-6 系列推出改进的提示词缓存系统与配套诊断工具,默认提升缓存命中率。在 30 分钟窗口内复用的合格共享前缀,可获得最高 90% 的缓存输入 token 折扣,有望降低高频调用场景的推理成本。

OpenAI 近日针对 GPT-6 系列模型更新了提示词缓存机制,并同步上线了一套诊断工具,用于帮助开发者观察缓存的实际运作情况。与此前版本相比,新系统在默认状态下即可获得更高的缓存命中率,开发者无需额外配置即可受益。

根据官方披露的信息,此次缓存优化的核心在于对共享前缀的复用判定。当请求中包含符合条件的共享前缀,且该前缀在 30 分钟的时间窗口内被重复使用时,系统会将其识别为可缓存内容,并对其对应的缓存输入 token 提供折扣。

折扣力度是本次更新中最受关注的数字:符合条件的缓存输入 token 最高可享受 90% 的价格减免。这意味着在长系统提示词、固定上下文或高频重复调用等场景下,输入侧的成本结构可能发生明显变化。

配套推出的诊断工具则补上了可观测性这一环。开发者可借助该工具排查缓存未命中的原因,进而调整提示词结构或调用节奏,以更充分地利用这一折扣机制。对于将 GPT-6 用于生产环境的团队而言,缓存命中率的提升直接关系到单位请求的支出与响应效率。

OpenAIGPT-6提示词缓存推理成本
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
50
企业落地案例
6
完整版提示词