OpenAI API提示缓存拉到12小时,Codex订阅用户直接永久缓存

AI资讯4分钟前发布 tibor
700 0

做智能体的开发者应该会喜欢这条:OpenAI API 的提示缓存,保留时间可以选 12 小时了。

这是 OpenAI 连续 28 天更新里第 16 天放出来的。用处很明确,那种常驻型的智能体,一整天都在复用同一套系统指令、工具定义和上下文,以前请求隔得久一点,缓存就过期了,下一次又得按全价重新写入。现在隔几个小时再来,照样按更低的缓存输入价计费。

订阅用户这边更彻底。登录状态下的 Codex 和 ChatGPT Work,缓存是“永久保留”,回到几个小时前甚至更早的会话接着干,保证命中,不会因为中途停下来被多扣。

缓存这件事平时不起眼,账单上却很实在。一个带着几万 token 系统提示和工具描述的智能体,每次请求真正新增的内容可能只有几百字,命不中缓存,钱大部分花在重复读同一段前缀上。

竞品此前普遍是分钟级。几家主流厂商的默认缓存窗口多在 5 分钟上下,长一点的要单独付费开启。12 小时这个数字,基本覆盖了一个工作日。

具体价格怎么算、12 小时档有没有额外的写入溢价,上线前最好拿自己的流量跑一遍,别只看公告。

© 版权声明

相关文章

OpenAI API提示缓存拉到12小时,Codex订阅用户直接永久缓存 暂无评论

none
暂无评论...