OpenAI 为 GPT-6 改进了 prompt caching,主要是两件事:显式断点和缓存诊断。
显式断点:自己决定在哪里切
此前缓存的前缀由服务端推断,调用方只能指望关键部分(系统提示、工具定义、长文档)恰好落在被缓存的那一段里。现在可以在请求中直接标明断点的位置,被复用的就是调用方真正想复用的部分。
对多数应用来说,这直接对应成本结构:系统提示和工具定义通常是一次请求里最长、最不变的部分。把它们固定在断点之前,等于把每次调用的计费面积压到只剩下的对话增量。
缓存诊断:知道自己有没有命中
这次发布里更重要的一半是诊断。
缓存命中是少数能同时压低延迟和成本的手段,但多数团队并不知道自己的请求有没有真正命中——有的框架会在中间插入时间戳或请求 ID,把前缀悄悄改掉,缓存于是从未生效。账单上不会报错,只表现为「比预期贵」。
把命中与未命中当成可观测指标暴露出来,团队才有可能发现自己一直在为同一段文本重复付费。
不必盯的东西
命中率的具体数字是发布方的口径,会随流量结构变化,参考价值有限。真正值得带走的是可观测能力本身:能看见,才谈得上优化。
update 2026.09.22