AI专区
大模型推理成本怎么降：缓存、分级路由与输出控制的 5 步治理
大模型推理成本靠换便宜模型降不下来，要做工程治理：稳定提示词前缀拿缓存折扣、按难度分级路由模型、控制输出长度、批量异步化、加预算告警。附 OpenAI 官方缓存数据与四个缓存杀手排查。
#Prompt Caching
AI专区
Anthropic 长上下文怎么用：整本手册塞进提示词，靠 Prompt Caching 省 90% 成本
Claude 的长上下文窗口让你能把整本手册或长文档直接放进提示词，再配合 Prompt Caching 把不变上下文缓存起来，长文档处理成本最高降 90%、延迟降 85%，是 RAG 之外更简单的知识注入方案。
