#推理成本

大模型推理成本怎么降：缓存、分级路由与输出控制的 5 步治理

大模型推理成本靠换便宜模型降不下来，要做工程治理：稳定提示词前缀拿缓存折扣、按难度分级路由模型、控制输出长度、批量异步化、加预算告警。附 OpenAI 官方缓存数据与四个缓存杀手排查。