Day 52 · 可观测与成本:接 Langfuse、算单工单成本、缓存与模型路由
给 SupportPilot 装上眼睛和账本:每张工单在 Langfuse 里是一棵能点开的 trace,每次模型调用都记一笔精确到分的账。然后用两招把单工单成本压下来:让 prompt 前缀稳定以吃到缓存命中价,让小模型干分类、大模型只管起草。
Day 38 · 成本与延迟:prompt caching、模型路由、并行、批处理
把一张工单的花费拆到每一次模型调用,按 2026 年 10 月的真实价格算清楚钱花在哪;调整 prompt 结构让缓存命中,让便宜模型做分类、贵模型只做起草,用并行和流式压延迟,把积压工单挪到错峰时段和批处理接口上跑。