Day 63 · 上下文工程进阶:长任务里的压缩、外部记忆和缓存命中
跑五十步的 Agent,上下文会变成最贵也最容易出错的地方。今天看三份一手资料:Chroma 的上下文腐烂实验、Anthropic 的上下文工程文章、Manus 围绕 KV 缓存命中率的六条经验,然后写一个按「轮」裁剪的分层上下文管理器,最后设计一个实验,在自己的任务上比较几种策略的成功率和成本。
Day 52 · 可观测与成本:接 Langfuse、算单工单成本、缓存与模型路由
给 SupportPilot 装上眼睛和账本:每张工单在 Langfuse 里是一棵能点开的 trace,每次模型调用都记一笔精确到分的账。然后用两招把单工单成本压下来:让 prompt 前缀稳定以吃到缓存命中价,让小模型干分类、大模型只管起草。
Day 38 · 成本与延迟:prompt caching、模型路由、并行、批处理
把一张工单的花费拆到每一次模型调用,按 2026 年 10 月的真实价格算清楚钱花在哪;调整 prompt 结构让缓存命中,让便宜模型做分类、贵模型只做起草,用并行和流式压延迟,把积压工单挪到错峰时段和批处理接口上跑。