Day 29 · 为什么 Eval 是分水岭:没有评测的 Agent 只是 demo
W4 做出来的工单 Agent 能跑了,但你改一句 prompt,它是变好了还是变坏了?今天建立评测的整套概念:评测金字塔、离线和在线、能力评测和回归评测、pass@k 和 pass^k,并给 W4 的 Agent 写第一个只有 10 条用例的冒烟评测。
Day 12 · Agent 的失败模式:死循环、乱调工具、参数错误怎么治
把 Agent 在生产里会遇到的失败分成三层九类,逐类给出代码层面的治法:重试与指数退避、超时、结果截断、步数和 token 预算、循环检测、撞线后的优雅收尾与转人工。最后用一个假模型写离线测试,不花一分钱验证这些防线。