Day 50 · 评测体系:100 条测试集、LLM-judge、轨迹评测,跑出第一份分数
把 Day 43 的验收指标变成能自动跑的评测:36 个场景、100 种客户说法,按场景拆 dev/test;规则检查管分类、工具轨迹、退款闸门、引用、事实和禁语,LLM 评审只判"有没有依据"和"有没有解决问题"两件事,再加成本和延迟。跑出第一份基线报告,并学会检查评审本身准不准。
把 Day 43 的验收指标变成能自动跑的评测:36 个场景、100 种客户说法,按场景拆 dev/test;规则检查管分类、工具轨迹、退款闸门、引用、事实和禁语,LLM 评审只判"有没有依据"和"有没有解决问题"两件事,再加成本和延迟。跑出第一份基线报告,并学会检查评审本身准不准。