Day 100 · AgentOps(四):评测平台与线上实验
「新 prompt 通过率从 82% 涨到 86%」这句话,在 50 条用例上几乎没有意义。今天把评测做成平台服务:结果按用例落库,两个版本做配对比较,给出 McNemar 检验和成本差的置信区间;再加一个按客户稳定分流的 A/B 实验,让改动先在 10% 的流量上跑。
Day 69 · 评测里的统计学:样本量、置信区间、显著性
v2 在 180 条用例上比 v1 高了 1.1 个点,能合并吗?今天用 SupportPilot 那种「场景 × 说法」的评测数据,把 Wilson 区间、聚类标准误、配对比较、McNemar、按簇 bootstrap、重复采样和功效分析全部写成代码跑一遍。跑完你会发现,这 1.1 个点在统计上什么也说明不了,而这个评测集连 6 个点以下的提升都看不出来。