Tags

#evaluation

2posts

Day 128

Day 128 · BillSleuth(七):错误分析与迭代

拿着 Day 127 的评测结果做错误分析:先把失败自动分桶,再逐桶读样例。冒烟的 15 次运行全对,唯一的「失败」是厂商排队超时,但读成功的运行时发现了真问题:重复开票时贷记单开在哪张,取决于模型列发票号的顺序。写一个不调模型的组件级评测把它量出来(160 次判断开错 7 次),在 recompute_invoice 的返回结构上加 overpaid 和 duplicate_of 两个字段后降到 0。再讲一次只改一处、用 McNemar 判断提升、模型对比,以及怎么切留出集防止对评测集过拟合。

Day 127

Day 127 · BillSleuth(六):100 个场景的评测与模拟客户

给 BillSleuth 建一套能复现的评测:Day 122 造的 100 个场景(12 类根因 80 个,四种「账其实没错」20 个),一个会着急、会记错数字、会追问的 LLM 模拟客户,一组纯规则的判分(根因、多收金额、发票号、动作、数字幻觉、误冲正、漏冲正、转人工),每次试验在独立进程里从干净的库副本开始,结果带置信区间和 pass^k。顺便回答 Day 124 留下的问题:结论多写了原发票号算不算对。