Day 79 · 蒸馏与路由:让小模型接住八成流量
大模型准但贵,小模型快但会犯错。今天用大模型给成千上万张工单打标签,蒸馏出一个专做分诊的小模型;再从 logprobs 里算出它对每个判断的置信度,低于阈值就回退大模型。最后扫一遍阈值,画出成本和准确率的取舍曲线,用数据选工作点。
大模型准但贵,小模型快但会犯错。今天用大模型给成千上万张工单打标签,蒸馏出一个专做分诊的小模型;再从 logprobs 里算出它对每个判断的置信度,低于阈值就回退大模型。最后扫一遍阈值,画出成本和准确率的取舍曲线,用数据选工作点。