Day 101 · AgentOps(五):把微调小模型接进网关做级联路由
Day 79 的级联路由写在 SupportPilot 自己的代码里,Day 81 训出了分诊小模型。今天把级联搬进 AgentOps 网关,变成任何租户都能用的 triage 路由:小模型先判,低置信度、高风险类别、输出解析失败、小模型挂了这四种情况回退大模型;上线前先跑 shadow 模式,用一致率决定什么时候切流量。
Day 81 · W12 复习:给 AgentOps 训练一个路由小模型
W12 收尾。把选型、自部署、LoRA、蒸馏、置信度路由串成一条能重复执行的流水线,产出 AgentOps 平台的第一个自研模型:分诊路由小模型,连同数据卡、模型卡和上线方案。最后过一遍这周的资深面试题和最容易踩的坑。
Day 79 · 蒸馏与路由:让小模型接住八成流量
大模型准但贵,小模型快但会犯错。今天用大模型给成千上万张工单打标签,蒸馏出一个专做分诊的小模型;再从 logprobs 里算出它对每个判断的置信度,低于阈值就回退大模型。最后扫一遍阈值,画出成本和准确率的取舍曲线,用数据选工作点。
Day 75 · 选模型是工程决策:闭源、开源、大小模型怎么搭
榜单第一的模型,放进你的工单流程里不一定第一。今天把选模型当成一次带数据的工程决策来做:先用硬约束砍掉一半候选,再用 SupportPilot 自己的评测集跑一场多模型对比,最后算总拥有成本,定出「哪个节点用哪个模型」的路由表。
Day 13 · Workflow 还是 Agent:《Building effective agents》五种模式逐个实现
通读 Anthropic 的《Building effective agents》,把 prompt chaining、routing、parallelization、orchestrator-workers、evaluator-optimizer 五种 workflow 模式各写一个可运行的最小实现,全部用客服工单做例子。最重要的收获是一个判断:什么时候根本不需要 Agent。