Day 101 · AgentOps(五):把微调小模型接进网关做级联路由
Day 79 的级联路由写在 SupportPilot 自己的代码里,Day 81 训出了分诊小模型。今天把级联搬进 AgentOps 网关,变成任何租户都能用的 triage 路由:小模型先判,低置信度、高风险类别、输出解析失败、小模型挂了这四种情况回退大模型;上线前先跑 shadow 模式,用一致率决定什么时候切流量。
Day 79 的级联路由写在 SupportPilot 自己的代码里,Day 81 训出了分诊小模型。今天把级联搬进 AgentOps 网关,变成任何租户都能用的 triage 路由:小模型先判,低置信度、高风险类别、输出解析失败、小模型挂了这四种情况回退大模型;上线前先跑 shadow 模式,用一致率决定什么时候切流量。
W12 收尾。把选型、自部署、LoRA、蒸馏、置信度路由串成一条能重复执行的流水线,产出 AgentOps 平台的第一个自研模型:分诊路由小模型,连同数据卡、模型卡和上线方案。最后过一遍这周的资深面试题和最容易踩的坑。
微调不是「效果不好就训一下」的万能药。今天先把提示词、RAG、微调各自能解决什么问题分清楚,然后选一个真正适合微调的任务:SupportPilot 的工单分诊。从线上记录造训练集,在 Colab 免费 T4 上用 LoRA 训练一个 4B 分诊模型,挂到 vLLM 上和原版比一比。
最后一天。对照 880 条真实 JD 的技能频次给自己打一次勾,清点作品,把没达标的地方排进补课计划;然后讲接下来三个月值得深入的方向:LoRA 轻量微调、浏览器 Agent、Agent Harness 与可观测、语音 Agent、开源贡献,附一个最小可跑的浏览器 Agent 和一个 LoRA 实验的设计模板,以及长期跟进这个领域的信息源。