Day 101 · AgentOps(五):把微调小模型接进网关做级联路由
Day 79 的级联路由写在 SupportPilot 自己的代码里,Day 81 训出了分诊小模型。今天把级联搬进 AgentOps 网关,变成任何租户都能用的 triage 路由:小模型先判,低置信度、高风险类别、输出解析失败、小模型挂了这四种情况回退大模型;上线前先跑 shadow 模式,用一致率决定什么时候切流量。
Day 76 · 自部署推理:vLLM / SGLang 上线一个开源模型
把一个开源模型跑成 OpenAI 兼容接口,让 SupportPilot 改一个环境变量就能调用。先算清楚什么时候值得自部署,再用显存账解释 vLLM 为什么快,最后用压测工具量出吞吐和延迟,把昨天 TCO 里空着的那一项填上。
Day 41 · 部署上线:Docker、密钥管理、云服务器,以及本地开源模型
用 uv 写一个小而安全的 Dockerfile,用 Compose 把 API、worker、Postgres、Redis、Caddy 编排在一起;密钥不进镜像不进 git;给国内轻量云和海外平台各一条部署路线,讲清楚备案这道坎;配一个最小的 GitHub Actions 流水线;最后算一算什么时候值得用 Ollama 或 vLLM 自己跑开源模型。