Day 100 · AgentOps(四):评测平台与线上实验
「新 prompt 通过率从 82% 涨到 86%」这句话,在 50 条用例上几乎没有意义。今天把评测做成平台服务:结果按用例落库,两个版本做配对比较,给出 McNemar 检验和成本差的置信区间;再加一个按客户稳定分流的 A/B 实验,让改动先在 10% 的流量上跑。
Day 99 · AgentOps(三):持久化运行时与长任务
一张要等主管审批的退款工单,可能挂起两个小时;一个 worker 进程,可能在第五步的时候被重新部署杀掉。今天写一个最小的持久化运行时:每一步按幂等键落库,重放时已完成的步骤直接取结果;租约机制让死掉的 worker 的任务被别人接手;遇到审批就挂起,批准后从断点继续。
Day 98 · AgentOps(二):MCP 工具中心与鉴权
把散落在各团队的业务工具收到平台上:上游 MCP server 注册进来,租户的 Agent 通过一个统一入口访问,看得见什么工具由策略决定,写操作要一次性审批,每次放行和拒绝都进审计日志。最后用官方 MCP 客户端走一遍真实的 HTTP 链路。
Day 97 · AgentOps(一):模型网关与多租户
所有团队调大模型都走这一个入口。今天写出 OpenAI 兼容的 /v1/chat/completions:逻辑路由、按租户的令牌桶限流、月度预算、主供应商挂了自动切备用,每一次上游调用都按租户和功能记账。全程用假上游测试,一分钱不花。
Day 96 · AgentOps 开题:设计文档、里程碑、验收指标
进阶毕业项目开工。SupportPilot 是一个 Agent,AgentOps 是让十个团队都能安全、便宜、可评测地跑 Agent 的平台。今天先不急着写网关,把设计文档、目录结构、五个子系统之间的接口和验收指标定下来,后面九天照着它施工。
Day 88 · W13 复习:AgentOps 平台架构评审
W13 收尾。把平台架构、模型网关、MCP 网关、规模化可观测、治理合规、事故响应拼成一份完整的 AgentOps 平台设计文档,用一份 36 项的架构评审清单逐项过一遍,再用模型当评审人做一次预审。最后是这一周的资深面试题和坑清单。
Day 82 · 从一个 Agent 到一个平台:多租户 Agent 平台架构
SupportPilot 跑顺了,销售、HR、财务都来要一个自己的 Agent。今天讲什么时候该平台化、平台该给什么不该给什么、多租户在数据/配额/密钥/模型四个维度怎么隔离、控制面和数据面怎么拆,以及自建平台和直接上 Dify 的分界线。
Day 81 · W12 复习:给 AgentOps 训练一个路由小模型
W12 收尾。把选型、自部署、LoRA、蒸馏、置信度路由串成一条能重复执行的流水线,产出 AgentOps 平台的第一个自研模型:分诊路由小模型,连同数据卡、模型卡和上线方案。最后过一遍这周的资深面试题和最容易踩的坑。
Day 67 · W10 复习:写一份 Agent 运行时的设计文档
W10 的五个主题合成一份正式的设计文档:AgentOps 运行时的背景、目标与非目标、方案、被放弃的选项、风险和评测计划。先讲设计文档为什么存在、写什么不写什么,再给出一份完整示范和两份 ADR,最后是这周的资深面试题汇总和坑清单。
Day 61 · 进阶开学:资深 Agent 工程师和中级差在哪
前 60 天让你能做出一个像样的 Agent,接下来 50 天要让你能扛住一个团队的 Agent 系统。先用 880 条 JD 里标题带「资深、专家、架构师」的那 42 条看清楚资深岗要什么,再看进阶篇的地图和要做的 AgentOps 平台,最后换一种学习方式:读论文、读源码、写设计文档。