Day 119 · Agent Loupe(八):公开演示、脱敏、限流与部署
把 Agent Loupe 放到网上让招聘方点开就能试:只读演示模式、样例脱敏和残留扫描、按 IP 和全站的重跑限流、按当天实际花费计算的每日上限、只信任确定存在的那层代理、CORS;前端部署到 Cloudflare Pages,后端给 Fly.io 和自己的云服务器两种方案;最后按方法测性能,把数字回填进表格。
Day 97 · AgentOps(一):模型网关与多租户
所有团队调大模型都走这一个入口。今天写出 OpenAI 兼容的 /v1/chat/completions:逻辑路由、按租户的令牌桶限流、月度预算、主供应商挂了自动切备用,每一次上游调用都按租户和功能记账。全程用假上游测试,一分钱不花。
Day 83 · 模型网关:路由、限流、配额、降级、成本归因
平台的第一块砖。所有 Agent 的模型调用都先经过网关:虚拟 key 鉴权、按月预算、按 token 限流、按模型组路由、出错自动切换供应商、按租户和项目记账。今天写一个能跑测试的最小网关,再对比 LiteLLM、Higress、Portkey 这些现成方案该怎么选。