Day 144 · 上线后的反馈闭环:点赞、改写、badcase 到测试集的数据飞轮
测试集是上线前写的,线上的问题它不认识。这一课把客服点踩、草稿被改了多少、转人工、客户追问这些信号收进一张表,每周算一遍健康报表,把可疑回复去重成组交给人审,审过的变成 Day 31 格式的测试用例,知识缺失的起草成帮助中心文章,最后同步到 Langfuse。代码全部可跑,用一周模拟数据实测。
Day 111 · 作品一开题:Agent Loupe,一个给 Agent 用的调试器
作品篇开工。先回答为什么要做一个 Agent 调试器、现有的 Langfuse、LangSmith、Phoenix 已经做到哪一步、还缺什么,再把 PRD、架构、仓库骨架和十天里程碑定下来。今天写的代码不多,但后面九天都照着它施工。
Day 102 · AgentOps(六):全链路可观测与成本看板
Day 85 讲了规模化可观测该怎么设计,今天把它真正装进 AgentOps:网关和级联路由按 OTel GenAI 约定打 span 和指标,trace 从调用方一路传到上游,指标用 OTLP 推给 Collector 以支持多进程部署;再用 usage 表做成本看板和账单对账。我在本机把网关、真实的 Collector 和 Prometheus 端点串起来跑了一遍,中间踩到的五个坑都写在里面。
Day 85 · 规模化可观测:OTel 全链路、采样、成本看板、告警
一个 Agent 接 Langfuse 很简单,一百万次运行每天全量记录就会把存储和预算压垮。今天算清 trace 的数据量,用 OpenTelemetry Collector 的尾部采样只留下有价值的 trace,把 prompt 原文和元数据分开存、分开保留,定一套 Agent 的指标和 SLO,用燃烧速率代替固定阈值做告警。
Day 52 · 可观测与成本:接 Langfuse、算单工单成本、缓存与模型路由
给 SupportPilot 装上眼睛和账本:每张工单在 Langfuse 里是一棵能点开的 trace,每次模型调用都记一笔精确到分的账。然后用两招把单工单成本压下来:让 prompt 前缀稳定以吃到缓存命中价,让小模型干分类、大模型只管起草。
Day 34 · Tracing 与可观测:Langfuse 接入,每一步都看得见
把 W4 的工单 Agent 接进 Langfuse,让每次运行变成一棵能点开的 trace 树,按客户和会话归类,把评测分数和用户反馈写回 trace;再用 OpenTelemetry 按 GenAI 语义约定手动打 span(工作流、模型调用、工具调用),把 token 用量做成指标,同时导出到 Langfuse 和 Jaeger。