Tags

#streaming

3posts

Day 49

Day 49 · 界面与流式体验:Next.js 客服工作台、展示工具调用与审批

用 FastAPI 把工作流包成 HTTP 接口,用 SSE 把每个步骤、每次工具调用、每个字推给前端;再用 Next.js + React + TypeScript 做两个页面:客户视角看着 Agent 干活并追问,客服工作台一键审批退款。讲清楚为什么不用 EventSource、要不要上 Vercel AI SDK、怎么停止、怎么让读屏软件不被逐字播报逼疯。不会前端的同学,文末有 Streamlit 版。

Day 36

Day 36 · 把 Agent 做成服务:FastAPI、SSE 流式接口、会话管理

前五周的工单 Agent 一直活在命令行里。今天给它套上 HTTP 接口:用 FastAPI 原生 SSE 把 token、工具调用和审批请求实时推给前端,用 LangGraph 的 Postgres checkpointer 管会话,再处理好并发、超时和用户中途关掉页面这几件事。

Day 04

Day 4 · messages、system prompt 与流式输出:对话状态握在你手里

API 没有记忆,多轮对话是你的程序每次把历史整个重发一遍,所以聊得越久越贵,而且是平方级地贵。今天弄清四种 role 的分工、system prompt 该写什么、怎么裁剪历史,再用 SSE 流式输出把首字延迟压下来,最后封装一个后面整门课都要用的 LLMClient。