Day 51 · 迭代:按错误分析改 prompt、工具和检索,把分数提上去
拿着 Day 50 的基线报告做错误分析:读失败用例、写一句话笔记、归类、计数、挑最多的先修。修法分四种:改代码规则、改检索、改提示词、改评测集本身。每次只改一处,在 dev 上跑并记进改动日志;最后跑一次 test,看提升是不是真的。附我在写这个项目时实际踩到的四个 bug。
Day 5 · 提示词工程：清晰指令、示例、思维链、结构化标签
提示词工程不是背咒语，是把需求写清楚。今天用一个工单分类任务，从一句话的提示词一路改到第四版：补背景和定义、加 few-shot 示例、让模型先想再答、用 XML 标签隔开材料，每改一版都在 12 条标注数据上量一次准确率。最后讲清楚什么时候提示词已经救不了你。