Day 136 · 多模态与文档解析:看图、OCR、版面分析、多模态 RAG
客户不会只发文字:报错截图、手机拍的账单、扫描版合同。这一课先弄清楚模型怎么「看」图、一张图要多少 token,再用 DeepSeek 的视觉输入把一张 CloudLedger 扫描账单抽成结构化数据并和业务库对账,实测改过数字的账单能不能被抓出来;然后让截图进 W3 的检索,最后过一遍 MinerU、Docling、PaddleOCR-VL 和 ColPali 这些 2026 年的文档解析工具。
客户不会只发文字:报错截图、手机拍的账单、扫描版合同。这一课先弄清楚模型怎么「看」图、一张图要多少 token,再用 DeepSeek 的视觉输入把一张 CloudLedger 扫描账单抽成结构化数据并和业务库对账,实测改过数字的账单能不能被抓出来;然后让截图进 W3 的检索,最后过一遍 MinerU、Docling、PaddleOCR-VL 和 ColPali 这些 2026 年的文档解析工具。