Day 12 · W2 复习:理论 vs 实测对比报告、五道验收题、错题本
第一周算账,第二周对账。把 Day 7 到 Day 11 压成一页:计时怎么做才是真的、TTFT 和 TPOT 各自的下限、比值怎么读、profiler 里的 kernel 名怎么对回模型、gap 占比怎么算。然后合上笔记做路线图 W2 的五道验收题,把这周会犯的错一条条摊开。
第一周算账,第二周对账。把 Day 7 到 Day 11 压成一页:计时怎么做才是真的、TTFT 和 TPOT 各自的下限、比值怎么读、profiler 里的 kernel 名怎么对回模型、gap 占比怎么算。然后合上笔记做路线图 W2 的五道验收题,把这周会犯的错一条条摊开。
Day 1 读到的第三种瓶颈 overhead-bound,今天在 Perfetto 的 timeline 上亲眼看到它:GPU 那一行的空白。算清 decode 一步为什么有三百个小 kernel、CPU 为什么发不过来,再看加大 batch 时空白怎么缩,以及两种真正的治法。
计时器只给一个数,profiler 给每个 kernel 的名字和时长。今天把 Day 9 那个比值拆开:一步 decode 里 GPU 真正在跑的是哪几个 kernel,各对应模型的哪一部分,CPU 那边又在干什么。