这是一条用于理解 GPU 的简化路径:从编程模型开始,逐步加入 SIMT 执行、调度、寄存器读取、缓存和 DRAM。每一步只突出一个主要机制,实际 GPU 通常会把这些机制并行组合。Aamodt、Fung、Rogers(2018)。点左边任意一步,右边看「四个问题」。
这是性能机制上的类比,不是硬件结构的一一对应:一个 warp 等待数据时可以选择其他 warp;一个请求完成后,调度器可以让新请求进入 batch。
KV 的页、头和维度布局会影响全局内存访问是否合并、事务数量以及片上暂存的访问方式。只有明确数据是否经过 shared memory,才能进一步讨论 shared-memory bank conflict。
decode 算得少、读得多,通常卡在显存带宽;batch 很大时才可能转向算力