Q 留在本卡,KV 片在 CP 环上顺时针传。每卡只算自己的 head;环上搬的是「本 head × 这一片序列」,不是整份 head。
当前状态 (Step 0):
out 是部分 attention 输出,LSE 是对应分数的 log-sum-exp,合片时做 online softmax。
横轴 = 序列片(CP),纵轴 = head 组(TP)。列在环上转;行不动。
| Head \ Seq | 片0 | 片1 | 片2 | 片3 |
|---|
一次只传一片,算完再传下一片。
先凑齐再算。简单,长上下文更费带宽。
Decode 时 Q 很短,更常传小 Q;Prefill 长大 KV 才常用这种环传。
本卡留下 Qi 和自己的 KVi。
当前 KV 片顺时针传给下一卡。
用本卡 Q 算新来的片,更新 out / LSE。
环跑完 = 本卡 head 看过全序列。
满格 = head 齐了。