Ring Attention

Q 留在本卡,KV 片在 CP 环上顺时针传。每卡只算自己的 head;环上搬的是「本 head × 这一片序列」,不是整份 head。

当前状态 (Step 0):

Head
环跑完:每卡自己的 head 已齐
Ring · Pass-KV

逻辑图 vs 显存

履历
显存
环上搬的是切好 head 的序列片;head 不换卡。out 是部分 attention 输出,LSE 是对应分数的 log-sum-exp,合片时做 online softmax。
KV0 KV1 KV2 KV3 颜色 = 哪一片序列
金框 = 本地那片 白圈 = 在算 淡 ✓ = 已算过 虚线 = 正在传入