PD 分离 · KVPoll
① 正常流程
流程
Router 把请求同时发给 P 和 D。D 先预留显存;P 算完 prompt 把 KV 传过来;D 收到后接着生成。
② 错误:取消后数据写串
起因
KV 传到一半,用户取消了请求 A。D 收到取消,立刻把 A 预留的显存标成空闲。
后果
这块显存分给了新请求 B,但 A 剩下的 KV 还在传,写进了 B 的显存。
③ ②的解法:HELD 状态
做法
D 收到取消时,如果 KV 还在传,先把显存标成 HELD(已取消,但还在写),不分给别人。
结果
A 的 KV 传完或超时后再释放;B 用别的显存,数据不会串。
④ 错误:请求编号不一致
起因
P 和 D 靠请求编号 rid 配对。Router 发给 P 的是 r-1024,发给 D 的却是 r-1042。
后果
P 往 r-1024 发 KV,D 在 r-1042 等,永远收不到,预留的显存一直占着。
解法
D 等待超过时限就判超时:释放显存,告诉 Router 这个请求失败。
开始
Router 同时发给 P 和 D;看 D 侧的状态灯和显存格
👤 Client
发一条很长的请求
🌐 Global Router
同时发给 Prefill
和 Decode
🔥 P-Instance (算 Prompt)
算 Prompt,写出这条请求的 KV
Tokenizer
分词
Queue
排队
Chunked Prefill
分块算 Prefill
Network Tx
发出 KV
⚡ D-Instance (读 KV、吐字)
KVPoll State:
Idle
Tokenizer
分词
Prealloc
预留显存
Network Rx
接收 KV / 首 Token
Continuous Batching
连续 Decode
Decode 侧 KV 显存(6 格,Prealloc 按格预留)
空闲 =
没人占
没人在写
—
空
—
空
—
空
—
空
—
空
—
空
虚线 = 空闲
A 预留
A 已写入
B 预留 / 写入
斜线 = 被 A 迟到的 KV 覆盖
HELD = 先留着不放
① A 预留 3 格,KV 在路上
② Client 中止 A
③ 这 3 格被判空闲,分给 B
④ A 的迟到写入落进 B 的页
[System]
就绪。P / D 已分开,等 Router 发请求。