PD 分离 · KVPoll

Router 同时发给 P 和 D;看 D 侧的状态灯和显存格
👤 Client
发一条很长的请求
🌐 Global Router
同时发给 Prefill
和 Decode
🔥 P-Instance (算 Prompt)
算 Prompt,写出这条请求的 KV
Tokenizer
分词
Queue
排队
Chunked Prefill
分块算 Prefill
Network Tx
发出 KV
⚡ D-Instance (读 KV、吐字)
KVPoll State:
Idle
Tokenizer
分词
Prealloc
预留显存
Network Rx
接收 KV / 首 Token
Continuous Batching
连续 Decode
Decode 侧 KV 显存(6 格,Prealloc 按格预留) 空闲 = 没人占没人在写
—空
—空
—空
—空
—空
—空
虚线 = 空闲 A 预留 A 已写入 B 预留 / 写入 斜线 = 被 A 迟到的 KV 覆盖 HELD = 先留着不放
[System] 就绪。P / D 已分开,等 Router 发请求。