PD 分离 · KVPoll
Router 同时打到 P 和 D；看 D 侧 KVPoll 五色状态
开始
👤 Client
发一条很长的请求
🌐 Global Router
同时发给 Prefill
和 Decode
🔥 P-Instance (算 Prompt)
算 Prompt，写出这条请求的 KV
Tokenizer
分词
Queue
排队
Chunked Prefill
分块算 Prefill
Network Tx
发出 KV
⚡ D-Instance (读 KV、吐字)
KVPoll State:
Idle
Tokenizer
分词
Prealloc
预留显存
Network Rx
接收 KV / 首 Token
Continuous Batching
连续 Decode
[System]
就绪。P / D 已分开，等 Router 发请求。