一个 Token 从输入到输出

一条请求怎么走：网关 → K8s → Prefill / Decode → KV 交接 → 输出。本页只串路径，细节进各页（切分、连续批）。

蓝 = 控制面红 = Prefill 紫 = Decode 青 = KV 交接

STEP 0

待命。点「下一步」发送一条长请求。

Client

HTTP / SSE

/v1/chat/completions

Gateway

统一入口

只暴露这一层

选 P + 选 D

看负载和前缀命中

PD 编排

先 P 后 D

K8s

Service/prefill

内网

Service/decode

ClusterIP

DNS / Endpoints

扩缩后重新发现

Prefill

Tokenizer

prompt → token ids

Chunked Prefill

太长就切块算

Att / Dense / Shared

走 TP

Routed MoE

走 EP

KV Producer

写出 KV

Handoff

Mooncake / RDMA

搬这条请求的 KV

Decode

预留显存

KVPoll Waiting

KV Consumer

Transferring → Success

Continuous Batch

和其他请求一批算

推测解码

先猜再核

Return

流式 token

经 Proxy 流式回

usage

补上 cache 计数

Worker 内部

细节页： PD / KVPoll · 路由 · K8s · 推测解码 · 连续批