K8s 怎么拉起 P/D,Mooncake 怎么交 KV

上半是集群怎么把进程拉起来;下半是 KV 怎么从 Prefill 交给 Decode。
控制面:API Server 和 etcd
API Server收 YAML,写入 etcd
etcd记下该有哪些 Pod 和 Service
[etcd]
还没有记录
LWS保证 Prefill 一组、Decode 一组
Scheduler把 Pod 放到有 GPU 的节点
数据面:Prefill / Decode 进程
Prefill 组
节点 73 · kubelet16 卡
Prefill 主进程
端口 9081
节点 74 · kubelet16 卡
Prefill 其余进程
不对公网开放
共享 KV 池(RDMA / SSD) Prefill 写入,Decode 读取
Decode 组
节点 75 · kubelet16 卡
Decode 主进程
端口 9900
节点 76 · kubelet16 卡
Decode 其余进程
不对公网开放
Service · Prefill请求转到 Prefill 主进程
客户端发一条推理请求
Service · Decode请求转到 Decode 主进程