K8s 怎么拉起 P/D,Mooncake 怎么交 KV
上半是集群怎么把进程拉起来;下半是 KV 怎么从 Prefill 交给 Decode。
下一步:提交 YAML
重来
控制面:API Server 和 etcd
API Server
收 YAML,写入 etcd
etcd
记下该有哪些 Pod 和 Service
[etcd]
还没有记录
LWS
保证 Prefill 一组、Decode 一组
Scheduler
把 Pod 放到有 GPU 的节点
数据面:Prefill / Decode 进程
Prefill 组
节点 73 · kubelet
16 卡
Prefill 主进程
端口 9081
节点 74 · kubelet
16 卡
Prefill 其余进程
不对公网开放
共享 KV 池(RDMA / SSD)
Prefill 写入,Decode 读取
Decode 组
节点 75 · kubelet
16 卡
Decode 主进程
端口 9900
节点 76 · kubelet
16 卡
Decode 其余进程
不对公网开放
Service · Prefill
请求转到 Prefill 主进程
客户端
发一条推理请求
Service · Decode
请求转到 Decode 主进程