多组PD-SMG如何调度：前缀能复用多少，显存还剩多少
分数高 = 命中多、显存还够。显存快满就减分，别把请求送到快要爆显存的机器。
看场景 1：命中优先
路由怎么打分
看各台状态
显存占用、前缀命中
命中多、显存够 → 分高；显存快满 → 减分
Score = Match% - Penalty(KV Occupancy)
Pod A 得分: --
Pod B 得分: --
请求实际送到哪台 Pod
K8s SMG
↑ 入口
Pod A
显存占用
0%
前缀命中
0%
Gateway
Tokenizer
Scheduler
Prefill
Decode
Pod B
显存占用
0%
前缀命中
0%
Gateway
Tokenizer
Scheduler
Prefill
Decode
这一单花了多久
送到哪台
--
Prefill 算了多少
--
首字延迟 (TTFT)
-- ms
每个字间隔 (TPOT)
-- ms
点按钮看三次选择：命中优先、显存满了改道、两者折中。