一次请求在引擎里怎么走

单机引擎内部:主进程 → Scheduler / Worker → Detokenizer;③⑥⑦ 为一包 ZMQ(payload + 控制)。 蓝实线是数据,橙虚线是控制。集群大路径见 全链路。

数据路径 控制路径(与数据并行) 取消(AbortMsg) 主进程 调度与 Worker Detokenizer
数据路径 · 模型数据 控制路径 · 请求状态 回程走廊 Client curl / SDK 阶段① 主进程 HTTP Server / Engine /v1/chat/completions TokenizerManager 套模板,切成 token · ReqState Decode 循环:未完成则下一轮;结束则释放 KV Scheduler (调度中心) ▪ Continuous Batching (Iteration级组包) ▪ RadixAttention (树状前缀共享) ▪ HiCache (HBM/DRAM/Disk多级KV) 状态:先 Prefill 再 Decode 调度 Worker (TpWorker/Runner) ▪ Attention Backend (FlashInfer/Paged...) ▪ Quantization (FP8/INT4 算子与 KV) ▪ Tensor Parallelism (多卡 SPMD 通信) 前向计算 + Sampling 采样 ④ batch (Chunked Prefill) ⑤ next_token 阶段③ Detokenizer 进程 DetokenizerManager token → 文本片段 ① 文本 ⑨ 文本/[DONE] ② input_ids ⑧ 更新/唤醒 ③ 控制:入队 / 参数 用户断开 → 主进程发 AbortMsg Scheduler 停算 · 释放 KV 阶段② 调度与 Worker ③ UserMsg 一包消息 · ZMQ payload:input_ids 控制:调度入队 / 参数 ⑥ 控制:请求标识 ⑥ DetokenizeMsg 一包消息 · ZMQ payload:token_ids 控制:触发解码 / 请求标识 ⑦ 控制:finished ⑦ UserReply 一包消息 · ZMQ payload:文本 控制:请求 ID (Request ID) finished 状态标记 图例 主进程 Scheduler Detokenizer Decode 循环 数据路径:①②③④⑤⑥⑦⑨(连续:文本 → ids → batch → token → 文本) 控制路径:③⑥⑦⑧ 与 Abort(数据/状态同包:入队、解码、回程、唤醒、取消)

许可 CC BY-NC-SA 4.0 · 用「上一步 / 下一步」或键盘 ← → 步进:先只有三个框,再按 ①→⑨ 画数据线,控制线按 ③⑥⑦⑧ 依次叠在同一条边上,最后是取消。