一次请求在引擎里怎么走

单机引擎内部:主进程(TokenizerManager)→ Scheduler → Detokenizer,再用 ZMQ 回主进程。 蓝实线是数据,橙虚线是控制;③⑥⑦ ZMQ 卡片压在对应蓝/橙双线上,一包消息同时带 payload 和控制。 集群大路径见 全链路。

数据路径 控制路径(与数据并行) 主进程 Scheduler Detokenizer
数据路径 · 模型数据 控制路径 · 请求状态 回程走廊 Client curl / SDK 阶段① 主进程 HTTP Server / Engine /v1/chat/completions TokenizerManager 套模板,切成 token · ReqState 阶段② Scheduler 进程 Decode 循环:未完成则下一轮;结束则释放 KV Scheduler 组 Batch · 先 Prefill 再 Decode TpWorker / ModelRunner 前向 + Attention · 采样 token ④ batch ⑤ next_token 阶段③ Detokenizer 进程 DetokenizerManager token → 文本片段 ① 文本 ⑨ 文本/[DONE] ② input_ids ⑧ 更新/唤醒 ③ UserMsg 一包消息 · ZMQ payload:input_ids 控制:调度入队 / 参数 ⑥ DetokenizeMsg 一包消息 · ZMQ payload:token_ids 控制:触发解码 / 请求标识 ⑦ UserReply 一包消息 · ZMQ payload:文本 控制:回给谁 (rid) 是否结束 (finished) 取消(控制):断开 → AbortMsg → 停算收回 KV 图例 主进程 Scheduler Detokenizer Decode 循环 数据:①②③④⑤⑥⑦⑨(连续:文本→ids→batch→token→文本) 控制:③⑥⑦⑧ 与 Abort(与数据并行:入队、解码、回程、唤醒、取消) mini-sglang:TokenizeMsg → UserMsg → DetokenizeMsg → UserReply | 对应 SGLang:http_server、tokenizer_manager、scheduler、tp_worker/model_runner、detokenizer_manager

许可 CC BY-NC-SA 4.0 · 拓扑基于你提供的 gemini 版;可放入 llm-engine-viz 根目录作 request-flow1.html