单机引擎内部:主进程(TokenizerManager)→ Scheduler → Detokenizer,再用 ZMQ 回主进程。 蓝实线是数据,橙虚线是控制;③⑥⑦ ZMQ 卡片压在对应蓝/橙双线上,一包消息同时带 payload 和控制。 集群大路径见 全链路。
相关页: 总览 · 全链路(集群) · 并行 TP/DP/EP · 连续批
许可 CC BY-NC-SA 4.0 · 拓扑基于你提供的 gemini 版;可放入 llm-engine-viz 根目录作 request-flow1.html