执行摘要
统一 kernel warmup 至 BaseRunner 生命周期
Kernel warmup / flashinfer autotune 属于 runner 生命周期,应在 init 时执行,而不是作为 ModelRunner 的独立步骤或在 forward 路径中。随着 EagerRunner 成为 BaseRunner 的子类,需要共享 warmup 方法,因此将其上提至 BaseRunner。
精读并理解 warmup 统一的设计;部署前优先修复 pp_proxy_topk_size 缺失问题。
Review 中 gemini-code-assist[bot] 和 chatgpt-codex-connector[bot] 共同指出 base_runner.py 中 _allocate_decode_buffers 函数缺少 pp_proxy_topk_size 参数和对应的 topk_indices 分配,会导致 pipeline parallel MoE(DSA)模型在 dummy run 或 flashinfer autotune 时崩溃。该问题标记为高优先级,但 PR 合并时未修复。
参与讨论