Prhub

#54788 [Bugfix][Spec Decode] Honour the draft's moe_backend on Model Runner V2

原始 PR 作者 stecasta 合并时间 2026-09-09 07:50 文件变更 2 提交数 6 评论 17 代码增减 +97 / -0

执行摘要

修复 MRV2 草稿模型忽略用户指定 MoE 后端导致启动失败的问题。

当使用 MRV2(v0.28.1rc1+)时,若目标模型(如 Qwen3.6-35B-A3B-NVFP4)被量化而草稿模型(MTP 头)未量化,用户通过 `--speculative-config '{

实现拆解

  1. 核心源码路径
    - vllm/v1/worker/gpu/spec_decode/eagle/utils.py(core-logic):源码主路径;包含 控制流调整、配置键调整;+10/-0

  2. 测试与验证
    - tests/v1/spec_decode/test_draft_moe_backend_override.py(test-coverage):测试配套;涉及符号 _KernelConfig, _CacheConfig, _SpeculativeConfig, _VllmConfig;包含 测试覆盖调整、导入关系调整、控制流调整;+87/-0;关键符号:_KernelConfig, _CacheConfig, _SpeculativeConfig, _VllmConfig

文件 模块 状态 重要度
tests/v1/spec_decode/test_draft_moe_backend_override.py draft/moe/backend/override added 7.65
vllm/v1/worker/gpu/spec_decode/eagle/utils.py vllm/v1 modified 5.85

关键符号

_KernelConfig _CacheConfig _SpeculativeConfig _VllmConfig _config _Captured __init__ _capture_draft_config

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

关联 Issue

#54716 [Bugfix][Spec Decode] Derive draft KV slots from absolute position on M-RoPE models
#54731 [Bugfix][Spec Decode] Fix DFlash draft KV cache dtype isolation

完整报告

参与讨论