执行摘要
修复 MRV2 草稿模型忽略用户指定 MoE 后端导致启动失败的问题。
当使用 MRV2(v0.28.1rc1+)时,若目标模型(如 Qwen3.6-35B-A3B-NVFP4)被量化而草稿模型(MTP 头)未量化,用户通过 `--speculative-config '{
当使用 MRV2(v0.28.1rc1+)时,若目标模型(如 Qwen3.6-35B-A3B-NVFP4)被量化而草稿模型(MTP 头)未量化,用户通过 `--speculative-config '{
核心源码路径
- vllm/v1/worker/gpu/spec_decode/eagle/utils.py(core-logic):源码主路径;包含 控制流调整、配置键调整;+10/-0
测试与验证
- tests/v1/spec_decode/test_draft_moe_backend_override.py(test-coverage):测试配套;涉及符号 _KernelConfig, _CacheConfig, _SpeculativeConfig, _VllmConfig;包含 测试覆盖调整、导入关系调整、控制流调整;+87/-0;关键符号:_KernelConfig, _CacheConfig, _SpeculativeConfig, _VllmConfig
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
tests/v1/spec_decode/test_draft_moe_backend_override.py |
draft/moe/backend/override | added | 7.65 |
vllm/v1/worker/gpu/spec_decode/eagle/utils.py |
vllm/v1 | modified | 5.85 |
分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
参与讨论