执行摘要
该PR自动禁用DeepGemm for Qwen3.5模型在Blackwell GPU上，以修复FP8量化导致的精度下降约12个百分点。通过配置检查和FP8栈传播禁用标志，恢复模型性能，并扩展CI测试覆盖。关键变更涉及核心配置和量化层，但review中揭示的未解决MoE问题暗示后续优化空间。
功能与动机
根据Issue #37804，DeepGemm在Blackwell GPU上使用E8M0 scale格式，导致Qwen3.5 FP8模型精度显著下降（GSM8K准确率从0.8122降至0.6917）。PR body说明，此格式在FP8块量化层中损失精度，累积影响约80个线性层。修复动机是自动规避此问题，提升模型可靠性。
实现拆解
实现分为三个模块：
- 配置层：在
vllm/config/vllm.py的VllmConfig.__post_init__中添加检查，当模型类型为qwen3_5_text或qwen3_5_moe_text且GPU为Blackwell时，设置quant_config.use_deep_gemm = False并输出警告。
- 量化层：修改
vllm/model_executor/layers/quantization/fp8.py中的Fp8Config、Fp8LinearMethod和W8A8BlockFp8LinearOp，传播use_deep_gemm标志以跳过UE8M0权重转换。
- 测试层：更新GSM8K测试文件，添加Qwen3.5模型配置，将全局容忍度
TOL = 0.08改为每配置tolerance字段，并调整准确率阈值（例如Qwen3.5-35B-A3B-FP8从0.86降至0.79）。
评论区精华
Review讨论亮点：
- 条件冗余：
gemini-code-assist[bot]指出input_quant_fp8.py中self.use_ue8m0可能冗余，建议简化。
- 修复不完整：
claude[bot]认为Fp8MoEMethod未处理use_deep_gemm，导致MoE层仍用DeepGemm，部分解释精度残留差距。vadiklyutiy回复："I want to disable gemm only, don't attempt to disable deephemm's MoE"。
- 覆盖性问题：
claude[bot]指出VLLM_USE_DEEP_GEMM=1不能覆盖auto-disable，与PR描述矛盾。
- 虚假警告：
claude[bot]提到should_auto_disable_deep_gemm在DeepGemm未激活时可能触发误导警告。
风险与影响
技术风险：
- MoE层未完全禁用DeepGemm，可能导致精度残留问题（实测0.8029 vs 基线0.8122）。
- CI阈值调整（如降低准确率阈值）可能掩盖其他bug或引入误判。
- 条件冗余增加代码复杂性，潜在维护负担。
- 警告信息不准确，用户可能混淆auto-disable行为。
影响评估：
- 用户端：Qwen3.5模型精度恢复，提升黑盒使用体验。
- 系统端：FP8量化栈修改局限于特定模型和硬件，但需监控兼容性。
- 团队端：CI扩展提高测试覆盖，但阈值调整需谨慎验证。
关联脉络
与历史PR关联显示团队对Qwen和FP8问题的持续关注：
- PR #37348修复Qwen3.5-FP8在TPU上的权重加载错误。
- PR #38152优化Qwen3性能，禁用双流执行。
- PR #38092修复Marlin FP8内核，显示FP8量化活跃维护。
这些PR共同指向仓库在模型特定优化和量化技术上的演进趋势，尤其是针对新兴硬件（如Blackwell）和流行模型（如Qwen）的深度调优。
参与讨论