执行摘要
本 PR 为 SGLang 添加了 DeepSeek V3 模型在 Blackwell 架构上的 MXFP8 推理支持，核心变更包括修复 BF16 MoE 层精度问题、优化 MXFP8 权重对齐性能，并放弃初始的 MXFP8 BMM 代码以保持训练-推理一致性。影响范围主要针对使用 DeepSeek V3 的用户，提升推理效率，但需注意缓存管理和硬件兼容性风险。
功能与动机
PR 的主要目标是支持 Blackwell 架构下的 MXFP8 DeepSeek RL 推理。动机源于保持训练-推理一致性和避免重新量化行为：由于 kv_b_proj 在吸收与非吸收 MLA 模式中收缩轴不同，而 MXFP8 是一维量化，因此决定保持其始终为 BF16，开销较小（约 1.9 GB）。作者在 Issue 评论中进一步说明，删除 MXFP8 BMM 代码以避免死代码，并验证了功能通过外部测试。
实现拆解
实现涉及三个关键文件修改：
python/sglang/srt/layers/moe/fused_moe_triton/layer.py：扩展 should_fuse_routed_scaling_factor_in_topk 逻辑，覆盖 UnquantizedFusedMoEMethod，修复 BF16 MoE 精度下降问题。
self.should_fuse_routed_scaling_factor_in_topk = (
isinstance(self.quant_method, ModelOptNvFp4FusedMoEMethod)
or (isinstance(self.quant_method, Fp8MoEMethod) and ...)
or (isinstance(self.quant_method, UnquantizedFusedMoEMethod) and get_moe_runner_backend().is_flashinfer_trtllm_routed())
)
python/sglang/srt/layers/moe/moe_runner/flashinfer_trtllm.py：重写 align_mxfp8_moe_weights_for_flashinfer_trtllm 函数，添加全局缓存 _flashinfer_trtllm_shuffle_row_indices_cache_mxfp8，预计算行索引以优化预处理性能，从几分钟减少到秒级。python/sglang/srt/layers/quantization/fp8.py：添加 apply_weight_name_mapper 方法，支持权重名称映射，增强模型转换灵活性。
评论区精华
review 讨论中突出以下点：
- alexnails 建议检查 Blackwell 架构：在
deepseek_weight_loader.py 中添加相关检查以确保兼容性，但 PR 未明确实现，留下未解决疑虑。
- 代码注释建议：alexnails 指出
forward_mla.py 中 MXFP8 BMM 代码形状处理复杂，建议添加注释，但作者后来删除该代码，使建议过时。
- 整体结论：reviewers 认可 PR，强调保持 bf16 以避免重新量化的设计合理性。
风险与影响
风险：
- 精度回归：BF16 MoE 修复需通过严格测试验证，防止新错误。
- 缓存管理：全局缓存可能引发内存泄漏或并发问题，需监控性能。
- 硬件兼容性：MXFP8 支持可能依赖 Blackwell 架构，需确保后端配置正确。
影响：
- 用户：DeepSeek V3 用户可受益于 MXFP8 推理的性能提升，尤其在 GSM8K 基准测试中显示准确性保持。
- 系统：优化减少 MoE 预处理时间，提升吞吐量，但增加缓存开销。
- 团队：需更新 CI 测试以覆盖新功能，并考虑未来架构检查的补充。
关联脉络
从历史 PR 看，本 PR 与以下相关：
- #21952（Gemma 4 支持）：同为新模型添加，涉及多模态和量化优化，反映仓库持续扩展模型支持的策略。
- #20919（NPU dp-attention 支持）：类似硬件特定优化，显示跨架构（如 NPU、Blackwell）的性能改进趋势。
整体上，这些 PR 共同推动 SGLang 在量化推理和硬件适配方面的演进。
参与讨论