执行摘要

• 一句话：修复 Marlin NVFP4 路由缩放因子重复计算导致乱码
• 推荐动作：此 PR 修复明确、改动小，建议精读以了解 Marlin NVFP4 的路由缩放因子处理逻辑。合并后应关注是否有用户报告内核调优时仍出现乱码的问题，届时需要补充解包逻辑。

功能与动机

routed_scaling_factor 在 Marlin NVFP4 模式下被 topk 和 moe_sum_reduce 重复计算，导致输出文本为乱码。PR body 指出此参数仅应由 moe_sum_reduce 处理，因此需要关闭 Marlin 后端的融合逻辑。

实现拆解

1. 修改融合条件：在 python/sglang/srt/layers/moe/fused_moe_triton/layer.py 的 __init__ 方法中，should_fuse_routed_scaling_factor_in_topk 的计算逻辑从直接检查 isinstance(self.quant_method, ModelOptNvFp4FusedMoEMethod) 改为额外附加 not getattr(self.quant_method, '_moe_runner_backend', get_moe_runner_backend()).is_marlin() 条件。
2. 效果：当使用 ModelOptNvFp4FusedMoEMethod 且后端为 Marlin 时，should_fuse_routed_scaling_factor_in_topk 为 False，从而避免在 topk 中重复缩放，仅由 moe_sum_reduce 处理。
3. 测试：PR 未包含新增测试，但提供 GLM-5.2-NVFP4 模型的前后精度对比截图，验证修复效果。

关键文件：

• python/sglang/srt/layers/moe/fused_moe_triton/layer.py（模块 MoE 层；类别 source；类型 core-logic）: 核心修改文件，调整了 should_fuse_routed_scaling_factor_in_topk 的条件，增加了 Marlin 后端的判断，是修复的关键所在。

关键符号：未识别

关键源码片段

python/sglang/srt/layers/moe/fused_moe_triton/layer.py

核心修改文件，调整了 should_fuse_routed_scaling_factor_in_topk 的条件，增加了 Marlin 后端的判断，是修复的关键所在。

# python/sglang/srt/layers/moe/fused_moe_triton/layer.py
# 在 __init__ 方法中，决定是否在 topk 步骤中融合 routed_scaling_factor。
# 对于 marlin_nvfp4 后端，该融合不应启用，否则会导致 scaling 重复计算，
# 从而产生乱码输出。因此增加 is_marlin() 判断以排除该情况。
​
self.should_fuse_routed_scaling_factor_in_topk = (
    (
        isinstance(self.quant_method, ModelOptNvFp4FusedMoEMethod)
        and not getattr(
            self.quant_method, "_moe_runner_backend", get_moe_runner_backend()
        ).is_marlin() # 当使用 Marlin 后端时，禁用融合
    )
    or (
        isinstance(self.quant_method, Fp8MoEMethod)
        and (
            get_moe_runner_backend().is_cutlass()
            or get_moe_runner_backend().is_flashinfer_trtllm_routed()
        )
    )
    or (
        isinstance(self.quant_method, UnquantizedFusedMoEMethod)
        and get_moe_runner_backend().is_flashinfer_trtllm_routed()
    )
)

评论区精华

Gemini Code Assist 机器人提出一个高优先级建议：当启用内核调优（通过 KTEPWrapperMethod）时，self.quant_method 被包装，会导致 isinstance 检查失效，未命中 Marlin 特殊处理。建议先解包获取 gpu_method。该评论未被作者回应，PR 已在作者未修改的情况下被合并。

• KTEPWrapperMethod 包裹导致 instanceof 检查失效 (correctness): 作者未回应，PR 已合并。未解决该潜在问题。

风险与影响

• 风险：核心风险在于 KTEPWrapperMethod 场景下，isinstance 可能无法正确识别 ModelOptNvFp4FusedMoEMethod，导致 Marlin 分支仍然错误地融合缩放因子。虽然当前 Marlin 后端较少与内核调优同时使用，但后续启用时可能重现 bug。此外，仅 1 个文件变更，未引入回归测试，风险可控。
• 影响：影响范围有限，仅影响 ModelOptNvFp4 量化模型使用 Marlin MoE 后端的场景。修复后，此类模型的输出质量恢复正常。对非 Marlin 后端（如 cutlass、flashinfer_trtllm）无影响。
• 风险标记：KTEPWrapperMethod 兼容性未处理

关联脉络

• PR #31825 [Quant] Support NVFP4_AWQ checkpoints in ModelOpt FP4 path: 同为 NVFP4 量化相关改动，涉及相同 ModelOptNvFp4FusedMoEMethod 类，可能共享部分 MoE 逻辑路径。
• PR #31961 Change the FP8 per-tensor GEMM backend on SM120 to cuBLAS: 均涉及 modelopt_quant.py 和 MoE 量化后端选择流程，了解后端切换有助于理解 Marlin 上下文。