执行摘要

• 一句话：支持 FlashInfer TRT-LLM NVFP4 MoE 权重检查
• 推荐动作：此 PR 改动小、逻辑正确、已通过验证，值得合并。对于关注 RL 训练流程或 NVFP4 MoE 的工程师，可精读 weight_checker_comparator.py 中的条件分支逻辑，了解如何为不同量化后端适配权重检查。

功能与动机

RL 训练中需要验证权重更新正确性，但 ModelOptNvFp4FusedMoEMethod 在 flashinfer_trtllm(_routed) MoE runner 上会抛出 NotImplementedError，导致无法对 NVFP4 MoE 层进行权重一致性检查。

实现拆解

1. 修改 select_comparable_weight 函数：位于 python/sglang/srt/utils/weight_checker_comparator.py，将原本对 ModelOptNvFp4FusedMoEMethod 的单一 NotImplementedError 分支拆分为两个条件。
2. 添加 enable_flashinfer_trtllm_moe 属性检查：通过 getattr(quant_method, "enable_flashinfer_trtllm_moe", False) 判断当前 MoE runner 是否为 FlashInfer TRT-LLM 后端。
3. 返回 None 启用原始比较：若属性为 True，则 select_comparable_weight 返回 None，表示使用逐比特精确的原始比较。这利用了 TRT-LLM 打包过程是确定性且形状保持的特点，快照和更新后的权重在相同布局下可直接比较。
4. 保持其他 NVFP4 方法抛出异常：对于 ModelOptFp4LinearMethod 和未启用 flashinfer_trtllm_moe 的 ModelOptNvFp4FusedMoEMethod，仍保持 NotImplementedError。

关键文件：

• python/sglang/srt/utils/weight_checker_comparator.py（模块 权重检查器；类别 source；类型 core-logic；符号 select_comparable_weight）: 核心修改文件：select_comparable_weight 函数增加对 FlashInfer TRT-LLM NVFP4 MoE 的原始比较支持。

关键符号：select_comparable_weight

关键源码片段

python/sglang/srt/utils/weight_checker_comparator.py

核心修改文件：select_comparable_weight 函数增加对 FlashInfer TRT-LLM NVFP4 MoE 的原始比较支持。

def select_comparable_weight(quant_method) -> Optional[type]:
    """Map a module's quant_method to its ComparableWeight. None means raw (bitwise equal) compare."""
    if (
        isinstance(quant_method, (Fp8LinearMethod, Fp8MoEMethod))
        and quant_method.block_quant
        and not quant_method.use_mxfp8
    ):
        return Fp8BlockComparable
    # 对于 NVFP4 融合 MoE 方法，检查是否使用 FlashInfer TRT-LLM 后端
    if isinstance(quant_method, ModelOptNvFp4FusedMoEMethod):
        # 当启用 flashinfer_trtllm_moe 时，TRT-LLM 的打包是 in-place、确定性且形状保持的
        # 因此可以直接进行比特精确比较
        if getattr(quant_method, "enable_flashinfer_trtllm_moe", False):
            return None # 使用原始比特比较
        raise NotImplementedError(
            f"weight checker has no ComparableWeight for {type(quant_method).__name__}"
        )
    if isinstance(quant_method, ModelOptFp4LinearMethod):
        raise NotImplementedError(
            f"weight checker has no ComparableWeight for {type(quant_method).__name__}"
        )
    return None

评论区精华

Review 中 b8zhong 建议删除新增的内联注释（# The TRT-LLM pack is an in-place...），作者 xiuhu17 已删除该注释。讨论焦点在代码简洁性，无架构争议。

• 删除冗余注释 (style): 作者 xiuhu17 同意并删除了注释。

风险与影响

• 风险：风险极低。仅修改一个条件分支，且修改逻辑清晰：当 enable_flashinfer_trtllm_moe 为 True 时返回 None，不影响其他路径。回归风险仅在于若未来 enable_flashinfer_trtllm_moe 属性被其他不兼容的方法调用，可能导致 false negative（未检测到不相等）。但该属性目前只用于区分 TRT-LLM runner，此风险可接受。
• 影响：影响范围仅限于 RL 权重检查器对 NVFP4 MoE 层的处理。启用后，DeepSeek-V4-Flash-FP8-4layer 等模型在使用 --check-weight-update-equal 时，所有 165 个张量（包括打包的专家权重）的比特精确对比均通过。对其他模型或非 RL 场景无影响。
• 风险标记：影响范围窄

关联脉络

• PR #31087 [RL] DSV4: dispatch indexer topk_transform_512 through DSATopKBackend: 同属 RL 系列 PR，涉及权重检查器和 MoE 后端。