执行摘要

• 一句话：启用 Cohere2MoE NVFP4 快速 MoE 路由
• 推荐动作：值得精读：该 PR 展示了如何通过枚举对齐和参数传递解锁后端能力，是跨模块集成的典型范例。开发者可关注 RoutingMethodType 与 flashinfer 上游的同步策略。

功能与动机

Cohere2MoeSparseMoeBlock 构建 FusedMoE 时未设置 routing_method_type，导致 flashinfer_trtllm NVFP4 融合 MoE 执行器断言失败（compressed_tensors/schemes/compressed_tensors_w4a4_nvfp4_moe.py 中 assert layer.routing_method_type is not None）。选 auto 后端时回退到较慢的 NVFP4 MoE 执行器（flashinfer_cutlass/cutlass），无法利用 TRT-LLM-GEN 快速内核。

实现拆解

1. 扩展 RoutingMethodType 枚举（python/sglang/srt/layers/moe/utils.py）：新增 SigmoidRenorm=6、MiniMax2=7、Sigmoid=8，并将 Unspecified 从 6 改为 9，使 0-9 枚举值与 flashinfer 0.6.12 的 runner.h 一一对应。
2. 模型路由方法推断（python/sglang/srt/models/cohere2_moe.py）：导入 RoutingMethodType，在 Cohere2MoeSparseMoeBlock.init 中根据 expert_selection_fn 和 norm_topk_prob 确定路由方法：sigmoid+norm_topk_prob→SigmoidRenorm，sigmoid→Sigmoid，softmax+norm_topk_prob→RenormalizeNaive，softmax→Default。
3. 传递路由方法（python/sglang/srt/models/cohere2_moe.py）：将 routing_method_type 作为参数传给 FusedMoE 构造函数，满足 flashinfer_trtllm 后端的断言要求。
4. 无测试变更：PR 未包含测试文件改动，但提供了性能基准和准确率数据。

关键文件：

• python/sglang/srt/models/cohere2_moe.py（模块 模型定义；类别 source；类型 data-contract）: 模型入口，新增导入 RoutingMethodType，在 FusedMoE 构造时传递路由方法类型，是解锁 TRT-LLM 后端的直接触发点。
• python/sglang/srt/layers/moe/utils.py（模块 MoE 工具层；类别 source；类型 core-logic）: 定义 RoutingMethodType 枚举，新增 SigmoidRenorm、MiniMax2、Sigmoid 并调整 Unspecified 值以保持与 flashinfer 0.6.12 的 1:1 对齐。

关键符号：Cohere2MoeSparseMoeBlock.init

关键源码片段

python/sglang/srt/models/cohere2_moe.py

模型入口，新增导入 RoutingMethodType，在 FusedMoE 构造时传递路由方法类型，是解锁 TRT-LLM 后端的直接触发点。

# 新增导入，来自 utils.py 的 RoutingMethodType 枚举
from sglang.srt.layers.moe.utils import RoutingMethodType
​
# 在 Cohere2MoeSparseMoeBlock.__init__ 中，根据配置推断路由方法类型
if self.expert_selection_fn == "sigmoid":
    custom_routing_function = cohere2_sigmoid_topk
    scoring_func = "sigmoid"
    # SigmoidRenorm: 对应 sigmoid -> topk -> renormalize，匹配 cohere2_sigmoid_topk 语义
    routing_method_type = (
        RoutingMethodType.SigmoidRenorm
        if self.norm_topk_prob
        else RoutingMethodType.Sigmoid
    )
else:
    custom_routing_function = None
    scoring_func = "softmax"
    # softmax 路径：norm_topk_prob 时用 RenormalizeNaive，否则用 Default
    routing_method_type = (
        RoutingMethodType.RenormalizeNaive
        if self.norm_topk_prob
        else RoutingMethodType.Default
    )
​
# 将 routing_method_type 传给 FusedMoE，满足 flashinfer_trtllm 后端的断言要求
self.experts = FusedMoE(
    num_experts=config.num_experts,
    top_k=self.top_k,
    hidden_size=config.hidden_size,
    intermediate_size=config.intermediate_size,
    reduce_results=False,
    quant_config=quant_config,
    layer_id=layer_id,
    prefix=add_prefix("experts", prefix),
    routing_method_type=routing_method_type, # 此处新增
)

python/sglang/srt/layers/moe/utils.py

定义 RoutingMethodType 枚举，新增 SigmoidRenorm、MiniMax2、Sigmoid 并调整 Unspecified 值以保持与 flashinfer 0.6.12 的 1:1 对齐。

# 路由方法枚举，需与 flashinfer runner.h 同步
class RoutingMethodType(IntEnum):
    Default = (0,) # Softmax -> TopK
    Renormalize = (1,)
    DeepSeekV3 = (2,)
    Llama4 = (3,)
    RenormalizeNaive = (4,)
    TopK = (5,)
    # 以下为新增：对齐 flashinfer 0.6.12 的枚举值 6-8
    SigmoidRenorm = (6,) # Sigmoid -> TopK -> Renormalize
    MiniMax2 = (7,)
    Sigmoid = (8,) # Sigmoid -> TopK (no renormalize)
    # Unspecified 从旧值 6 改为 9，与新枚举不冲突，且与 flashinfer 的 Unspecified 一致
    Unspecified = 9

评论区精华

无 review 评论；ch-wan 直接批准。

• 暂无高价值评论线程

风险与影响

• 风险：风险较低：RoutingMethodType 枚举值调整（Unspecified 从 6→9）可能影响依赖旧常量的外部代码，但 PR 声明 flashinfer 0.6.11/0.6.12 均与新枚举对齐。另一潜在风险是 SigmoidRenorm 路由数值行为应与现有 cohere2_sigmoid_topk 语义一致，准确率评估已验证基本稳定。
• 影响：对用户：Cohere 模型（Command-A-Plus）用户在使用 NVFP4 量化并选择 --moe-runner-backend flashinfer_trtllm 时可获得 26% 吞吐提升（chat 场景）、21% 提升（summ 场景），TTFT 和 TPOT 均有改善。对系统：仅影响 Cohere2Moe 模型及新增的枚举值，不改变其他模型行为。对团队：明确了 RoutingMethodType 与 flashinfer 的同步维护责任。
• 风险标记：枚举值向后兼容性

关联脉络

• 暂无明显关联 PR