执行摘要

• 一句话：修复flashinfer_trtllm中未选中专家被错误填充
• 推荐动作：此PR虽小但修复了一个关键的正确性问题。建议合并，并考虑在相关测试中增加对填充token（-1 expert id）的验证，确保未来不会回归。

功能与动机

在MoE推理中，SGLang会对填充的token使用-1 expert id标记，但masked_fill导致这些未选中专家被填充为0，使得flashinfer错误地处理这些专家计算结果，影响模型输出准确性。

实现拆解

1. 在python/sglang/srt/layers/moe/moe_runner/flashinfer_trtllm.py的_pack_topk_for_flashinfer_routed函数中，移除了对packed tokens的masked_fill操作（packed.masked_fill_(packed_ids < 0, 0)），以及相关的注释。
2. 该函数用于将top-k路由结果打包为FlashInfer所需的int32格式，移除masked_fill后，-1 expert id的token在后续计算中会被flashinfer自动跳过，符合预期行为。

关键文件：

• python/sglang/srt/layers/moe/moe_runner/flashinfer_trtllm.py（模块 MoE；类别 source；类型 core-logic；符号 _pack_topk_for_flashinfer_routed）: 核心修改文件，修复了MoE路由中未选中专家的打包逻辑。

关键符号：_pack_topk_for_flashinfer_routed

关键源码片段

python/sglang/srt/layers/moe/moe_runner/flashinfer_trtllm.py

核心修改文件，修复了MoE路由中未选中专家的打包逻辑。

def _pack_topk_for_flashinfer_routed(
    topk_ids: torch.Tensor, topk_weights: torch.Tensor
) -> torch.Tensor:
    """Pack routed top-k tensors into FlashInfer's int32 format."""
    packed_ids = topk_ids.to(torch.int32)
    packed_weights = topk_weights.to(torch.bfloat16)
    # 将 expert id 左移 16 位，权重转 int16 后组合成一个 int32
    packed = (packed_ids << 16) | packed_weights.view(torch.int16).to(torch.int32)
    # 移除 masked_fill，让 flashinfer 自动跳过未选中专家（negative expert id）
    return packed

评论区精华

无review评论，仅有一条Gemini Code Assist的配额警告和一条rerun CI的指令。变更简洁直接，无公开讨论争议。

• 暂无高价值评论线程

风险与影响

• 风险：风险较低。改动仅移除masked_fill，确保负expert id的token不被填充。flashinfer内核应能正确处理负值并跳过未选中专家，但需确认flashinfer版本兼容性。若flashinfer不支持负值，可能引发未定义行为。此外，需要确保其他依赖_pack_topk_for_flashinfer_routed的路径未受到负面影响。
• 影响：影响范围较小，仅修改flashinfer_trtllm MoE runner中的打包函数。对使用flashinfer作为后端且使用trtllm MoE runner的场景有正确性改善，对性能影响可忽略。
• 风险标记：缺失flashinfer负ID兼容性验证, 缺少测试覆盖

关联脉络

• PR #23545 Fix MoE no_combine: skip router weight in down projection: 同属MoE模块的bugfix，可能涉及相同的路由逻辑区域。