执行摘要

• 一句话：启用 trtllm-gen BF16 MoE 用于 MTP 草稿层
• 推荐动作：该 PR 改动简洁但有效，值得所有使用 flashinfer_trtllm BF16 后端的团队了解。重点关注 server_args.py 中安全逻辑删除后的回归测试结果。

功能与动机

FlashInfer 在 PR#2803 中增加了对 DSV3 routing 的 BF16 支持，使未量化的 MoE 层可以在 MTP 草稿层中使用 trtllm-gen 后端。此前为了安全，草稿模型强制规避 trtllm-gen，如今条件成熟，可以移除这一 guard 以提升性能。

实现拆解

1. 放宽激活函数限制：在 flashinfer_trtllm.py 的 fused_experts_none_to_flashinfer_trtllm_bf16 函数中，将原本只允许 "silu" 的断言扩展为支持 {"silu", "relu2"}，并新增 activation_type 参数传递给底层 kernel。同时移除了对 is_gated 的断言，允许非 gated 结构的 MoE（如 Nemotron）。
2. 删除草稿后端的回避逻辑：在 server_args.py 的 _handle_speculative_decoding 中，删除了原有的安全逻辑（该逻辑曾检测草稿模型是否使用了 flashinfer_trtllm 后端并强制回退），直接将 speculative_moe_runner_backend 设为与主模型相同的 moe_runner_backend。
3. 允许无量化时使用 flashinfer_trtllm：在 server_args.py 的 _handle_model_specific_adjustments 中，将 self.quantization is None 也加入条件，使得未量化的 BF16 模型也能自动选用 flashinfer_trtllm 后端。

关键文件：

• python/sglang/srt/server_args.py（模块 配置管理；类别 source；类型 dependency-wiring；符号 _handle_speculative_decoding, _handle_model_specific_adjustments）: 删除了草稿模型回避 flashinfer_trtllm 的 guard，同时允许 BF16 无量化时自动选用该后端，是功能启用决断点。
• python/sglang/srt/layers/moe/moe_runner/flashinfer_trtllm.py（模块 MoE 运行器；类别 source；类型 core-logic；符号 fused_experts_none_to_flashinfer_trtllm_bf16）: 放宽了激活函数限制并移除了 is_gated 断言，使非 gated MoE（如 Nemotron）也能使用 BF16 trtllm 后端。

关键符号：fused_experts_none_to_flashinfer_trtllm_bf16, _handle_speculative_decoding, _handle_model_specific_adjustments

评论区精华

无实质性 review 讨论，所有评论来自 bot 或操作指令。Reviewer samuellees 和 ch-wan 均直接批准，无质疑或要求修改。

• 暂无高价值评论线程

风险与影响

• 风险：
  1. 回归风险：server_args.py 中删除了近 20 行安全逻辑，若草稿模型的 MoE 层存在非 DSV3 routing 的特殊情况，可能导致 kernel 调用失败。然而测试已覆盖 Nemotron（非 gated MoE）并验证通过。
  2. 兼容性风险：activation_type 参数的传递依赖 flashinfer 新版 API；若用户 flashinfer 版本较旧，可能因缺少对应 kernel 而报错。但 PR 中外层已有 try-catch 处理导入失败的场景。
  3. 性能风险：无，实测显示草稿 MoE 有约 2.5 倍加速，端到端整体加速约 1.4%。
     - 影响：影响范围主要影响使用 flashinfer_trtllm BF16 MoE 后端的 MTP 场景（如 DeepSeek V3、Nemotron 等）。用户收益：草稿模型 MoE 计算时间大幅缩短，端到端解码吞吐量提升。系统：无架构性改动，配置逻辑更加简洁一致。
     - 风险标记：核心路径变更, 缺少测试覆盖

关联脉络

• PR #24735 [Spec] Move accept_tokens off EagleDraftInput; pass via method arg: 同为 speculative decoding 模块的演进，虽然改动路径不同，但均涉及草稿模型内部逻辑调整。