执行摘要

该PR为FlashInfer TRTLLM路由MoE后端启用了FP4量化支持，通过修改MoE运行器逻辑和更新量化配置，旨在提升使用FP4权重模型的推理性能。变更已通过批准，预计对特定后端用户带来显著性能增益，如基准测试所示吞吐量提升。

功能与动机

动机是扩展FP4量化支持到 --moe-runner-backend=flashinfer_trtllm_routed，解决该后端在FP4模型上的兼容性问题。PR body中明确表示“Enable FP4 support”，并提供精度和基准测试数据，显示吞吐量提升和延迟降低，例如在MiniMax-M2.5模型上输出吞吐量从4489.171 token/s提升到7436.500 token/s，体现了性能优化的目标。

实现拆解

实现主要涉及两个模块的修改：

• MoE运行器模块：在 python/sglang/srt/layers/moe/moe_runner/flashinfer_trtllm.py 中，修改了 fused_experts_none_to_flashinfer_trtllm_fp4 函数，添加 use_routed_topk 参数并导入 trtllm_fp4_block_scale_routed_moe，以支持路由MoE的FP4量化路径。关键变更包括调整数据类型（如输出缓冲区使用 hidden_states.dtype 而非固定 torch.bfloat16）和逻辑优化。
• 量化配置模块：在 python/sglang/srt/layers/quantization/modelopt_quant.py 中，更新条件以包含 flashinfer_trtllm_routed 后端，并在 create_moe_runner 方法中添加对应的分支，确保系统正确识别新后端。

评论区精华

review过程中，Fridge003批准了变更，无具体评论，表明变更被接受且无明显争议。这简化了合并流程，但也可能意味着讨论深度有限。

风险与影响

• 技术风险：修改核心MoE函数可能引入正确性风险，尤其是在路由MoE场景下；新路径的测试覆盖需验证，以避免性能回归；性能优化依赖于特定硬件（如NVIDIA）和模型，需在多样化环境中测试。
• 影响范围：使用该后端的FP4量化模型用户将直接受益于性能提升；系统推理效率提升，优化资源利用率；团队需更新文档和测试，确保功能稳定性。

关联脉络

该PR与历史PR #21771（MoE topk性能修复）和 #21931（量化测试迁移）相关，共同构成量化与MoE性能优化的演进趋势。这反映了sglang项目在扩展量化支持和优化推理性能方面的持续努力，未来可能进一步扩展到其他后端或硬件平台。