执行摘要

本 PR 为 SGLang 的 MoRI EP（MoE 路由执行路径）实现了自动从 MoE 权重数据类型（dtype）检测 dispatch quantization 类型（BF16/FP8/FP4）的功能，替代了之前需手动设置环境变量的方式，简化了用户配置并减少错误。变更涉及核心调度逻辑、量化模块和文档更新，是一个有意义的改进，但对自动检测的依赖性和兼容性变化需注意。

功能与动机

之前，MoRI EP 的 dispatch quantization 类型完全由环境变量 SGLANG_MORI_FP8_DISP 和 SGLANG_MORI_FP4_DISP 控制，用户需手动设置以匹配模型权重类型，这容易出错且不便（引用 PR body: "This was error-prone and inconvenient"）。本 PR 的目标是实现自动检测：根据加载的 MoE 权重 dtype（如 BF16、FP8 或 MXFP4）自动选择正确的 dispatch 路径，提升用户体验和系统可靠性。

实现拆解

主要改动按模块拆解如下：

• MoE token dispatcher 模块（moriep.py）：
  • 移除 _get_mori_dispatch_quant_flags 函数，废弃旧环境变量逻辑。
  • 添加 set_quant_config 方法，在 _MoriEPDispatcherImplBase 中自动从 weight_dtype 检测 dispatch 类型。
  • 将 mori_op 改为懒初始化属性（@property），延迟创建直到首次访问，以适配 set_quant_config 在权重加载后的调用时机。
  • 引入新环境变量 SGLANG_MORI_DISPATCH_DTYPE（默认 auto）供高级用户覆盖自动检测。
  • 量化模块：
    • fp8.py：在 Fp8MoEMethod.process_weights_after_loading() 末尾调用 set_quant_config({"weight_dtype": layer.w13_weight.dtype}) 传递 FP8 权重 dtype。
    • quark_w4a4_mxfp4_moe.py：在 QuarkW4A4MXFp4MoE.process_weights_after_loading() 末尾调用 set_quant_config({"weight_dtype": torch.float4_e2m1fn_x2}) 传递 MXFP4 权重 dtype（权重存储为 torch.uint8 但语义为 MXFP4）。
  • 文档和测试：
    • environment_variables.md：更新表格，替换旧环境变量为新变量。
    • test_moriep_small.py：移除旧环境变量设置，使用新变量 SGLANG_MORI_DISPATCH_DTYPE="bf16" 确保测试通过。

评论区精华

Review 过程中无实质性技术讨论，所有 reviewer（HaiShaw、yichiche、BowenBao）简单批准（如 "LGTM"），表明变更被视为直接且无误，快速进入合并流程。这反映了团队对自动检测设计的一致认可，但缺乏深入审查可能隐藏潜在边缘案例。

风险与影响

• 技术风险：自动检测逻辑依赖权重 dtype 的正确性；如果模型使用混合精度或权重 dtype 不明确，可能导致 dispatch 类型选择错误，影响性能或正确性。懒初始化虽减少开销，但在多线程环境下可能引入竞争条件（代码中未显示同步机制）。兼容性方面，旧环境变量仍支持但有警告，用户升级时需迁移配置，否则可能因废弃变量导致行为不一致。
• 影响范围：对最终用户，配置简化降低错误率，提升易用性；对系统，自动优化 dispatch 路径可能带来更一致的性能，但依赖外部库（如 aiter 提交）以确保 FP4 功能完整；对开发团队，代码更整洁，但需维护新逻辑并更新相关文档和测试。

关联脉络

从近期历史 PR 看，本 PR 与以下变更相关：

• PR #21343（修复 FP4 MoE 内核错误）：两者都涉及 FP4 MoE 支持，本 PR 的自动检测可能依赖该修复以确保内核正常运行。
• PR #20755（优化 MoE router 性能）：都关注 MoE 组件的性能改进，本 PR 的 dispatch 类型自动选择可与路由优化协同，提升整体 MoE 推理效率。
  这些关联显示仓库在持续优化 AMD 平台上的 MoE 量化功能，本 PR 是简化配置的关键一步，后续可能围绕自动检测扩展更多量化类型或集成测试。