执行摘要

• 一句话：修复确定性推理未禁用 FlashInfer allreduce 融合的问题
• 推荐动作：该 PR 值得合并，修复了重要的回归问题。建议阅读其设计思路：通过提前设置强制禁用标记来拦截模型特定调整逻辑，是一种简洁且健壮的模式，可推广到类似场景。

功能与动机

PR #22664 在 _handle_model_specific_adjustments 中对多个 MoE 架构自动启用了 enable_flashinfer_allreduce_fusion，但该融合内核在不同 batch size 下会产生非确定性结果，违反了 --enable-deterministic-inference 的契约。这导致 nightly CI 测试 TestFlashInferDeterministic.test_prefix_with_logprobs 自 2026-04-19 起持续失败。PR body 指出其他架构（如 DeepseekV3、Qwen3MoE 等）也受影响。

实现拆解

1. 在 __post_init__ 中提前设置强制禁用标记：在调用 _handle_model_specific_adjustments 之前，如果 enable_deterministic_inference 为 True，则设置 enforce_disable_flashinfer_allreduce_fusion = True。这样 _handle_model_specific_adjustments 内部的 enforce 检查（约第 2378 行）会生效，确保抑制自动开启逻辑。
2. 在 _handle_deterministic_inference 中显式禁用并记录警告：当 enable_deterministic_inference 为 True 且 enable_flashinfer_allreduce_fusion 已启用时，发出警告日志并直接将其置为 False。这与现有对 enable_aiter_allreduce_fusion 的处理方式保持一致。
3. 无变更时影响默认路径：当用户未启用确定性推理时，所有逻辑无变更，enable_flashinfer_allreduce_fusion 仍由 _handle_model_specific_adjustments 自动决定。

关键文件：

• python/sglang/srt/server_args.py（模块 参数配置；类别 source；类型 core-logic）: 唯一变更文件，包含两处修改：__post_init__ 中提前设置强制禁用标记，以及 _handle_deterministic_inference 中显式禁用并记录警告。

关键符号：post_init, _handle_deterministic_inference

关键源码片段

python/sglang/srt/server_args.py

唯一变更文件，包含两处修改：__post_init__ 中提前设置强制禁用标记，以及 _handle_deterministic_inference 中显式禁用并记录警告。

# python/sglang/srt/server_args.py
​
class ServerArgs:
    ...
    def __post_init__(self):
        ...
        # enforce_disable_flashinfer_allreduce_fusion must be set before
        # _handle_model_specific_adjustments, which auto-enables the fusion
        # for several SM90/SM100 MoE arches.
        if self.enable_deterministic_inference:
            self.enforce_disable_flashinfer_allreduce_fusion = True # 提前设置强制禁用标记，
            # 确保后续 _handle_model_specific_adjustments 中的 enforce 检查生效
​
        # Apply model-specific adjustments.
        self._handle_model_specific_adjustments()
        ...
​
    def _handle_deterministic_inference(self):
        ...
        if self.enable_deterministic_inference:
            if self.enable_aiter_allreduce_fusion:
                logger.warning(
                    "Disable --enable-aiter-allreduce-fusion because deterministic inference is enabled."
                )
                self.enable_aiter_allreduce_fusion = False
​
            # 新增：同样禁用 FlashInfer allreduce 融合
            if self.enable_flashinfer_allreduce_fusion:
                logger.warning(
                    "Disable --enable-flashinfer-allreduce-fusion because deterministic inference is enabled."
                )
                self.enable_flashinfer_allreduce_fusion = False
            ...

评论区精华

Gemini Code Assist 机器人提出了两点审查意见：

1. 日志信息中的参数名应添加 -- 前缀以保持一致性（与 aiter allreduce 融合的警告格式统一）。
2. 在 _handle_deterministic_inference 内部设置强制禁用标记是冗余的，因为该函数在 _handle_model_specific_adjustments 之后调用；应将该标记提前到 __post_init__ 中、模型特定调整之前设置。
   作者在第二次提交中采纳了这两条建议：修改了日志消息中的参数名格式，并将 enforce_disable_flashinfer_allreduce_fusion = True 移至 __post_init__ 中 _handle_model_specific_adjustments 调用之前。最终获得 BBuf 的批准。

• 日志消息一致性：添加 -- 前缀 (style): 作者采纳建议，修改了日志消息中的参数名格式。
• 强制禁用标记的位置：应提前到 post_init (design): 作者采纳建议，在第二次提交中将该标记移至 post_init 中，位于 _handle_model_specific_adjustments 之前。

风险与影响

• 风险：该 PR 仅修改配置逻辑，且仅当用户明确启用 --enable-deterministic-inference 时才会触发。对于默认的非确定性推理路径无任何影响。风险很低。唯一的潜在问题是如果未来 _handle_model_specific_adjustments 的逻辑发生变化，可能破坏此处的依赖顺序；但目前有清晰的注释说明该约束。

• 影响：影响范围：影响启用确定性推理且使用 FlashInfer allreduce 融合的 MoE 模型（如 DeepSeek V3、Qwen3Next 等）在 H100/H200/B200 等 SM90/SM100 架构上的推理。
  影响程度：修复了 nightly CI 测试的稳定性问题，确保启用 --enable-deterministic-inference 时输出严格可重现。对用户而言，启用确定性推理时性能可能略有下降（由于禁用融合），但这是预期行为。

• 风险标记：核心路径变更

关联脉络

• PR #22664 Add Qwen3Next and other MoE arches to FlashInfer allreduce auto-enable list: 该 PR 引入了本 PR 修复的问题：为多个 MoE 架构自动启用 FlashInfer allreduce 融合，但未在确定性推理模式下禁用。