执行摘要

本 PR 修复了 DeepSeek V2-Lite 在 MoE 重构后精度从 0.35 骤降至 0.02 的回归。核心是在 shared expert 的 all-reduce 逻辑中增加 is_sequence_parallel 判断，避免非 SP 模式下额外的 reduction。但同时引入了一个 _fused_output_is_reduced 缓存初值可能的竞态风险，已被 reviewer 指出但未在此 PR 修复。

功能与动机

DeepSeek V2-Lite 的精度在 PR#40560 的 MoE 重构后出现严重下降（从 0.35 跌至 0.02）。本 PR 旨在精确诊断并修复该回归。测试命令为：bash .buildkite/scripts/scheduled_integration_test/deepseek_v2_lite_ep_eplb.sh 0.25 200 8010。

实现拆解

变更入口：vllm/model_executor/layers/fused_moe/runner/moe_runner.py。

1. 缓存 _fused_output_is_reduced：在 __init__ 中直接根据 self.quant_method.moe_kernel 的状态计算并保存该属性，避免每次调用时重复访问。但由于 moe_kernel 通常为延迟加载，此缓存可能始终为 False。

2. 调整 _maybe_reduce_shared_expert_output 条件：补充 not self.moe_config.is_sequence_parallel 判断，使 SP 模式下跳过 shared output 的早期 reduction，避免与后续模型 AG 步骤冲突。

def _maybe_reduce_shared_expert_output(
    self,
    shared_output: torch.Tensor | None,
) -> torch.Tensor | None:
    """All-reduce shared expert output when the combine kernel already
    reduced fused output.
    * 如果 combine kernel 已经对 fused_output 做了 reduction，
      则单独对 shared_output 做 reduce；否则在最终输出时一起 reduce。
    * 如果开启了序列并行（SP），会有一个单独的 all-gather 步骤在模型内部处理，
      这里不应该再额外触发 all-reduce。
    """
    if (
        shared_output is not None
        and not self.moe_config.is_sequence_parallel # 新增：SP 模式下跳过
        and self._fused_output_is_reduced
    ):
        shared_output = tensor_model_parallel_all_reduce(shared_output)
    return shared_output

1. 更新文档注释：清晰描述了不同场景下 reduction 的责任归属，并预留了后续将 SP reduction 纳入 runner 的说明。

vllm/model_executor/layers/fused_moe/runner/moe_runner.py

核心变更文件，修复了 shared expert reduction 中的条件判断，增加 is_sequence_parallel 检查；同时引入了 _fused_output_is_reduced 缓存优化但存在竞态风险。

def _maybe_reduce_shared_expert_output(
    self,
    shared_output: torch.Tensor | None,
) -> torch.Tensor | None:
    """All-reduce shared expert output when the combine kernel already
    reduced fused output.
    * 如果 combine kernel 已经对 fused_output 做了 reduction，
      则单独对 shared_output 做 reduce；否则在最终输出时一起 reduce。
    * 如果开启了序列并行（SP），会有一个单独的 all-gather 步骤在模型内部处理，
      这里不应该再额外触发 all-reduce。
    """
    if (
        shared_output is not None
        and not self.moe_config.is_sequence_parallel # 新增：SP 模式下跳过
        and self._fused_output_is_reduced
    ):
        shared_output = tensor_model_parallel_all_reduce(shared_output)
    return shared_output

评论区精华

gemini-code-assist[bot]: "在 __init__ 中缓存 _fused_output_is_reduced 不可靠，因为 moe_kernel 通常为 None（延迟初始化），这将导致所有模型失去 early reduction 路径，可能引发 double reduction 的正确性问题。"

robertgshaw2-redhat: "这似乎是有效的评论。"（但未强制要求修复）

robertgshaw2-redhat: "需要为 is_sequence_parallel 的检查添加详细注释说明原因。此外，我们应尽快将 SP reduction 移入 runner。"

风险与影响

• 缓存竞态风险：__init__ 中缓存的 _fused_output_is_reduced 值因延迟初始化可能持续为 False，导致所有模型失去 early reduction 优化，甚至引发 fused output 的 double reduction。该风险由 reviewer 提出但未被解决。
• 影响范围：直接影响 DeepSeek V2-Lite 的精度，间接影响所有使用 _maybe_reduce_shared_expert_output 的 MoE 模型（如 Qwen2-MoE， DeepSeek-V2）。
• 无测试保障：没有新增测试验证修复和缓存逻辑的正确性。

关联脉络

• PR#40560：本次精度回归的引入者，MoE 重构大幅修改了 reduction 逻辑。
• PR#39956：提供了回归验证的完整模型列表。
• 近期同路径 PR#40794 同样修复了 MoE 路由输出的填充问题，体现了对该模块持续的关注。