执行摘要

• 一句话：修复 DeepSeek V4 大 PP 下的竞态 bug
• 推荐动作：值得精读。虽然只有一行核心改动，但反映了分布式推理中流同步的典型陷阱，设计模式可推广至其他多流模型的 lazy allocation。建议阅读 PR body 中关于 stream_indexer 和 stream_compressor 的竞态分析。

功能与动机

修复 Issue #25662 中 PP=8 时 DeepSeek V4 输出乱码问题（如输出大量方括号），原因是 MQALayer._forward_prepare_multi_stream 中惰性升级落在第一个到达的 alt-stream，另一 alt-stream 未经同步直接读取新分配的元数据张量导致竞态。PP=2 时恰好被规避，PP≥4 时中间层触发。

实现拆解

1. 定位问题根因：SGLANG_PREP_IN_CUDA_GRAPH 控制下的惰性张量升级原在 MQALayer._forward_prepare_multi_stream 内部执行，该函数可能被多流调用，升级所在流不确定；另一 alt-stream 通过 record_event / wait_stream 同步未覆盖本次升级，导致跨流读未初始化或脏数据。
2. 调整升级时机：在 python/sglang/srt/models/deepseek_v4.py 的 DeepseekV4Model.forward 方法中，在 CP 重排之后、层循环之前（第 1049-1050 行，head 版本），显式调用 forward_batch.attn_backend._maybe_upgrade_forward_metadata()。此时仍在主流上，所有 alt-stream 尚未分叉。
3. 保证幂等性：该方法内部检查是否已升级，后续每个 layer 内的调用变为空操作，不引入额外开销。
4. 仅修改一行核心逻辑，改动量小，无依赖或配置变更，无需新增测试文件（已有集成测试覆盖 PP 场景）。

关键文件：

• python/sglang/srt/models/deepseek_v4.py（模块 模型推理；类别 source；类型 core-logic；符号 DeepseekV4Model.forward）: 唯一修改文件，核心修复所在。将 _maybe_upgrade_forward_metadata() 提前到主流上执行。

关键符号：DeepseekV4Model.forward

关键源码片段

python/sglang/srt/models/deepseek_v4.py

唯一修改文件，核心修复所在。将 _maybe_upgrade_forward_metadata() 提前到主流上执行。

# file: python/sglang/srt/models/deepseek_v4.py
# 位于 DeepseekV4Model.forward 方法中，CP 重排之后、层循环之前
# 新增一行：在主线上升级 lazy metadata，避免多流竞态
​
if nsa_use_prefill_cp(forward_batch):
    if self.pp_group.is_first_rank:
        hidden_states = cp_split_and_rebuild_data(forward_batch, hidden_states)
    positions = cp_split_and_rebuild_position(forward_batch, positions)
​
# [ 修复 ] 将元数据升级提前至主流，在层循环分叉 alt-stream 前执行
# 后续 per-layer 调用内部会跳过，因此幂等
forward_batch.attn_backend._maybe_upgrade_forward_metadata()
​
for i in range(self.start_layer, self.end_layer):
    layer = self.layers[i]
    hidden_states = layer(
        positions=positions,
        hidden_states=hidden_states,
        forward_batch=forward_batch,
        input_ids=input_ids,
        input_ids_global=input_ids_global,
    )

评论区精华

未产生 review 评论，PR 由两名 reviewer 直接批准。PR 作者在 Body 中详细解释了竞态产生机理和修复思路，并在 issue 评论区请求关联人验证。

• 暂无高价值评论线程

风险与影响

• 风险：
  1. 回归风险低：仅改变一次调用的时机，且方法本身幂等，不影响非 PP 或 PP<4 场景。
  2. 性能影响可忽略：从层内提至层前，单次调用，张量形状与之前一致。
  3. 未覆盖测试验证：PR 未添加针对 PP≥4 的单元测试或集成测试，长期来看建议补充跨流同步测试。
• 影响：
  1. 用户影响：修复了 DeepSeek V4 在 PP≥4 时的精度崩溃，直接解锁大 PP 部署场景。
  2. 系统影响：仅修改 deepseek_v4.py 一个文件，无 API、配置或序列化变化。
  3. 团队影响：推动类似竞态问题排查规范——跨流惰性初始化必须在主流提前执行。
     - 风险标记：核心路径变更, 缺少测试覆盖

关联脉络

• PR #25662 [Bug] Precision issues encountered in DeepSeek V4: 关联 issue，本 PR 直接修复该 issue 报告的问题。
• PR #25733 [Bug] Fix V4-Pro NaN on Blackwell by converting fp8_einsum input scale to ue8m0: 同为 DeepSeek V4 近期精度修复，但故障场景不同。