执行摘要

• 一句话：修复EAGLE推测解码在TP>1和非贪婪采样时因浮点非确定性导致的NCCL AllGather死锁问题。
• 推荐动作：该PR是解决分布式推测解码死锁问题的关键修复，值得所有涉及分布式推理和推测解码的工程师精读。重点关注浮点非确定性在分布式采样中的影响，以及通过广播确保一致性的设计模式。

功能与动机

修复Issue #22276中报告的NCCL AllGather死锁问题。具体场景是Qwen3 Next MTP模型在TP>1和非贪婪采样时，由于浮点非确定性导致不同GPU的采样结果（predict、accept_index、accept_length）不一致，进而引发后续LogitsProcessor中的AllGather大小不匹配，最终导致分布式推理挂起。

实现拆解

在EAGLE推测解码的两个核心文件（eagle_info.py和eagle_info_v2.py）的采样函数中，添加了TP rank间的同步逻辑：

1. 根据是否启用DP Attention选择合适的TP group（get_attention_tp_group()或get_tp_group()）。
2. 当TP group大小>1时，从rank 0广播predict、accept_index和accept_length三个张量，确保所有rank采样结果一致。

关键文件：

• python/sglang/srt/speculative/eagle_info.py（模块 speculative-decoding）: EAGLE推测解码V1的核心实现文件，修改了verify函数以添加TP rank间同步逻辑。
• python/sglang/srt/speculative/eagle_info_v2.py（模块 speculative-decoding）: EAGLE推测解码V2的核心实现文件，修改了sample函数以添加TP rank间同步逻辑。

关键符号：verify, sample

评论区精华

review中主要讨论了三个关键点：

1. gemini-code-assist[bot]指出初始实现只同步了predict张量，但accept_index和accept_length同样受浮点非确定性影响，必须一并同步，否则仍会导致不一致。
2. yudian0504建议考虑DP Attention场景下的TP group选择，并提供了具体的广播代码示例。
3. ispobock确认了tp_group.broadcast内部已处理rank转换，简化了实现。最终所有关键张量都被同步，解决了完整性问题。

• 同步张量完整性 (correctness): 采纳建议，同步了所有三个关键张量（predict、accept_index、accept_length）。
• TP group选择 (design): 采纳建议，更新了tp_group选择逻辑以支持DP Attention。
• 广播rank转换 (correctness): 确认现有实现正确，无需额外转换。

风险与影响

• 风险：风险较低：
  1. 广播操作增加了少量通信开销，但在TP规模不大时影响有限。
  2. 修改位于推测解码的核心路径，需确保不会引入新的正确性问题。
  3. 依赖TP group的正确配置，如果group选择逻辑有误可能导致同步失败。
• 影响：影响范围：
  1. 修复了EAGLE推测解码在TP>1和非贪婪采样时的分布式死锁问题，提升了系统稳定性。
  2. 影响所有使用EAGLE推测解码且TP>1的场景，特别是Qwen3 Next MTP模型。
  3. 对用户透明，无需额外配置，直接解决现有CI测试失败问题。
• 风险标记：核心路径变更, 分布式同步开销

关联脉络

• PR #22241 [sgl] add ability to return logprobs in MultiLayerEagleWorkerV2: 同样涉及EAGLE推测解码的修复和重构，属于同一功能模块。
• PR #22358 Enable DFLASH support for additional model backends: 涉及推测解码能力的扩展，技术领域相关。