在 SP 和 CP 并行中，gather_from_sequence_parallel_region 和 dist.nn.all_gather 的 backward 错误地对非分片线性注意力计算执行了 reduce-scatter，导致每个层的梯度范数膨胀 TP×CP 倍，可能影响训练收敛。PR body 中指出修复后使用真实权重和 DAPO 数学数据验证了梯度范数，例如 Qwen3.5-27B 和 Qwen3Next-80B 模型。
建议精读此 PR，特别是 _AllGatherForDuplicatedComputation 的设计，它展示了在分布式训练中处理重复计算时避免梯度膨胀的技巧。对于涉及并行计算、注意力机制或模型配置的开发人员，此变更值得深入理解以应用于相关场景。
没有 review 讨论记录，因此无法提炼讨论亮点。
实现主要分为三部分：1) 在 slime_plugins/models/hf_attention.py 中，添加 _load_hf_config 函数作为配置加载的 fallback，并定义 _AllGatherForDuplicatedComputation 自定义 autograd 函数，其 backward 仅返回本地梯度切片以避免 reduce。同时修改 HuggingfaceAttention.forward 中 gather_from_sequence_parallel_region 的调用，设置 tensor_parallel_output_grad=False。2) 在 slime_plugins/models/qwen3_5.py 和 qwen3_next.py 中，集成 _load_hf_config 并添加逻辑以计算 layer_types 当配置类缺少该属性时，确保模型类型识别正确。次要改动包括 slime/utils/reloadable_process_group.py 中内存阈值的调整。
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
slime_plugins/models/hf_attention.py |
models/attention | modified | 9.0 |
slime_plugins/models/qwen3_5.py |
models | modified | 6.0 |
slime_plugins/models/qwen3_next.py |
models | modified | 6.0 |
分析完成后，这里会展示 LLM 生成的相对完整源码片段和详细注释。
当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。
风险包括：1) _AllGatherForDuplicatedComputation 的实现可能未覆盖所有边缘情况（如梯度形状或数据类型），导致梯度计算错误；2) 修改了核心并行路径（序列并行和模型并行的 gather 操作），可能引入回归，影响其他模型或配置；3) _load_hf_config 的 fallback 逻辑可能不兼容所有模型类型，导致配置加载失败。PR 未提供测试覆盖信息，可能存在潜在漏洞。
影响：1) 对用户：提升在 SP/CP 下训练线性注意力模型的稳定性和准确性，避免梯度爆炸导致的训练问题；2) 对系统：修复梯度计算逻辑，确保分布式训练的正确性，可能改善训练效率和收敛性；3) 对团队：需要了解此修复，并在类似场景中应用自定义 autograd 函数的设计模式，以处理分布式计算中的梯度问题。
当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。
该 PR 修复了在序列并行和模型并行设置中，线性注意力层反向传播时梯度计算错误导致梯度范数膨胀的问题。通过自定义 autograd 函数和修改 gather 操作，确保梯度正确分割而非重复累加，已用实际模型验证修复效果。
在分布式训练中，序列并行（SP）和模型并行（CP）用于线性注意力层时，gather_from_sequence_parallel_region 和 dist.nn.all_gather 的 backward 错误地执行了 reduce-scatter 操作，导致梯度被错误地乘以 TP×CP 倍。这可能导致训练不稳定或失败。PR body 中说明修复后使用 Qwen3.5-27B 和 Qwen3Next-80B 模型验证了梯度范数恢复正常，解决了训练中的潜在问题。
主要改动集中在 slime_plugins/models/hf_attention.py 文件：
_load_hf_config 函数作为 fallback，当 transformers 无法识别模型类型时，直接从 config.json 加载配置。_AllGatherForDuplicatedComputation 类，继承 torch.autograd.Function，其 forward 执行 all-gather，backward 仅返回本地梯度切片，避免 reduce-scatter。HuggingfaceAttention.forward 中，设置 tensor_parallel_output_grad=False 以指示 backward 执行分割而非 reduce-scatter。在 qwen3_5.py 和 qwen3_next.py 中：
_load_hf_config 替换原有的配置加载。layer_types 当配置类缺少该属性时，确保模型层类型识别。次要改动：slime/utils/reloadable_process_group.py 调整了内存清理阈值，可能优化资源管理。
该 PR 没有 review 评论，因此没有讨论记录。
风险：
_AllGatherForDuplicatedComputation 可能未处理所有边界情况，如梯度形状或数据类型不匹配。影响：
从近期历史 PR 看，此 PR 独立修复了特定 bug，没有明显直接相关的其他 PR。但涉及 Qwen 模型的支持（如 PR #1742 添加了 Qwen3.5 loss mask），表明团队在持续优化 Qwen 系列模型的兼容性和性能，本修复是这一趋势中的一部分。
参与讨论