Prhub

#2312 docs: remove stale delta NCCL recommendation

原始 PR 作者 liuhao-labs 合并时间 2026-08-24 11:20 文件变更 2 提交数 1 评论 0 代码增减 +4 / -2

执行摘要

删除过时 delta+NCCL 建议,明确 delta 仅支持 disk

PR body 明确写道:「The distributed delta+NCCL updater introduced by #1806 was removed by #2089. Current argument validation rejects --update-weight-mode delta --update-weight-transport nccl, but these two roadmap entries still recommended that exact combination. This aligns the documentation with the current runtime instead of suggesting a path that no longer exists.」关联 Issue #2209 曾报告该组合在 Qwen3.5-122B grouped-MoE 上导致 NaN/inf 崩溃,但 PR 特意声明不修复该问题,因为相关代码已从 main 移除。因此本次变更的动机是消除文档与运行时行为的分歧,避免用户被引导到不存在的配置路径。

PR 改动很小,不需要精读。值得留意的设计决策是:当代码功能被移除(#2089)而文档未同步时,决策表会继续推荐一条不存在的路径;本次通过“明确说明当前契约 + 声明不修复历史问题”的方式完成对齐。若关注 external rollout engine 的权重同步演进(#1806 引入 → #2089 移除 → #2209 报告 NaN → #2312 清理文档),可以顺着这条链路做复盘。

讨论亮点

本 PR 无任何 review 评论与讨论线程(comments_count 与 review_comments_count 均为 0),合入前由作者在 PR body 中说明验证过程后直接合入。唯一的隐含澄清是:作者特意区分“删除过时文档建议”与“修复 #2209 崩溃”两件事,避免读者将文档清理误认为对 grouped-MoE 损坏问题的修复。

实现拆解

变更入口是 docs/en/advanced/external-rollout-engines.mddocs/zh/advanced/external-rollout-engines.md 中的“何时使用 external engine”决策表。实施分三步:

  1. 删除过时推荐:英文表移除 You want to validate delta wire/apply logic inside one datacenter 对应的 delta + nccl 行;中文表移除 想验证 delta wire/apply 逻辑,但仍在同一数据中心内 对应的 delta + nccl 行。该组合正是 #2089 移除、且参数校验拒绝的路径。
  2. 写入新契约:英文表新增 Delta mode supports disk transport only. Use full mode when syncing weights over NCCL.;中文表新增 delta mode 仅支持 disk transport。通过 NCCL 同步权重时请使用 full mode.,把运行时约束显式固化为文档,替代原推荐行。
  3. 同步与验证:中英文语义保持一致,避免双语内容漂移;作者用 Sphinx 分别构建英文(50 个既有 warning)与中文(55 个既有 warning)并通过,检查生成的 HTML 含新 disk-only 说明,pre-commit 与 git show --check 通过。无测试、配置或部署配套改动,因为这是纯文档变更。
文件 模块 状态 重要度
docs/en/advanced/external-rollout-engines.md 英文文档 modified 2.03
docs/zh/advanced/external-rollout-engines.md 中文文档 modified 2.03

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

风险极低,属于纯文档变更。具体要点:

  • 运行时零影响:不改任何源码、参数校验逻辑或配置 schema。
  • 双语一致性:中英文同步更新,避免单侧滞后;后续编辑需保持两份文档对齐。
  • 未来回归风险:如果重新引入 delta+NCCL 传输(例如基于 #2209 的修复重开该路径),本页需要再次更新,否则会重新出现 stale 推荐。
  • 读者澄清:文档仍保留 delta 模式的 disk 用法,且 PR 已声明不涉及修复 #2209,避免被历史崩溃暗示为“delta 整体不可用”。

影响范围主要面向使用 external rollout engine 与 --update-weight-mode 参数的工程师:他们不会再被引导到已被参数校验拒绝的 delta + nccl 组合,减少试错成本。对训练系统无任何运行时代码影响;对团队而言,文档与 runtime 契约对齐后,后续围绕 weight-update 模式的开发有更清晰的文档基线,也提示团队在移除功能时应同步检查文档。

纯文档变更,无运行时风险 中英文双语需保持同步 重新引入 delta+NCCL 时需更新文档

关联 Issue

#2209 Delta weight sync (NCCL) produces NaN weights on Qwen3.5-122B MoE → "probability tensor contains inf/nan" crash

完整报告

参与讨论