verl-project/verl · 标签视图

补充昇腾 NPU 上 Checkpoint Engine 后端配置文档

该 PR 无需精读代码，建议用 3-5 分钟浏览文档正文即可，重点关注三个设计决策：(1) `nccl` 在 NPU 上被隐式解析为 HCCL——这是一个“配置名与实现后端不一致”的接口约定，值得确认其实现位置并在代码侧保留注释，避免后续被误当作 bug 改掉；(2) Mooncake 在 NPU 上依赖源码编译 `ascend_direct`，属于部署前置条件，建议在昇腾镜像或安装脚本文档中交叉引用；(3) 参数表默认值（2048 MB 桶、`group_name=default`、`rebuild_group=False`）与实现的一致性没有自动化保障，建议后续修改 checkpoint engine 的 PR（如 Mooncake 相关修复）把更新本文档纳入 checklist。若团队有英文文档镜像，建议同步一份以覆盖英文用户。

修复 V1 异步训练恢复后重复提交 warmup 导致的跳样本与窗口溢出

建议精读，尤其是维护 V1 异步训练与 checkpoint 恢复链路的同学。三个值得关注的设计决策：(1) 门控依据从「reissue 动作返回值」改为「恢复状态占用计数」，揭示了恢复类逻辑应以状态而非动作结果做门控；(2) 预取窗口的度量单位由 batch 改为 prompt，并配套 `_add_prompts_to_generate(missing_prompts)`；(3) 恢复池超额时「只保不缩」，用日志而非裁剪处理异常状态。此外，Begunner 在 review 中指出反例并直接提交修复的协作模式，以及 PR body 中明确标注 AI 辅助定位、人工逐行复核的做法，都值得作为流程参考。后续建议补齐两个覆盖缺口：带 `global_steps` 过滤的计数测试，以及打通真实 replay buffer / dataloader 的集成测试。

修复 FSDP 合并器误拼接 replicated buffer 崩溃与 shape 损坏

值得精读。这是一个小而完整的数据契约修复：核心决策是识别 FSDP 下“非 DTensor 即完整复制”的语义，并用 fail-fast 替代静默损坏。可借鉴的点包括：错误信息携带 key 名与 rank 号、用 torch.equal 做全量一致性校验、配套聚焦的 CPU 单测直接锁定回归。

vLLM 新增 delta_sharded 稀疏权重同步，实测提速约 8 倍

值得精读。这是 delta_sharded 从 SGLang 扩展到 vLLM 的关键一步，对理解 VERL checkpoint 引擎的扩展模式很有价值。重点看：① 坐标映射交由 vLLM 原生 loader 的架构分工（decode_delta_payload + CheckpointWeightPatch）；② 失败锁死与“整 session 重建”的运维语义；③ require_vllm_delta_support 的接口探测写法与 _preprocess_engine_kwargs 的拓扑 guard；④ 在无法运行真实路径的 CI 环境里，如何用版本无关回归测试（abort 传播、字节对齐）保护基础设施。

新增配置驱动的 checkpoint 保存回调钩子

值得精读。设计上有三个可借鉴点：null-object 模式省去调用点空值守卫、fail-fast 语义保证 checkpoint 副作用不静默失败、`**kwargs` 与 no-op 基类为未来扩展事件预留兼容性。评审中“不碰 deprecated trainer、删冗余 UT”的收敛也值得学习。计划在 verl 上做 checkpoint 上传/注册/评估接入的团队可直接照此实现。

TorchTitan 引擎接入分片 delta 权重同步，最高提速 17.2×

值得精读。三个设计决策尤其值得学习：(1) 用数学分析而非特判接纳 `_StridedShard`——右到左切割只置换 block 归属而非交错 block，`compute_local_shape_and_global_offset` 已返回置换后偏移；(2) 用 slot table 而非 probe-driven 转换器解决 lockstep gather 下的命名一致性问题；(3) gather 组的「变化 Shard 维、固定其他维」构造避免 HSDP 副本浪费，并按 rank 集合缓存保证 `dist.new_group` 的建组顺序一致。若要在 verl 中为新的 trainer 引擎接入 delta 同步，本 PR 是很好的实现模板。

回退异步广播，修复 NPU 权重更新时 hccl error

值得快速浏览，作为"性能优化在硬件专属路径上引入回归后被回退"的典型案例：提醒在 HCCL 等硬件专属通信路径上做并行化/异步化改造时，必须有对应 NPU 环境的测试覆盖。无需精读，技术含量有限，但可在 release note 中记录此次回退以避免他人重复踩坑。

Ascend 950 文档更新：kimi checkpoint engine 改白名单支持

可以花少量时间精读这段文档，重点是理解 HCCL 白名单机制在 Ascend 950 上的启用方式；建议在合并后跟进修正 JSON 示例格式，并补充 IP 格式与适用范围说明。若后续有相关源码支持 PR，可与此文档同步更新。