verl-project/verl · 标签视图

FSDP 引擎跳过温度为 1 时的全词表 logits 缩放，降低峰值内存。

建议精读。这是一个小范围但设计精良的性能优化 PR。它清晰地识别了一个可以安全跳过的计算（温度=1 时的恒等缩放），通过引入清晰的辅助函数和状态传递实现了优化，同时配套了完备的测试和容错处理。其“识别并跳过 no-op”的优化思路和“保持兼容性”的实现方式，对于处理类似场景具有参考价值。

FSDP-Turbo e2e 测试从 GPU 迁移至 NPU，清理空梯度同步上下文

值得精读，尤其是想了解“如何将一个后端的 e2e 测试从 GPU 迁移到 NPU”以及“如何处置历史 workaround”的读者。关注点：删除 `_gradient_sync_context` 是否真的安全，建议在 PR 描述或后续提交中补充原因；同时留意是否有计划为 GPU 侧补充单元测试或恢复轻量 e2e，避免 fsdp_turbo 在 CUDA 上失去回归保护。

新增 Qwen3.5-2B 对策略蒸馏 FSDP 双平台脚本

值得精读的人群是需要在 GPU/NPU 双平台跑通 on-policy distillation 的用户，可将其作为 OPD 示例模板；关注 `DEVICE` 自动探测、NPU 环境变量分支和 uv gate 的组合方式。核心代码无改动，评审价值主要体现在示例脚本的可维护性与仓库惯例一致性上。

修复 FSDP 合并器误拼接 replicated buffer 崩溃与 shape 损坏

值得精读。这是一个小而完整的数据契约修复：核心决策是识别 FSDP 下“非 DTensor 即完整复制”的语义，并用 fail-fast 替代静默损坏。可借鉴的点包括：错误信息携带 key 名与 rank 号、用 torch.equal 做全量一致性校验、配套聚焦的 CPU 单测直接锁定回归。

修复 trl 新版本下 value-head critic 导入崩溃

建议快速精读（约 5 分钟），是低风险、高收益的兼容性修复样板。值得关注的设计决策：（1）用 try/except 而非版本条件判断（如 `packaging.version` 比较）处理依赖 API 迁移，写法更简洁且天然向前兼容；（2）与 #6539 保持完全一致的导入模式，避免同一仓库出现多种兼容写法；（3）PR body 中「先自查 open PR 再提交」的去重流程值得团队沿用。后续动作建议：在 trl 1.x 依赖升级（#7478）落地时，全局扫描 `from trl import` 确认无其他受影响符号，并考虑补充导入级回归测试。

FSDP 延迟梯度同步新增开关，实际默认改为 false

值得精读，尤其是 `_gradient_sync_context` 的 `getattr` 兼容写法与配置默认值在数据类/YAML 两层的分歧。建议关注合入后默认值调整的决策背景（内存优先），并留意后续是否有统一默认值的跟进 PR。

TorchTitan 引擎接入分片 delta 权重同步，最高提速 17.2×

值得精读。三个设计决策尤其值得学习：(1) 用数学分析而非特判接纳 `_StridedShard`——右到左切割只置换 block 归属而非交错 block，`compute_local_shape_and_global_offset` 已返回置换后偏移；(2) 用 slot table 而非 probe-driven 转换器解决 lockstep gather 下的命名一致性问题；(3) gather 组的「变化 Shard 维、固定其他维」构造避免 HSDP 副本浪费，并按 rank 集合缓存保证 `dist.new_group` 的建组顺序一致。若要在 verl 中为新的 trainer 引擎接入 delta 同步，本 PR 是很好的实现模板。

FSDP2 模型传输改非阻塞，H2D 提速约 3.9 倍

值得精读，重点看两点：一是如何在性能优化中处理“依赖未文档化平台行为”的工程姿势——用注释写明约束、用回归测试锁定行为、并严格控制影响面；二是恰当的同步语义文档化，为后续维护者规避异步传输陷阱。对同仓库写 FSDP/rollout 相关代码的开发者，建议在新增模型传输调用前先阅读该 helper 的注释。