verl-project/verl · 标签视图

移除失效 grad_offload 配置，属 Breaking 清理

值得快速阅读（约 15 分钟），重点关注两点：一是 `verl/workers/config/engine.py` 如何通过 dataclass + 生成配置联动维护配置契约，二是本 PR 与 #7536/#7466 形成的“清理死配置键”模式。如果有外部 Megatron 脚本或自定义配置，需要检查是否引用 `grad_offload` 并完成迁移。实现本身较机械，不需要深读。

删除残留 ref.router_replay 配置，修复 Hydra dataclass 实例化报错

值得花 5 分钟快速阅读，作为“配置 schema 与 dataclass 一致性”的典型案例，建议与 #7466 合并阅读。关注点：(1) verl 用 omega_conf_to_dataclass + Hydra struct 模式实例化配置的机制，多余键会直接抛 TypeError；(2) 顶层死配置键如何分两步（#7466 删 actor 侧、本 PR 删 ref 侧）才清理干净；(3) 是否值得在 CI 增加生成配置与 schema 的一致性校验，防止同类回归。

Megatron Lite 文档重命名为 Agent Compose 预览，修正示例路径

值得快速浏览，不必精读。核心值得借鉴的是两条文档维护策略：一是用 naming note 显式标注“预览实现细节 vs 稳定 API”的边界，降低用户对旧标识符的误用；二是在上游重命名还在飞行时保留旧文件名、只改标题，用最低成本维护入站链接。对跟踪 Megatron 后端演进的读者，这篇文档是理解 verl 与 Megatron-LM experimental/agent_compose 协作方式的好入口。

移除 actor.router_replay 死键，路由回放统一走引擎配置

值得快速精读。这是一个典型的“配置死键静默失效”修复案例，核心看点是 review 中 wuxibin89 的“直接删除优于兼容”决策如何改变实现方向，以及用契约测试锁定配置 schema 的写法。对后续任何“文档与代码不一致、双份配置入口”问题都有参考价值。

新增 MindSpeed-Bridge 后端，支持 Ascend GDN 优化

该 PR 值得快速浏览：它展示了如何在 verl 示例脚本中通过环境变量开关引入新后端，以及 Hydra `+` 前缀键的用法。若团队正在规划 Ascend 后端支持，可将其作为脚本层参考；但无需精读，也没有核心源码逻辑值得深入分析。

DDP 梯度精度对齐优化器，消除 BF16 训练内存浪费

值得精读。这是「默认值继承陷阱」的典型案例：一个被省略的配置项让框架默认值悄悄改变了训练内存布局。最小 diff（+10/-12）修复真实缺陷，设计上采用 FP32-by-default + 显式 override 优先的合成策略，可复用到其他后端配置推导（如 FSDP 的 reduce_dtype）。测试中用 `object.__new__` 绕过重型初始化的技巧，适合在依赖复杂的引擎类上做轻量单测时借鉴。

路由索引改 int16，支持超 255 专家并重构回放

值得精读。亮点包括：NCCL 无 int16 时的 uint8 位视图通信模式、用 duplicate-top-k 检测替代显式 replay_mask 的设计取舍、controller 与 engine 的职责划分（controller 不感知形状）。建议阅读时对照 `tests/utils/test_megatron_router_replay_dcp.py` 理解通信层约束，并对照 `verl/workers/utils/padding.py` 的删除逻辑确认数据契约变更范围。

移除 Mindspeed-LLM 后端引擎（约 1941 行）

值得快速浏览（10 分钟内可读完）：这是理解 verl 引擎注册架构的很好样例。重点关注 transformer_impl.py 中保留类与删除类的注册差异（backend='megatron' vs backend='mindspeed_megatron'），以及 constants_ppo.py 中运行时环境变量的收敛方式。若团队维护 NPU 训练配置，务必确认没有遗留 mindspeed 策略引用，并规划到 megatron 后端的迁移。整体改动机械、无评审争议，不需要精读源码细节。