verl-project/verl · 标签视图

移除失效 grad_offload 配置，属 Breaking 清理

值得快速阅读（约 15 分钟），重点关注两点：一是 `verl/workers/config/engine.py` 如何通过 dataclass + 生成配置联动维护配置契约，二是本 PR 与 #7536/#7466 形成的“清理死配置键”模式。如果有外部 Megatron 脚本或自定义配置，需要检查是否引用 `grad_offload` 并完成迁移。实现本身较机械，不需要深读。

路由索引改 int16，支持超 255 专家并重构回放

值得精读。亮点包括：NCCL 无 int16 时的 uint8 位视图通信模式、用 duplicate-top-k 检测替代显式 replay_mask 的设计取舍、controller 与 engine 的职责划分（controller 不感知形状）。建议阅读时对照 `tests/utils/test_megatron_router_replay_dcp.py` 理解通信层约束，并对照 `verl/workers/utils/padding.py` 的删除逻辑确认数据契约变更范围。

移除 Mindspeed-LLM 后端引擎（约 1941 行）

值得快速浏览（10 分钟内可读完）：这是理解 verl 引擎注册架构的很好样例。重点关注 transformer_impl.py 中保留类与删除类的注册差异（backend='megatron' vs backend='mindspeed_megatron'），以及 constants_ppo.py 中运行时环境变量的收敛方式。若团队维护 NPU 训练配置，务必确认没有遗留 mindspeed 策略引用，并规划到 megatron 后端的迁移。整体改动机械、无评审争议，不需要精读源码细节。

AgentLoop 全面启用多模态 Continuous Token 分词

值得精读：`create_continuous_token_builder` 的 processor 门控逻辑、`_MODEL_TYPE_TO_FAMILY` 精确匹配设计、VL builder 基于 MRO 组合文本边界处理的方式都很典型。计划升级到该版本的团队应先核对自定义 AgentLoop 是否使用了被移除的 `apply_chat_template` / `continuous_token.enable`；使用 Qwen3.5 VL 的团队需等待 `QWEN35 → QWEN3_VL` 映射的后续修复。

NCCL 引擎新增多发送者中继模式，权重同步提速约 3 倍

值得精读。核心看点：用 Ray 节点 id 作为 NVLink 可达性代理的拓扑决策、中继本地推导分块边界以避免集合通信死锁的设计、以及 root 等待时机与模式耦合的细节。建议重点关注 `_multi_sender_ranks` 与 `build_topology` 的成员判定逻辑、`split_weight_chunks(meta_only=True)` 的复用方案，以及 review 中关于"边界分叉会导致广播永久挂起"的讨论。合并后建议跟进两件事：修正 `multi_sender` 默认值与 docstring、PR 描述不一致的问题；补充多节点与死锁回归测试。

CI 工作流从 fully_async 迁移到 v1 separate_async

值得阅读，尤其关注其 CI 迁移方式和参数校验设计。建议合入后重点观察：1) `e2e_v1_separate_async_*` 系列工作流首次运行是否全绿；2) 被删除的 GenRM 覆盖是否需要补回 v1 路径；3) 后续 `fully_async` recipe 化是否按此方案推进。

fused forward 迁移至 Megatron output_processor 钩子

值得精读。核心设计是使用签名检查而非版本号做能力探测，实现优雅的自动回退；patch/unpatch 的幂等性处理避免了重复包装；CI 中加入防回退 grep 检测是确保新路径真实生效的务实做法。建议关注后续是否能随 Megatron-Core 全面升级移除 legacy 路径，以及 `model_forward_1f1b_overlap.py` 是否能同样迁移到 schedule-plan hook。

统一 PPO 入口 tokenizer/processor 构建到 HFModelConfig

值得快速精读，改动虽小（2 文件、+11/-25）但包含一个需要记录的行为决策：tokenizer/processor 的配置权威来源被统一收敛到 HFModelConfig。对维护多模态训练配置或自定义 model config 的工程师有直接参考价值；也值得关注后续是否会由此延伸出 data.trust_remote_code 与 model.trust_remote_code 的废弃/迁移计划。