verl-project/verl · 标签视图

为 Continuous Token 构建器增加 rollback 风格的 assistant 角色上下文合并支持。

此 PR 是一个具有重要设计决策的功能增强。建议相关工程师精读，特别关注： 1. `merge_context_tokens` 和分组编码的新逻辑，以及 `MergeResult` 语义的变化。 2. 模型特定子类（尤其是 DeepSeek）如何通过钩子适配新逻辑。 3. `scripts/chat_template_checker.py` 中的更新，以理解 CT 的新行为如何被验证。 4. 新增的测试用例，特别是那些模拟 rollback 场景的，以理解边界条件。 该 PR 的洞察价值较高，因为它展示了如何通过引入中间层（钩子）和约束来解决一个复杂的、与模型模板紧密相关的工程问题，其设计模式值得借鉴。

优化路由器测试套件，清理过时注释。

这是一个典型的测试维护 PR，虽然变更量不小，但逻辑清晰、目标明确。它非常值得精读，尤其是测试重构的思路（如使用行为计数器验证缓存机制、清理冗余测试）对于编写高质量单元测试有很好的借鉴意义。关注点在于理解作者如何从“测试 mock 内部”转向“测试交互行为”的设计决策。

将负载均衡器提取为独立可插拔路由器模块，支持 FQN/YAML 插件扩展。

本 PR 是实现 Issue #6383 的关键第一步，设计合理，实现了可插拔路由器架构，且保持了良好的向后兼容性。建议精读 `router.py` 中的协议定义和插件加载机制，以及 `llm_server.py` 中客户端 RPC 载荷的惰性过滤逻辑。这些设计决策对于扩展 verl 的路由能力具有重要价值。

移除失效 grad_offload 配置，属 Breaking 清理

值得快速阅读（约 15 分钟），重点关注两点：一是 `verl/workers/config/engine.py` 如何通过 dataclass + 生成配置联动维护配置契约，二是本 PR 与 #7536/#7466 形成的“清理死配置键”模式。如果有外部 Megatron 脚本或自定义配置，需要检查是否引用 `grad_offload` 并完成迁移。实现本身较机械，不需要深读。

路由索引改 int16，支持超 255 专家并重构回放

值得精读。亮点包括：NCCL 无 int16 时的 uint8 位视图通信模式、用 duplicate-top-k 检测替代显式 replay_mask 的设计取舍、controller 与 engine 的职责划分（controller 不感知形状）。建议阅读时对照 `tests/utils/test_megatron_router_replay_dcp.py` 理解通信层约束，并对照 `verl/workers/utils/padding.py` 的删除逻辑确认数据契约变更范围。

移除 Mindspeed-LLM 后端引擎（约 1941 行）

值得快速浏览（10 分钟内可读完）：这是理解 verl 引擎注册架构的很好样例。重点关注 transformer_impl.py 中保留类与删除类的注册差异（backend='megatron' vs backend='mindspeed_megatron'），以及 constants_ppo.py 中运行时环境变量的收敛方式。若团队维护 NPU 训练配置，务必确认没有遗留 mindspeed 策略引用，并规划到 megatron 后端的迁移。整体改动机械、无评审争议，不需要精读源码细节。

AgentLoop 全面启用多模态 Continuous Token 分词

值得精读：`create_continuous_token_builder` 的 processor 门控逻辑、`_MODEL_TYPE_TO_FAMILY` 精确匹配设计、VL builder 基于 MRO 组合文本边界处理的方式都很典型。计划升级到该版本的团队应先核对自定义 AgentLoop 是否使用了被移除的 `apply_chat_template` / `continuous_token.enable`；使用 Qwen3.5 VL 的团队需等待 `QWEN35 → QWEN3_VL` 映射的后续修复。

NCCL 引擎新增多发送者中继模式，权重同步提速约 3 倍

值得精读。核心看点：用 Ray 节点 id 作为 NVLink 可达性代理的拓扑决策、中继本地推导分块边界以避免集合通信死锁的设计、以及 root 等待时机与模式耦合的细节。建议重点关注 `_multi_sender_ranks` 与 `build_topology` 的成员判定逻辑、`split_weight_chunks(meta_only=True)` 的复用方案，以及 review 中关于"边界分叉会导致广播永久挂起"的讨论。合并后建议跟进两件事：修正 `multi_sender` 默认值与 docstring、PR 描述不一致的问题；补充多节点与死锁回归测试。