verl-project/verl · 标签视图

R2 回放模型作用域化并显式启用，修复 Megatron 回归

值得精读。重点学习三点：(1) opt-in + model-scoped 的双重机制如何从根上避免 #7106 的回归——这是"修复被回退后重做"的教科书案例；(2) 分布式集体通信中空 stage 用 0-layer 占位参与的设计，`pp_gather` 的防御性校验也值得借鉴；(3) 多模态 HF config 树遍历中"只走 text 分支、隔离兄弟配置"的约束，对 Qwen3-Omni 类模型接入有直接价值。此外，SamitHuang 的三条 review 展示了如何把"静默错误"审出来并推动作者用测试固化。

对齐 VLM THD 序列长度，修复 Megatron SP 崩溃

建议精读，尤其是正在维护 Megatron VLM / 序列并行 / 上下文并行前向路径的工程师。值得关注的三个设计点：一是「SP scatter 要求 S 能被 tp_size 整除」这一硬约束通过 padding 在模型入口处满足，而不是在 scatter 处打补丁；二是 CP>1 时对齐粒度取 `tp_size * cp_size * 2` 的推导（zigzag 切分保证单 rank 局部长度仍可被 tp_size 整除）；三是把对齐逻辑收敛到 `build_vlm_attn_mask_thd`、让 fused 路径复用，避免两套实现继续分叉。同时应把 Copilot 的测试建议当作待办跟进：补一个覆盖 B=1、4026 这类奇数长度的 CPU 单测，断言输出 S 可被 `tp_size`（CP>1 时为 `tp_size * cp_size * 2`）整除，并在 CP 分支校验每个 rank 拿到完整切片。

为 VeOmni 引擎新增基于流的异步激活卸载配置与实现，用于降低 GPU 内存占用。

本 PR 引入了一个重要的内存优化功能，值得精读。关注重点在于： 1. `_maybe_apply_async_activation_offload` 方法的设计和应用时机，这是理解异步卸载如何与 FSDP2 和梯度检查点协同工作的关键。 2. 配置项的语义和验证逻辑，特别是 `activation_offload_modules` 的模式匹配和 `activation_offload_host_cache_limit_gb` 的内存管理策略。 3. 移除同步卸载路径对整体架构简化的影响。 尽管 PR 合并时无 Review 讨论，但其实现逻辑清晰，关键设计决策在代码注释中得到了充分解释。这是一个“重大变更”（导入ance_score: 6），因为它引入了一个全新的内存管理子系统，并伴随配置的破坏性更改。

修复融合线性输出头后端选择逻辑，使配置参数 impl_backend 生效。

值得精读，尤其是核心逻辑变更（`FusedLinearForPPO`）和配置传播设计。此 PR 展示了如何通过显式参数和属性传递来修复一个由隐式依赖引发的架构违规，对处理类似的可选后端集成问题有参考价值。建议关注其配置传播模式（模型实例属性 -> 适配器函数参数 -> 模块初始化参数）以及完整的测试覆盖策略。

为 VeOmni 后端启用 GPT-OSS 模型的专家并行 (EP) 训练支持。

本 PR 值得精读，尤其是 `verl/workers/engine/veomni/utils.py` 中的新处理函数和调度逻辑变更。它清晰地展示了如何通过策略模式扩展参数导出框架以支持新模型。核心设计决策（如强制使用流式处理器进行 delta 导出）及其背后的理由（与 vLLM 加载器集成）是关注重点。建议重点审查：1. 新处理函数与 `enumerate_hf_slots` 的集成是否健壮；2. `veomni_shard_export` 中对 GPT-OSS 模型的特殊处理是否会意外影响其他模型；3. 示例脚本中的配置（如 EP/TP 大小）是否合理且有良好文档。

修复 GLM-4V 注意力层使用已废弃 transformers 4.x 旋转位置编码 API 导致的训练崩溃。

此 PR 值得精读，尤其是遇到类似依赖库重构后导致 API 不兼容的场景时。它展示了如何精准定位一个因上游破坏性变更而产生的导入错误，并通过少量、正确的代码修改进行修复。核心设计决策是遵循上游变更，删除冗余的兼容层代码，而不是试图恢复旧函数。

修复 DeepSeek 连续 token 构建器工具追加 TypeError

值得精读，尤其是维护自定义 tokenizer 模板或连续 token 增量路径的开发者。本 PR 展示了模板拼接契约与合成占位消息之间的类型冲突如何用最小覆盖解决，并提供了完整的真实 tokenizer 验证矩阵方法论。源码部分很小，重点看 continuous_token.py 的家族子类划分，以及测试文件中边界 tokenizer 的设计方式。

修复 trl 新版本下 value-head critic 导入崩溃

建议快速精读（约 5 分钟），是低风险、高收益的兼容性修复样板。值得关注的设计决策：（1）用 try/except 而非版本条件判断（如 `packaging.version` 比较）处理依赖 API 迁移，写法更简洁且天然向前兼容；（2）与 #6539 保持完全一致的导入模式，避免同一仓库出现多种兼容写法；（3）PR body 中「先自查 open PR 再提交」的去重流程值得团队沿用。后续动作建议：在 trl 1.x 依赖升级（#7478）落地时，全局扫描 `from trl import` 确认无其他受影响符号，并考虑补充导入级回归测试。