verl-project/verl · 标签视图

Megatron Lite 文档重命名为 Agent Compose 预览，修正示例路径

值得快速浏览，不必精读。核心值得借鉴的是两条文档维护策略：一是用 naming note 显式标注“预览实现细节 vs 稳定 API”的边界，降低用户对旧标识符的误用；二是在上游重命名还在飞行时保留旧文件名、只改标题，用最低成本维护入站链接。对跟踪 Megatron 后端演进的读者，这篇文档是理解 verl 与 Megatron-LM experimental/agent_compose 协作方式的好入口。

支持 Gemma4 多模态模型 RL 训练

值得精读。变更模式清晰体现了“能力检测优于模型名称判断”的设计原则，对于新增加多模态模型支持有参考价值。可以学习如何用 `hasattr` 替代 model name 硬编码来保持扩展性。

引入统一Trainer抽象，支持同步与异步PPO训练模式

### 建议 本 PR 是 PPO 训练器的重大架构重构，值得所有开发者和高级用户精读。重点关注抽象基类的设计模式、TransferQueue 集成方案以及异步模式的生命周期管理。但分离异步模式尚未完成，不建议生产环境使用。建议在后续 PR 中优先修复配置路径错误、完成 `_compute_reward_colocate` 实现并补充更多测试覆盖。

为 fully_async 模式添加 profiling 支持，统一步数定义

建议精读。该 PR 是 fully_async 功能完善的重要一步，其中关于 step 概念统一的设计值得关注（区分 global_steps 与 current_param_version）。代码改动集中在少数文件，逻辑清晰，适合作为异步模式下 profiling 集成的参考实现。

修复 FullyAsync 未初始化 _dump_executor 的 bug

本 PR 为一次精准的 bugfix，改动小、风险低，建议快速合并。对于关注 fully_async 功能的开发者，可以留意 _init_dump_executor 和 validation_generations_logger 的后续维护，确保与基类变更保持同步。

为 Gemma4 添加专用工具解析器，支持多轮 agent 循环中的工具调用

该 PR 设计清晰，遵循了现有扩展模式，适合精读以了解工具解析器的抽象方式和不同模型的适配策略。建议关注 stop token 注入机制和响应格式化逻辑，这两个机制未来可能扩展至更多模型。另外，考虑为 tool parser 添加单元测试，减少对端到端测试的依赖。

移除废弃工具、课程采样器和动态数据集

该 PR 是值得参考的代码清理范例：它大规模移除了废弃代码并扁平化目录，附带全面的引用更新和测试清理。建议内部开发者检查自己的分支是否依赖了被删除的组件，并及时调整。对于仓库维护者，这次重构为进一步解耦和标准化工具注册机制铺平了道路。

支持多输出轨迹异步奖励评分

此 PR 值得精读，尤其是设计权衡部分（修改 reward manager 接口 vs 调用 score_batch）。它展示了如何在保持向后兼容的同时引入灵活的多输出支持，对理解异步奖励架构有帮助。