verl-project/verl · 标签视图

默认使用标准 pre-KL 奖励（rm_scores）进行 DAPO 动态分组过滤

此 PR 是一个**有价值且实现精良的功能增强**。它通过提供开箱即用的标准奖励过滤路径，显著简化了 DAPO 动态采样的配置，并提升了其与核心奖励计算流程的集成度。实现方案清晰，通过分支逻辑兼容了新旧两种指标读取方式，并附带了针对性强的单元测试。考虑到默认值的变更可能对现有用户产生影响，建议在发布说明中明确提示此行为变化。整体而言，**值得精读其核心逻辑分支和测试用例的设计**，以理解如何优雅地扩展现有功能并保持兼容性。

在 AMD GPU 上启用 DeepSeek-V4-Flash GRPO 训练。

值得精读。核心看点有两个：一是 `restore_moe_expert_maps` 以“布局是纯函数、就地位写回维持 CUDA graph 地址”的思路修复 RL 循环中推理引擎的隐藏状态，设计注释非常清晰；二是 refit 触发点（`update_weights_from_ipc` 的 step 1 与 `process_quanted_weights_after_loading`）的选择。阅读时建议同时核对当前 vLLM 版本中这些内部 API 是否仍然存在，并考虑补充一个 CPU 或 ROCm 冒烟测试。

新增 Ascend NPU 上 Qwen3.5-35B Megatron GRPO 夜间 CI 测试

建议在后续 PR 中验证 EP 配置的正确性，或通过环境变量覆盖避免硬编码。同时可考虑将日志目录改为 `$HOME` 以提升脚本可移植性。整体而言，该 PR 作为 CI 基础设施扩展，设计简洁，适合作为同类测试的模板。

添加 HY V3 Megatron GRPO 训练示例与 FLOPs 估算

该 PR 提供了实用的模型支持，值得用户参考。但应留意 `use_mbridge` 的过时问题，建议尽快为 FLOPs 估算函数补充单元测试，并在后续迭代中迁移至原生 Megatron-Bridge 配置。

新增 Open-R1 多模态和 TinyLLaVA-Video 数据预处理及训练脚本

该 PR 提供了完整的多模态数据集集成范例，值得阅读和参考。特别是图像预处理中保留原始字节的方式，以及训练脚本中设备自动检测的写法。但注意奖励函数需用户自行实现，直接运行示例脚本前需创建对应的 reward score 文件。

新增 Ascend Qwen3.5-122B 长序列 GRPO 启动脚本

对于需要在大规模 Ascend 集群上运行 Qwen3.5-122B GRPO 训练的开发者，可直接参考此脚本进行调整。脚本中的环境标志和并行配置值得学习。

支持 Gemma4 多模态模型 RL 训练

值得精读。变更模式清晰体现了“能力检测优于模型名称判断”的设计原则，对于新增加多模态模型支持有参考价值。可以学习如何用 `hasattr` 替代 model name 硬编码来保持扩展性。

支持 Qwen3.5-122B-A10B 在 Ascend NPU 上运行

该 PR 展示了多硬件场景下使用 shell 脚本进行配置分离的模式，结构清晰，但仍存在未解决的 review 问题。建议阅读以了解硬件适配方法，但在实际使用 NPU 任务前，应检查并补全缺失的 Ref 配置项和全局化公共步骤。