verl-project/verl · 标签视图

为 Qwen3.5 模型新增 x86_64 架构的 Ascend NPU Docker 镜像支持。

该 PR 变更直接，主要涉及基础设施配置，适合快速浏览以了解新增的 x86_64 架构支持。值得关注的是 reviewer 指出的代码重复和安全问题，这为后续优化提供了明确方向。

为 Qwen3.5 模型升级 Ascend NPU Docker 镜像至 CANN 8.5.2 版本。

此 PR 主要涉及基础设施更新，变更相对直接，适合快速浏览以了解 CANN 版本升级的配置细节。建议关注 Dockerfile 中 CANN 安装和路径设置的实现方式，以及 review 中讨论的架构兼容性修复，这些对构建可靠的多架构镜像有参考价值。

为 Qwen3.5 模型新增 Ascend NPU 的 FSDP 训练 Docker 镜像和 CI 工作流。

建议在合并后立即检查 Dockerfile 中的版本号，参考 review 评论进行修正以避免构建失败；对于关注 NPU 硬件支持和 Docker 部署的团队，此 PR 值得精读以了解扩展方向，但设计决策相对直白。

修复FSDP Actor/Critic配置中strategy未同步到EngineConfig，导致FSDP2训练回退到FSDP1的问题。

该PR值得精读，因为它揭示了配置层与引擎层之间的字段同步问题，特别是使用object.__setattr__绕过BaseConfig冻结逻辑的设计决策。关注点：为何只同步strategy而未采纳ulysses_sequence_parallel_size建议，以及FSDP1/FSDP2后端选择机制。

新增基于Diffusers和FSDP的扩散模型训练引擎，支持FlowGRPO算法。

建议技术管理者和工程师精读此PR，重点关注：1. DiffusersFSDPEngine的设计模式，特别是与现有FSDP引擎的异同。2. DiffusionModelBase注册机制如何实现模型扩展性。3. review讨论中的权衡决策，如模型兼容性限制和损失归一化处理。这对于理解扩散模型RL训练架构有重要参考价值。

新增NVFP4量化感知训练文档，涵盖FSDP和Megatron后端的配置说明。

该PR值得快速浏览以了解NVFP4 QAT的配置概览，但文档中的两个未解决问题需要后续跟进。建议关注quantization_config_path参数的实际使用情况和模型名称的准确性，以确保文档与代码实现一致。

将DP工作量平衡功能从RL迁移到SFT训练器，优化批次负载分布。

该PR值得精读，重点关注负载平衡算法的集成方式和设计决策，如分区排序策略以减少气泡。建议工程师关注sft_trainer_ray.py中的实现细节，并考虑在类似场景中应用此模式以优化性能。

新增Qwen3.5模型的FSDP GRPO训练支持，涵盖适配器、补丁和示例脚本。

该PR值得精读，特别是qwen3_5.py中的适配器设计展示了如何修复FSDP2 CPU卸载bug，以及monkey_patch.py的扩展模式。建议关注配置参数设置、依赖版本管理和测试覆盖策略，以避免常见部署问题。