Prhub

verl-project/verl 2026年第28周周报（07-06 至 07-12）

本周共 38 个 PR，重点在 FSDP 性能优化、Megatron Bridge 迁移、vLLM PD 分离部署、NPU CI 增强及大量 bugfix。

仓库：verl-project/verl 周期：2026-07-06 至 2026-07-12 来源 PR：38 · 重点 PR：24 自动生成 · 生成于 2026-07-13 01:02

本周亮点

  • FSDP 性能优化取得重要进展：PR#7005 跳过 FSDP2 全分片 staging，export 时间从秒级降至 0.07 秒；PR#6984 修复 actor-update OOM。
  • Megatron Bridge 正式成为默认权重转换后端（PR#6951），弃用 vanilla mBridge，影响所有 Megatron 用户。
  • vLLM Prefill-Decode 分离部署（PR#6243）实现落地，支持 NIXL 和 Mooncake 传输，关键架构组件。
  • Rollout SkipManager 适配 Trainer V1（PR#6897），支持 TQ 批缓存重放，显著加速 RL 迭代实验。
  • Critic 损失归一化修复（PR#6957）消除微批划分导致的梯度膨胀，提升训练稳定性。
  • NPU 适配持续加强：新增多篇 Ascend 安装文档（A5）、GSPO nightly CI 测试、Qwen3.5 容器适配等。
  • 多轮 Agent Loop 修复回合分隔符丢失（PR#6921）和 VLM 处理器兼容性（PR#6937）。

风险观察

  • 核心路径变更密集，可能引发回归，需加强测试覆盖。
  • PR#6977 的 separate_async 步长语义 BREAKING CHANGE，用户需确认配置兼容。
  • PR#7005 中 review 提出的非 DTensor 参数可能留在 CPU 上的潜在问题未彻底解决。
  • PR#6976 的 _uses_megatron 检查不完整，可能遗漏其他引擎，需尽快修复。
  • PR#6982 的 vLLM 缓存 workaround 是临时方案，后续需跟进正式修复。

完整周报

Markdown PDF

执行摘要

本周（07-06 至 07-12）共合并 38 个 PR，平均重要性 5.54，重点集中在四大方向：核心架构演进（Megatron Bridge 默认化、vLLM PD 分离）、训练性能优化（FSDP staging 跳过、OOM 修复、损失归一化）、NPU 平台增强（文档、CI 测试）以及大量 bugfix。其中，vLLM PD 分离部署、SkipManager V1 适配和 Critic 损失归一化为关键功能变更。风险方面，核心路径变更频繁（9 次），测试覆盖缺失（7 次）是主要关注点。

本周重点变化

  1. 架构演进：Megatron Bridge 正式取代 vanilla mBridge 成为默认权重转换后端（PR#6951，BREAKING CHANGE）。vLLM Prefill-Decode 分离部署完成初始实现（PR#6243），支持 1P:ND 拓扑和 NIXL/Mooncake 传输。
  2. 性能优化：FSDP2 权重导出跳过全分片 staging（PR#7005），export 时间从 3~4 秒降至 0.07 秒；修复 actor-update OOM（PR#6984），通过立即释放 model_output 显存；TPO 训练分离异步步长对齐（PR#6977），引入 MetricsAggregator。
  3. 训练稳定性：Critic 损失归一化从微批改为全局 mini-batch（PR#6957），消除梯度膨胀；修复 FSDP 温度缩放 in-place 操作（PR#6935）和梯度追踪 bug（PR#6913）。
  4. Agent Loop：修复多轮工具调用中回合分隔符丢失（PR#6921），添加 initialize_turn_separator 推导逻辑；兼容 VLM 处理器的列表式 content 格式（PR#6937）。
  5. 模型与硬件支持：新增 HY V3 Megatron GRPO 示例（PR#7003）、Qwen3.5 MFU/FLOPs 估算（PR#6389）、Qwen3.5 397B NPU 支持；更新 AMD GPU FLOPS 数据（PR#6942）。

模块与主题趋势

  • bugfix（21 个）：集中在 FSDP、rollout、torchtitan 和 megatron 模块，体现稳定性加固力度。
  • NPU/昇腾（12 个）：多个文档更新、CI 测试（GSPO Qwen3-8B nightly）、容器适配，表明 Ascend 平台持续集成。
  • 性能（10 个）：除 FSDP 外，还包括 FLOPS 估算函数扩展（Qwen3.5、AMD）、veomni 参数处理优化。
  • 基础设施（7 个）：Docker 镜像命名规范、版本依赖升级（vLLM>=0.22、Megatron-Core 0.18 兼容）、CI 工作流调整。
  • 文档（10 个）：以 Ascend 安装指南为主，另含 TorchTitan 引擎文档和 kimi checkpoint。

风险观察

  1. 核心路径变更影响面大：9 个标注“核心路径变更”，包括默认值翻转、损失函数语义修改、异步步长调试等，需确保用户文档同步更新。
  2. 测试覆盖缺口：7 个风险标注“缺少测试覆盖”，部分重要 PR（如 PR#7005、PR#6952）缺少对应单元测试，增加回归风险。
  3. 未解决 Review 意见：PR#6976 中 _uses_megatron 仅检查 actor/critic 策略，遗漏 ref 和 reward 模型；PR#7005 中评论提出的非 DTensor 参数问题未回复；PR#6950 的 PyTorch 版本兼容性代码审查未采纳。这些可能成为后续隐患。
  4. Breaking Change 过渡：PR#6951 默认启用 Megatron Bridge，但部分用户可能仍依赖 vanilla mBridge；PR#6977 改变 separate_async 步长语义，需验证现有配置兼容性。
  5. 临时 Workaround：PR#6982 的 vLLM 缓存绕过方案为临时措施，后续需观察社区修复进展。

重点 PR 速览

  • #6951 (Megatron Bridge 默认化)：作者 HollowMan6。将 vanilla_mbridge 默认值改为 False，添加 FutureWarning。同时值模型权重共享修复和 VPP 重叠通信优化。影响所有 Megatron 用户，需按文档指引迁移。
  • #6243 (vLLM PD 分离部署)：作者 aoshen02。实现 vLLM 侧 PD 分离，新增 vLLMPDReplica 类，支持 NIXL/Mooncake KV 传输。是 vLLM rollout 的重要架构扩展，当前仅支持单节点（PP=1, DP=1）。
  • #6897 (SkipManager V1 适配)：作者 mikequan0425。将 SkipManager 扩展到 TrainerV1，通过装饰器模式实现 TQ 批缓存与重放。加速 RL 迭代实验，设计低侵入性。
  • #6957 (Critic 损失归一化)：作者 abtonmoy。修复 Critic 值损失按微批归一化的 bug，改为全局 mini-batch 归一化。添加 CPU 回归测试，确保梯度数值与微批划分无关。
  • #7005 (FSDP2 staging 跳过)：作者 ChangyiYang。跳过 FSDP2 非必要全分片 staging，export 时间降低两个数量级。是编译器级优化的典范，但需关注 review 中未解决的潜在问题。
  • #6813 (Mooncake 权重损坏修复)：作者 KunWuLuan。隔离 magic 接收 buffer 防止数据覆盖，修复 RDMA 竞态死锁。对多节点训练关键，包含 GPU 异步同步修复。
  • #6921 (Agent Loop 分隔符)：作者 abtonmoy。修复多轮工具对话中 turn separator 丢失，推导方法巧妙，测试充分。特别处理 eos_token_id 列表兼容性。

后续建议

  1. 测试覆盖提升：为本周新增的关键路径（FSDP staging 跳过、Megatron Bridge 默认逻辑、vLLM PD 分离）补充单元和集成测试。
  2. Review 跟进：解决 PR#6976 和 PR#7005 中未解决的 review 意见，防止技术债务积累。
  3. 文档与迁移：发布 breaking change 迁移指南，明确 Megatron Bridge 启用后的配置变化和 separate_async 步长调整。
  4. NPU CI 持续集成：继续丰富 Ascend nightly 测试场景，确保覆盖主要模型和训练配置。
  5. 性能基准：统一 FLOPS 估算框架（如 Qwen3.5 示例），为后续模型新增提供标准模板。

参与讨论