# verl-project/verl 2026 年第 28 周周报（07-06 至 07-12）

- 仓库：`verl-project/verl`
- 周期：2026-07-06 至 2026-07-12
- 来源 PR：38
- 重点 PR：24
- 生成方式：自动生成
- 原文链接：http://prhub.com.cn/verl-project/verl/reports/2026-07-06-to-2026-07-12

---

## 执行摘要

本周（07-06 至 07-12）共合并 38 个 PR，平均重要性 5.54，重点集中在四大方向：核心架构演进（Megatron Bridge 默认化、vLLM PD 分离）、训练性能优化（FSDP staging 跳过、OOM 修复、损失归一化）、NPU 平台增强（文档、CI 测试）以及大量 bugfix。其中，vLLM PD 分离部署、SkipManager V1 适配和 Critic 损失归一化为关键功能变更。风险方面，核心路径变更频繁（9 次），测试覆盖缺失（7 次）是主要关注点。

## 本周重点变化

1. **架构演进**：Megatron Bridge 正式取代 vanilla mBridge 成为默认权重转换后端（PR#6951，BREAKING CHANGE）。vLLM Prefill-Decode 分离部署完成初始实现（PR#6243），支持 1P:ND 拓扑和 NIXL/Mooncake 传输。
2. **性能优化**：FSDP2 权重导出跳过全分片 staging（PR#7005），export 时间从 3~4 秒降至 0.07 秒；修复 actor-update OOM（PR#6984），通过立即释放 model_output 显存；TPO 训练分离异步步长对齐（PR#6977），引入 MetricsAggregator。
3. **训练稳定性**：Critic 损失归一化从微批改为全局 mini-batch（PR#6957），消除梯度膨胀；修复 FSDP 温度缩放 in-place 操作（PR#6935）和梯度追踪 bug（PR#6913）。
4. **Agent Loop**：修复多轮工具调用中回合分隔符丢失（PR#6921），添加 initialize_turn_separator 推导逻辑；兼容 VLM 处理器的列表式 content 格式（PR#6937）。
5. **模型与硬件支持**：新增 HY V3 Megatron GRPO 示例（PR#7003）、Qwen3.5 MFU/FLOPs 估算（PR#6389）、Qwen3.5 397B NPU 支持；更新 AMD GPU FLOPS 数据（PR#6942）。

## 模块与主题趋势

- **bugfix（21 个）**：集中在 FSDP、rollout、torchtitan 和 megatron 模块，体现稳定性加固力度。
- **NPU/ 昇腾（12 个）**：多个文档更新、CI 测试（GSPO Qwen3-8B nightly）、容器适配，表明 Ascend 平台持续集成。
- **性能（10 个）**：除 FSDP 外，还包括 FLOPS 估算函数扩展（Qwen3.5、AMD）、veomni 参数处理优化。
- **基础设施（7 个）**：Docker 镜像命名规范、版本依赖升级（vLLM>=0.22、Megatron-Core 0.18 兼容）、CI 工作流调整。
- **文档（10 个）**：以 Ascend 安装指南为主，另含 TorchTitan 引擎文档和 kimi checkpoint。

## 风险观察

1. **核心路径变更影响面大**：9 个标注“核心路径变更”，包括默认值翻转、损失函数语义修改、异步步长调试等，需确保用户文档同步更新。
2. **测试覆盖缺口**：7 个风险标注“缺少测试覆盖”，部分重要 PR（如 PR#7005、PR#6952）缺少对应单元测试，增加回归风险。
3. **未解决 Review 意见**：PR#6976 中 _uses_megatron 仅检查 actor/critic 策略，遗漏 ref 和 reward 模型；PR#7005 中评论提出的非 DTensor 参数问题未回复；PR#6950 的 PyTorch 版本兼容性代码审查未采纳。这些可能成为后续隐患。
4. **Breaking Change 过渡**：PR#6951 默认启用 Megatron Bridge，但部分用户可能仍依赖 vanilla mBridge；PR#6977 改变 separate_async 步长语义，需验证现有配置兼容性。
5. **临时 Workaround**：PR#6982 的 vLLM 缓存绕过方案为临时措施，后续需观察社区修复进展。

## 重点 PR 速览

- **#6951 (Megatron Bridge 默认化 )**：作者 HollowMan6。将 vanilla_mbridge 默认值改为 False，添加 FutureWarning。同时值模型权重共享修复和 VPP 重叠通信优化。影响所有 Megatron 用户，需按文档指引迁移。
- **#6243 (vLLM PD 分离部署 )**：作者 aoshen02。实现 vLLM 侧 PD 分离，新增 vLLMPDReplica 类，支持 NIXL/Mooncake KV 传输。是 vLLM rollout 的重要架构扩展，当前仅支持单节点（PP=1, DP=1）。
- **#6897 (SkipManager V1 适配 )**：作者 mikequan0425。将 SkipManager 扩展到 TrainerV1，通过装饰器模式实现 TQ 批缓存与重放。加速 RL 迭代实验，设计低侵入性。
- **#6957 (Critic 损失归一化 )**：作者 abtonmoy。修复 Critic 值损失按微批归一化的 bug，改为全局 mini-batch 归一化。添加 CPU 回归测试，确保梯度数值与微批划分无关。
- **#7005 (FSDP2 staging 跳过 )**：作者 ChangyiYang。跳过 FSDP2 非必要全分片 staging，export 时间降低两个数量级。是编译器级优化的典范，但需关注 review 中未解决的潜在问题。
- **#6813 (Mooncake 权重损坏修复 )**：作者 KunWuLuan。隔离 magic 接收 buffer 防止数据覆盖，修复 RDMA 竞态死锁。对多节点训练关键，包含 GPU 异步同步修复。
- **#6921 (Agent Loop 分隔符 )**：作者 abtonmoy。修复多轮工具对话中 turn separator 丢失，推导方法巧妙，测试充分。特别处理 eos_token_id 列表兼容性。

## 后续建议

1. **测试覆盖提升**：为本周新增的关键路径（FSDP staging 跳过、Megatron Bridge 默认逻辑、vLLM PD 分离）补充单元和集成测试。
2. **Review 跟进**：解决 PR#6976 和 PR#7005 中未解决的 review 意见，防止技术债务积累。
3. **文档与迁移**：发布 breaking change 迁移指南，明确 Megatron Bridge 启用后的配置变化和 separate_async 步长调整。
4. **NPU CI 持续集成**：继续丰富 Ascend nightly 测试场景，确保覆盖主要模型和训练配置。
5. **性能基准**：统一 FLOPS 估算框架（如 Qwen3.5 示例），为后续模型新增提供标准模板。