Prhub

verl 2026 第27周（06-29 ~ 07-05）周报

本周合并 26 个 PR，重点围绕 Ascend NPU 平台增强、性能优化、关键 Bug 修复及多模态训练扩展，整体工作密度高，NPU 成为主线。

仓库：verl-project/verl 周期：2026-06-29 至 2026-07-05 来源 PR：26 · 重点 PR：24 自动生成 · 生成于 2026-07-06 01:03

本周亮点

  • NPU 生态加速：新增多项 Ascend 测试、CI 及文档，覆盖 Quickstart 重构、多节点 Nightly、GSPO 脚本等，NPU 标签占比 46%（12/26）。
  • 性能显著提升：Megatron BSHD 填充统一序列长度，避免 cuDNN 重复编译（#6901）；OPD 蒸馏跳过 log_probs 和 PPO 损失，降低显存（#6848）。
  • 关键 Bug 修复：修复 Qwen3 MoE FSDP 权重同步兼容 Transformers 5（#6896）；SGLang FP8 忽略层配置集中化并支持正则匹配（#6906）；多节点 profile 崩溃（#6861）；GLM-4V processor 类名错误（#6873）。
  • 多模态训练落地：新增 Open-R1 图像推理和 TinyLLaVA-Video 视频数据集预处理及 GRPO 训练脚本（#6849）。
  • 可观测性增强：集成 Rollout MoE 负载均衡指标，提供专家分配计数、violation 统计（#6853）。
  • 全异步模式修复：修复 partial_rollout 禁用时中止样本重试问题（#6882）；OPD teacher 温度配置非 1.0 时崩溃修复（#6867）。
  • 文档持续改进：多篇 Ascend 最佳实践文档版本同步更新，Quickstart 文档重构支持四种训推后端组合（#6900）；Sphinx 侧边栏滚动修复（#6871）。

风险观察

  • 测试覆盖不足：多个重要 PR（如 #6896 MoE 同步、#6901 BSHD 填充）缺少单元测试，回归风险高。
  • 文档版本不一致：PR #6924 中 DAPO 和 GSPO 文档存在命令与描述矛盾，合并前未完全修复。
  • 配置兼容性风险：PR #6906 中配置合并优先级可能不直观；PR #6882 中条件判断依赖 hasattr，对配置结构变化敏感。
  • 空 batch 潜在崩溃：PR #6901 在空 batch 时 .max() 会触发 RuntimeError，未修复。
  • 环境硬编码：PR #6900 中脚本硬编码 ASCEND_RT_VISIBLE_DEVICES，可能与其他环境冲突。

完整周报

Markdown PDF

执行摘要

本周（2026年第27周，06-29至07-05）verl项目共合并26个PR，其中24个被标记为重点PR。整体变化集中在三大主轴：一是围绕Ascend NPU平台的基础设施与测试体系大幅增强，二是在Megatron引擎和蒸馏训练场景中实现了显著的性能优化，三是修复了多个影响稳定性的关键Bug并扩展了多模态训练能力。从数据看，NPU相关PR占到了近一半（12次标签出现），文档和Bug修复紧随其后，表明团队正同时推进平台广度和代码健壮性。尽管工作量饱满，部分优化和修复仍缺乏直接单元测试，文档版本一致性也有遗留问题，需在后续迭代中补齐。

本周重点变化

1. NPU平台全面铺开

  • 测试与CI：PR #6831新增了NPU的单元测试（UT）和系统测试（ST），涵盖veomni GRPO、engine兼容性等，并更新了5个CI workflow文件。PR #6876添加了基于RayJob的多节点Nightly CI，支持Qwen3-30B多节点训练。PR #6877为Ascend CI增加了Qwen3-0.6B E2E和GRPO profiling用例。
  • 文档与示例：PR #6900重构了Ascend Quickstart文档，提供FSDP2+SGLang、FSDP2+vLLM等四种训推后端组合脚本。PR #6924同步更新了三份最佳实践文档的软件版本兼容性。PR #6918修复了Quickstart文档的链接和锚点错误。PR #6890提供了Qwen3-32B GSPO的完整训练脚本。

2. 性能优化

  • Megatron BSHD填充：PR #6901发现因micro-batch填充到各自最大序列长度导致cuDNN fused-attention重复编译（约1s/次），通过设置pad_bshd_to_minibatch_max标志（默认启用）将同一mini-batch内所有micro-batch填充到全局最大长度，共享执行计划。该优化在BSHD路径下收益显著。
  • OPD蒸馏显存优化：PR #6848在forward_kl_topk蒸馏场景中，通过trainer传递distillation_only标志使actor engine跳过log_probs和PPO损失计算，并在Megatron optimizer_step前清空缓存，降低显存占用。

3. 关键Bug修复

  • MoE权重同步：PR #6896修复了Transformers 5将Qwen MoE权重存储为打包3D张量后，vLLM（≤0.24.0）无法通过传统per-expert路径加载的问题。新增_iter_vllm_compatible_moe_params迭代器实时拆分权重，并增加版本守卫。
  • FP8忽略层配置：PR #6906将SGLang FP8量化配置构建集中到build_sglang_fp8_quant_config，支持从HF配置、环境变量等多种源合并忽略层列表，并添加正则匹配支持（re:前缀），解决Qwen3 GatedDeltaNet因block-wise FP8崩溃的问题。
  • 多节点profile崩溃：PR #6861修复了nnodes>1时非master节点因engine为None而引发的AttributeError，在start_profile/stop_profile中添加node_rank守卫。
  • GLM-4V processor：PR #6873更正了hf_processor()中类名Glm4vImageProcessor→Glm4vProcessor，使多模态模型正确初始化。

4. 功能扩展

  • 多模态训练：PR #6849为lmms-lab/multimodal-open-r1-8k-verified（图像数学推理）和TinyLLaVA-Video-R1（视频问答）新增了数据预处理脚本，并提供了FSDP GRPO启动脚本。同时修复了_ragged_idx损坏问题。
  • MoE可观测性：PR #6853在v1 trainer中集成了基于routed expert replay数据的负载均衡指标，包含专家分配计数和violation统计，由rollout.moe_load_balance_metrics_interval配置控制（默认关闭）。

模块与主题趋势

从标签频次看，npu（12次）占据压倒性优势，doc（8次）和bugfix（7次）分列二三位，说明本周工作重心是NPU平台适配、文档质量和缺陷修复。ci（5次）和algo（4次）也表现活跃，反映出团队在持续集成和算法支持（GSPO、DAPO、多模态）上持续投入。perf（4次）和fully_async（3次）虽然数量较少，但都是高重要性PR，代表性能优化和全异步架构迭代并未停步。

在作者方面，共10位核心贡献者产生了20个PR（提交统计前10），其中多位提交2个PR，贡献分布较为均匀。热点文件集中在docs/ascend_tutorial/路径下的文档和tests/special_npu/下的测试脚本，表明当前核心活动区域是Ascend相关的文档和测试。另外，verl/workers/engine/megatron/transformer_impl.py出现2次，与PR #6901和#6848相关，显示Megatron引擎正在吸收关键性能优化。

综合来看，本周的变化呈现“平台扩充 + 深度优化”的双轨模式：一方面大幅提升Ascend NPU的测试覆盖和用户文档，让NPU训练链条更完整；另一方面在已有模块中挖掘性能潜力，修复边界问题。全异步和蒸馏等新兴功能也在稳步演进。

风险观察

  1. 测试覆盖缺口：尽管新增了NPU测试，但多个核心优化/修复模块（如#6896 MoE权重同步中的_iter_vllm_compatible_moe_params、#6901 BSHD填充的逻辑、#6848 OPD优化）缺少单元测试，仅依赖E2E或手动验证，回归风险较高。
  2. 文档版本一致性：PR #6924在合并时留下了DAPO和GSPO文档中git checkout main命令与文本建议“指定commit ID”的矛盾，用户若直接复制命令可能使用错误版本。该问题在Review中指出但未被修正。
  3. 配置兼容性敏感：PR #6906中配置合并优先级（环境变量、HF配置、正则模式）缺乏显式说明，用户可能误解；PR #6882中通过hasattr判断配置存在，若配置结构变化（如OmegaConf启用struct）可能失效。
  4. 空batch异常：PR #6901在分布式训练空batch时.max()会触发RuntimeError，Review已指出但未被修复，对生产环境构成潜在威胁。
  5. 环境硬编码：PR #6900的启动脚本中直接硬编码ASCEND_RT_VISIBLE_DEVICES等变量，在多租户或动态资源环境下可能引发冲突。

重点PR速览

PR # 标题 作者 重要性 影响简述
6901 [megatron, perf] pad BSHD micro-batches to mini-batch max seq_len YaoweiFan 7.6 性能优化：统一填充避免cuDNN重复编译，默认启用，但空batch风险未修复
6848 [fsdp, megatron, trainer] enhance mem footprint for forward_kl_topk OPD dimjava 8.6 显存优化：蒸馏场景跳过非必要计算，设计精巧，建议补充GPU端到端测试
6896 [fsdp] fix Qwen3 MoE FSDP weight sync for vLLM rollout in Transformers 5 lxb007981 7.4 关键兼容性修复，处理Transformers 5打包张量格式，避免权重加载失败
6906 [rollout] fix: support SGLang FP8 ignored layers gem-mint 8.3 FP8配置集中化+正则匹配，解决Qwen3 GatedDeltaNet崩溃，可推广至其他引擎
6849 [data, rollout, worker] add Open-R1 multimodal and TinyLLaVA-Video preprocessing and training lihanwen7 8.6 多模态训练扩展，提供完整数据预处理和训练脚本，奖励函数需用户自行实现
6853 [trainer, rollout] log rollout moe load-balance metrics Luosuu 9.0 可观测性：MoE负载均衡指标累计器设计优秀，配置驱动，默认关闭
6831 [ci] chore: add some NPU's UT/ST daikang6 6.0 基础设施：填补NPU测试空白，新增engine兼容和设备抽象统一函数

此外，PR #6861（多节点profile崩溃修复）、PR #6882（partial_rollout禁用修复）、PR #6867（OPD温度配置修复）等也值得关注。这些修复虽小，但对全异步和蒸馏场景的稳定性至关重要。

后续建议

  1. 补强测试覆盖：为近期合入的优化与修复（特别是#6896、#6901、#6848、#6906）补充单元测试，重点验证边界条件（空batch、配置缺失、版本阈值等）。建议在tests/目录下建立与功能模块对应的测试文件。
  2. 文档自动化验证：引入步骤检查文档中的git命令、版本号是否与代码实际一致。可考虑在CI中增加文档lint或版本引用检查。
  3. 推广配置驱动优化模式：PR #6848和#6906展示了通过配置标志（distillation_only、ignored_layers）灵活控制行为，这种模式应在其他模块推广，逐步替代硬编码条件。
  4. 全异步鲁棒性提升：随着fully_async模块增多，应统一异常处理和条件守卫模式，避免类似#6882中hasattr和#6883（隐含）的条件依赖问题。
  5. 多模态规范化：基于#6849的模板，制定多模态数据集接入的标准流程（数据预处理→奖励函数→训练脚本），并推动奖励函数接口化。
  6. 性能优化自动化：将BSHD填充优化集成到默认配置，并评估在THD路径中的适用性。同时关注空batch安全修复。

参与讨论