verl-project/verl · 标签视图

补齐蒸馏 teacher 字段填充并支持 fsdp2 策略

值得精读，但只需读源码不必读讨论——PR 本身讨论为零。重点关注三个设计决策：一是 padding 模板选择 "按模板序列长度重建" 而非 "裁剪/丢弃教师字段"，意味着合成样本仍需保持可被蒸馏 loss 消费的完整张量结构；二是用 .new_full/.new_zeros 保留 topk 维与 dtype/device，写法克制，便于后续扩展更多 teacher 字段；三是把 fsdp2 直接并入 fsdp/veomni 分支而不是新建实现。建议阅读者在本地补一条 CPU 单测覆盖 teacher_ids/teacher_logprobs 存在与不存在两种情况，并确认跨 tokenizer 场景下 eos_token_id 作为 teacher topk id 的合法性。

默认使用标准 pre-KL 奖励（rm_scores）进行 DAPO 动态分组过滤

此 PR 是一个**有价值且实现精良的功能增强**。它通过提供开箱即用的标准奖励过滤路径，显著简化了 DAPO 动态采样的配置，并提升了其与核心奖励计算流程的集成度。实现方案清晰，通过分支逻辑兼容了新旧两种指标读取方式，并附带了针对性强的单元测试。考虑到默认值的变更可能对现有用户产生影响，建议在发布说明中明确提示此行为变化。整体而言，**值得精读其核心逻辑分支和测试用例的设计**，以理解如何优雅地扩展现有功能并保持兼容性。

DeepSeek V4 支持 QAT bf16 伪量化训练

该 PR 值得关注，因为它引入了新的训练模式（QAT）并增强了 GSPO 损失的灵活性。建议补充单元测试覆盖新配置项和损失聚合逻辑，并确认与 VeOmni 侧 PR 的兼容性。

修复 REINFORCE++ 多轮观察段奖励丢失

值得精读。这是一个小而精准的正确性修复：展示了如何用与 GAE 一致的 carry-through 模式统一处理 response_mask 的双重语义，避免在同一代码库中出现两套不一致的 mask 行为。测试设计覆盖了核心回归、gamma 折扣、padding、batch 和单轮兼容性，可作为 RL 算法修改的测试范例。建议重点关注 running_return 选择逻辑与测试中对 observation/padding 的区分。

新增 DRO 策略损失及 dro_beta 配置

值得快速精读，核心价值在于展示如何新增一个注册式策略损失并与统一聚合、rollout 校正权重对接。实现短小清晰，可作为后续扩展其他 policy loss 的样板。建议关注 `agg_loss` 的复用方式以及 `dro_beta` 的运行时校验设计；若团队计划推广 DRO，建议补充 GPU 冒烟测试和 beta 超参建议。

新增 token-sum 损失聚合模式，支持 DP 缩放

该 PR 代码量小、逻辑直白，但其中“乘 dp_size 抵消 DDP/FSDP 平均”的推导值得精读，是一个典型的并行训练损失语义设计。建议阅读 agg_loss 全函数和三个测试用例，理解 token-sum 与 token-mean 在梯度尺度上的差异。对于计划在多卡或 Megatron 后端使用该模式的团队，建议等待后续专门适配或自行验证。

修复蒸馏损失按微批划分的归一化差异

值得快速精读，重点学习两个点：一是 agg_loss() 的全局归一化机制与 DDP 梯度平均的关系，二是修复信息放置在分支之前的设计决策。PR body 中的定量对比（mb1 vs mb8、fixOff vs fixOn）是很有说服力的验证范例。若团队有蒸馏训练任务，建议尽早合入并留意是否需要补充 micro-batch 相关的回归测试。

为 Megatron 后端添加 Muon 优化器支持

此 PR 值得精读，尤其是 `adamw_rms_match_scale_factor` 的推导和实验对比方法。代码设计上对兼容性的处理（字段白名单转发、fail-closed）和 DDP 封装的重构（`wrap_model_chunks_with_layerwise_aware_ddp`）均具有参考价值。建议使用者优先配置 `muon_match_adamw_update_rms` 而非手动设置常量。