verl-project/verl · 标签视图

补齐蒸馏 teacher 字段填充并支持 fsdp2 策略

值得精读，但只需读源码不必读讨论——PR 本身讨论为零。重点关注三个设计决策：一是 padding 模板选择 "按模板序列长度重建" 而非 "裁剪/丢弃教师字段"，意味着合成样本仍需保持可被蒸馏 loss 消费的完整张量结构；二是用 .new_full/.new_zeros 保留 topk 维与 dtype/device，写法克制，便于后续扩展更多 teacher 字段；三是把 fsdp2 直接并入 fsdp/veomni 分支而不是新建实现。建议阅读者在本地补一条 CPU 单测覆盖 teacher_ids/teacher_logprobs 存在与不存在两种情况，并确认跨 tokenizer 场景下 eos_token_id 作为 teacher topk id 的合法性。

禁用教师蒸馏中vLLM的反标记化，降低每请求开销。

该PR值得精读，原因如下：1）展示了如何通过一个单行配置变更获得2.4-3.2倍的性能提升，且不改变行为；2）设计决策上隔离教师和学生rollout的配置，避免影响其他后端；3）讨论中深入分析了vLLM的内部机制（如 `skip_tokenizer_init` 硬编码），提供了有价值的技术洞察。建议关注教师循环的性能优化路径，以及后续学生rollout的修复（PR#7679）。

新增 Qwen3.5-2B 对策略蒸馏 FSDP 双平台脚本

值得精读的人群是需要在 GPU/NPU 双平台跑通 on-policy distillation 的用户，可将其作为 OPD 示例模板；关注 `DEVICE` 自动探测、NPU 环境变量分支和 uv gate 的组合方式。核心代码无改动，评审价值主要体现在示例脚本的可维护性与仓库惯例一致性上。

修复蒸馏损失按微批划分的归一化差异

值得快速精读，重点学习两个点：一是 agg_loss() 的全局归一化机制与 DDP 梯度平均的关系，二是修复信息放置在分支之前的设计决策。PR body 中的定量对比（mb1 vs mb8、fixOff vs fixOn）是很有说服力的验证范例。若团队有蒸馏训练任务，建议尽早合入并留意是否需要补充 micro-batch 相关的回归测试。

OPD top-k 蒸馏跳过 log_probs 和 PPO 损失，降低显存占用

本 PR 设计精巧，通过一个标志串联 trainer→engine→loss 的多个模块，是典型的“配置驱动优化”案例。值得精读，尤其关注 FSDP engine 中操作顺序的修复和 Megatron 中 `_distillation_use_topk_active` 的传递方式。建议在后续工作中增加 end-to-end GPU 测试。

修复 OPD 训练中 teacher 温度配置引发的崩溃

值得快速合并，是一个纯增益的低风险修复。可关注后续项目级日志配置清理 PR。建议阅读 `_get_teacher_sampling_params` 的注释以了解 Hydra 插值导致的配置传播问题。

修复 chunked top-k 配置缺失导致的 AttributeError

该 PR 是必要的小修复，值得快速合并。精读价值不高，但可作为向后兼容性处理的典范（使用 `getattr` 加默认值处理可选配置字段）。

分块gather-logsumexp避免长上下文OOM

对于从事长上下文蒸馏或大型词表模型训练的开发者，本 PR 值得精读，它展示了在不牺牲数值精度前提下，通过数学恒等变形和分块计算优雅解决 OOM 问题的模式。对于 verl 核心维护者，建议关注后续 PR `_forward_skip_lm_head`，以完全消除 [B,T,V] 张量。其他人可快速了解设计权衡。