verl-project/verl · 标签视图

修复同步PPO训练器验证阶段多输出会话指标计算错误和缺失的日志转储功能。

该PR值得精读，尤其是键过滤逻辑和`reward_extra_info`收集的修复，展示了处理多输出会话和动态字段的典型模式。关注`_validate()`中`session_max`字典的设计，以及如何确保列表长度一致性的方法（填充None）。

修复VeOmni FSDP引擎加载模型时使用本地路径而非远程路径的问题。

该PR值得快速浏览，重点关注路径解析逻辑的调整，以理解VeOmni引擎在缓存环境下的模型加载机制。对于涉及远程模型存储的开发者，此设计决策展示了如何优雅处理本地与远程路径的切换。

修复多轨迹训练中批次样本数不满足数据并行和PPO小批次可除性导致的错误。

该PR值得精读，特别是`padding_utils.py`中的设计决策：如何构造最小填充样本、处理多维位置ID和专家路由、以及通过`is_padding`标签隔离指标计算。这些设计对于理解分布式训练中的数据对齐和性能权衡有重要参考价值。同时，应关注review中提到的性能瓶颈和边缘情况，在实际部署中监控I/O开销和指标准确性。

删除两个已废弃的依赖文件，清理项目根目录。

该 PR 变更简单，属于基础设施清理，无需精读。值得关注的点是确认项目是否已完全迁移到其他依赖管理方案，以及是否有隐藏的引用需要同步清理。

为 DeepSeek-V3 MoE 模型添加 veomni 引擎参数映射支持。

该 PR 变更简单，适合快速了解 veomni 引擎如何扩展新模型支持。但需注意 review 中提到的映射 bug，建议后续关注相关修复 PR。

修复序列预处理中数据长度不足导致的索引越界问题，确保上下文并行切片安全。

该 PR 值得精读，因为它展示了在分布式训练中处理数据对齐和边界条件的典型模式。关注点包括： - 如何安全地处理可变长度序列的切片，避免索引越界。 - 在 review 讨论中，权衡了填充方案与索引检查方案的优缺点，最终选择了更轻量级的修复方式。 - 可作为处理类似数据预处理边界问题的参考案例。

修复 Megatron Actor 训练中忽略 calculate_entropy 配置的问题，使其与 dp_actor 行为一致。

该 PR 值得精读，特别是对于负责 Megatron 训练模块或配置系统的工程师。关注点包括：1) 如何通过 `self.config.get` 安全地处理可能缺失的配置键；2) 熵指标记录与损失计算解耦的设计，这体现了监控与优化目标分离的良好实践；3) 修复如何确保向后兼容性，不影响现有用户。

修复Megatron路由器重放路径缺失FP8填充逻辑，确保FP8训练结果正确。

该PR值得精读，特别是关注FP8配置如何集成到现有路由器重放流程中。值得关注的设计决策包括： 1. 通过`tf_config.fp8 in ["e4m3", "hybrid"]`判断是否启用FP8填充，这反映了项目对FP8训练模式的标准化处理。 2. 将填充参数统一传递给预处理函数，展示了配置参数在数据流水线中的传递模式。 建议结合review评论思考安全性和性能的潜在改进空间。