verl-project/verl · 标签视图

为 ToolAgentLoop 新增基于样本的工具选择功能，支持多轮 rollout 中每个样本使用不同工具子集。

此 PR 值得精读，因为它展示了如何在现有状态机中嵌入样本级配置，而无需大规模重构。关注 `run()` 方法中的工具筛选逻辑和 `getattr` 的使用，这体现了灵活的设计决策，允许逐步迁移到更复杂的工具管理系统。同时，注意 review 中关于实现与描述不符的讨论，这提醒了保持文档同步的重要性。

修复 PPO 训练器指标计算中空张量导致的崩溃，返回 NaN 以优雅处理边缘情况。

建议工程师阅读此 PR 以学习如何优雅处理空张量情况，特别关注 review 中讨论的设计决策，如对 `critic/values` 的双重检查和 Agentic RL 场景的解释。

将文件日志器输出路径从相对路径改为绝对路径，提升调试便利性。

该PR变更简单，可快速浏览了解路径输出改进。值得关注的是review中暴露的潜在bug，建议后续PR修复目录创建逻辑。

修复calculate_debug_metrics在response_mask全为False时的运行时错误。

该PR值得快速浏览，但无需深入精读。关注点在于：1）防御性编程模式：通过早期返回处理无效输入。2）NaN作为无效指标的标准处理方式。对于涉及调试指标或极端采样场景的开发者，了解此修复可避免类似崩溃。

集成msprobe精度调试工具到VERL统一性能分析系统，支持Ascend训练侧数据收集。

建议技术管理者和工程师精读此PR，重点关注其如何将外部工具集成到统一分析器框架的设计决策，特别是阶段映射、模型解析和开销管理。值得关注`PrecisionDebuggerProfiler`类的实现和配置统一化方式，可作为类似集成的参考模板。