verl-project/verl

更新 Ascend 多架构 Docker 构建工作流

该 PR 是标准 CI 自动化改进，不涉及核心代码逻辑，无需深度 review。但其中多架构镜像构建模式（push-by-digest + merge）值得 CI 团队参考。

为 Qwen3.5 模型升级 Ascend NPU Docker 镜像至 CANN 8.5.2 版本。

此 PR 主要涉及基础设施更新，变更相对直接，适合快速浏览以了解 CANN 版本升级的配置细节。建议关注 Dockerfile 中 CANN 安装和路径设置的实现方式，以及 review 中讨论的架构兼容性修复，这些对构建可靠的多架构镜像有参考价值。

为ToolAgentLoop新增按样本选择工具子集的能力，支持多轮rollout中不同样本使用不同工具。

建议精读此PR以理解动态工具选择的设计，但需注意实现与描述的差异。关注`run()`方法中的工具过滤逻辑和状态机各处的`getattr`使用，这是核心变更。同时，可参考讨论中关于未来注册式工具定义的见解。

修复序列预处理中数据长度不足导致的索引越界问题，确保上下文并行切片安全。

该 PR 值得精读，因为它展示了在分布式训练中处理数据对齐和边界条件的典型模式。关注点包括： - 如何安全地处理可变长度序列的切片，避免索引越界。 - 在 review 讨论中，权衡了填充方案与索引检查方案的优缺点，最终选择了更轻量级的修复方式。 - 可作为处理类似数据预处理边界问题的参考案例。

新增Ascend NPU的SGLang v0.5.10 Dockerfile及配套CI和文档更新。

对于基础设施维护者和NPU用户，此PR值得浏览以了解最新NPU环境配置。建议关注Dockerfile中的安全优化建议，未来可考虑采纳以提高镜像安全性和效率。

修复 Megatron Actor 训练中忽略 calculate_entropy 配置的问题，使其与 dp_actor 行为一致。

该 PR 值得精读，特别是对于负责 Megatron 训练模块或配置系统的工程师。关注点包括：1) 如何通过 `self.config.get` 安全地处理可能缺失的配置键；2) 熵指标记录与损失计算解耦的设计，这体现了监控与优化目标分离的良好实践；3) 修复如何确保向后兼容性，不影响现有用户。

修复Megatron路由器重放路径缺失FP8填充逻辑，确保FP8训练结果正确。

该PR值得精读，特别是关注FP8配置如何集成到现有路由器重放流程中。值得关注的设计决策包括： 1. 通过`tf_config.fp8 in ["e4m3", "hybrid"]`判断是否启用FP8填充，这反映了项目对FP8训练模式的标准化处理。 2. 将填充参数统一传递给预处理函数，展示了配置参数在数据流水线中的传递模式。 建议结合review评论思考安全性和性能的潜在改进空间。

升级VeOmni至v0.1.8，修复并行参数并新增打包序列Flash Attention预处理。

建议工程师精读此PR，重点关注`_prepare_veomni_flash_attention_kwargs`函数的实现细节和设备处理，以及配置自动重写机制的设计决策，这些对理解VeOmni集成和序列并行优化有参考价值。