verl-project/verl

为单轮对话Agent Loop启用rollout追踪装饰器，支持Vexact演示精确rollout。

该PR变更简单，适合快速了解如何为Agent Loop添加追踪功能。值得关注的设计决策是使用装饰器模式非侵入式增强功能，但需注意review中提到的设计一致性疑虑。

为VeOmni引擎新增Qwen3.5系列模型支持，并提供基于VeOmniEngine和Sglang的GRPO训练示例。

该PR值得精读，特别是 `OmniSequenceShardCollator` 类的修改展示了序列并行下多模态数据处理的通用设计模式。但需注意review中提到的 `MOE_PARAM_HANDERS` 缺失问题，建议在合并后优先修复以避免潜在训练故障。

将项目引用从 volcengine/verl 统一迁移至 verl-project/verl，涉及代码、文档和配置。

该 PR 值得快速浏览以了解项目组织迁移的完成情况，但无需深入代码逻辑。关注点包括： - 查看 `setup.py` 和关键文档文件的变更，确保项目元数据正确。 - 注意 review 中提到的社区链接更新，这反映了对细节的关注。 - 对于新贡献者，此 PR 展示了如何大规模进行项目引用重构的最佳实践。

修复完全异步训练中部分rollout恢复时routed_experts拼接错误，确保路由专家与生成模型版本一致。

该PR值得精读，特别是对于从事异步训练和MoE模型开发的工程师。关注点包括：1) 如何在部分rollout中处理模型版本差异；2) 路由专家拼接的设计决策（切片而非替换）；3) review中关于张量类型的讨论，展示了实际环境中数据类型的保证。

移除教师模型管理器的休眠/唤醒逻辑，简化在线蒸馏流程。

该PR值得快速浏览，以了解在线蒸馏中教师模型状态管理的简化决策。关注点在于移除休眠/唤醒是否带来性能提升或资源权衡，建议结合近期蒸馏相关PR（如#6039、#5997）理解整体演进方向。

移除在线策略蒸馏的共置模式，强制使用独立资源池，简化教师模型管理逻辑。

该 PR 值得精读，尤其是对于涉及蒸馏和资源管理的开发者。关注点包括：教师模型管理器的简化设计、配置契约的变更，以及 review 中提到的序列化优化机会。

新增基于Ray的FlowGRPO扩散模型训练器，支持图像生成强化学习。

该PR值得精读，特别是`ray_diffusion_trainer.py`中的训练循环设计和`diffusion_algos.py`中的优势计算实现。关注点包括：(1) 扩散模型如何适配VERL的`DataProto`和训练框架；(2) 针对时间步的掩码和指标计算与语言模型处理的差异；(3) 审阅中关于优势计算标准差的未决争议，这反映了算法实现与原始论文的权衡。

修复 main_ppo_sync 验证阶段多输出过滤和dump缺失

值得精读，特别是多输出过滤的实现和修复过程，展示了如何处理 agent loop 中 session 级别的数据聚合。