verl-project/verl

全异步训练中复用 trainer GPU 进行混合 rollout 验证

值得精读。本 PR 展示了如何在 Ray 异步环境中实现弹性副本和资源切换，负载均衡器设计、两阶段初始化、KV cache 分层管理等模式值得参考。但 `ray.get` 阻塞问题需尽快修复，当前版本遗留部分 TODO（如 FullyAsyncLLMServerManager 重构、trtllm 兼容等），适合跟进后续 PR 完善。

升级 TRT-LLM CI 镜像至 rc14 并清理临时修复

值得阅读以了解 CI 维护的最佳实践：升级基础依赖时同步清理临时修复，并在 reviewer 反馈下恢复测试覆盖。commit 历史展示了如何处理 merge 冲突。

新增 Megatron-FSDP 训练后端模式

该 PR 值得精读，尤其是配置传递和 checkpoint 适配的设计。Megatron-FSDP 利用了 Megatron-Bridge 的权重转换能力，避免了重复实现 HF 到 Megatron 的转换。建议关注以下三点： - `synchronize_megatron_fsdp_params` 函数的修复状态，确保多 pipeline stage 场景正确性。 - `override_ddp_config` 的覆盖机制，方便高级用户调优。 - 与 Issue #5244 相关的后续工作，如 Offload 支持和更大规模验证。

用 torch_npu 原生 API 重构 MXFP8 量化实现

该 PR 值得 Ascend NPU 用户和量化模块开发者精读。关键设计决策包括：使用原生 API 替代自定义实现、扩展配置识别的兼容性做法，以及 review 中关于性能优化建议的取舍。

合并 REMAX 采样与贪心基线样本为一个 rollout 请求

该 PR 解决了异步 vLLM 场景下 REMAX 的竞态问题，设计简洁且影响面小。值得 REMAX 用户更新，也值得其他算法开发者关注 `__do_sample__` 这种按样本控制采样参数的实现模式。

为 NPU MindSpeed 引擎添加 value_model 支持以修复设备识别错误

此 PR 值得精读，尤其是 `EngineRegistry` 的注册机制和通过共享函数消除重复代码的手法。对于在 Ascend NPU 上使用价值模型的用户，这是必要的修复。建议合入后补充相关测试。

更新 vllm 和 vllm-ascend 版本至 v0.18.0

该 PR 不应直接合并。建议作者至少： 1. 恢复 `torch_npu==2.8.0` 的安装，或确认新版本 vllm/vllm-ascend 已不再需要显式指定。 2. 移除或限制 `GIT_SSL_NO_VERIFY` 的使用。 3. 补充适配新版本 vllm 的代码变更（如果有）。

重构 Ascend NPU 训练脚本目录结构

建议阅读此 PR 以了解 NPU 脚本组织方式；注意删除的脚本可能中断现有用户工作流；后续应关注作者承诺的 PR 以进一步优化配置管理。