Prhub

verl-project/verl

verl: Volcano Engine Reinforcement Learning for LLMs

监控状态:已开启 最近同步:2026-09-01 20:03 同步状态:空闲 下次计划:2026-09-01 21:03

PR 列表

更多筛选
2026-08-06
功能 重要性 8.96 洞察度 6.00

FSDP/VeOmni 新增 pad_to_length 减少 JIT 重复编译

值得精读的 perf 型 PR。重点关注三处设计:一是“按 attention workload 均衡分 micro-batch 导致 token 数越界,因此必须用细 bucket 而非固定预算对齐”的量化论证;二是 `prepare_model_inputs` 中补位时机(roll 之后、SP 切分之前)与 `_gather_and_unpad_packed` 统一裁剪的配合;三是 router replay 在补位下的掩码处理——补位 token 无 RECORD 记录所以必须 gate 掉走原生路由,而真实 token 打 gate 才会破坏 R2 bit-equal 保证。测试文件对这两个引擎用 `MagicMock` 桩掉 `veomni.*` 依赖的做法也值得复用。

2026-08-05
基础设施 重要性 2.95 洞察度 2.00

Ascend 镜像升级至 CANN 9.0.1/Python 3.12 并清理无效构建步骤

不值得作为重点 PR 精读,可快速浏览。值得留意的是「删除不存在的构建文件」与「跟随 vllm 升级同步调整镜像」这类配套变更的协作模式:基础设施维护往往与上游依赖升级联动(如 PR#7238),在排查 Ascend 镜像构建失败时,应先核对 vllm 仓库文件结构是否变化。

文档 重要性 2.39 洞察度 2.00

更新 NPU 安装指导与多节点实践文档

值得快速浏览,不需要精读。关注点在于文档与仓库实际脚本(scripts/install_vllm_mcore_npu.sh)和依赖版本的同步情况,可作为后续 NPU 相关文档维护的参照。

缺陷修复 重要性 4.35 洞察度 3.00

修复 Megatron 非 vanilla 路径保存 ckpt 时忽略 strict 配置

值得快速阅读即可:单行改动澄清了 Megatron-Bridge 保存路径的 strict 透传设计。关注两点:一是 `checkpoint_config.strict` 的默认值及其文档语义,二是后续是否应为 strict=False 的导出场景补充测试。总体属于低风险修复。

#7245 [algo, cfg, doc] feat: add DRO losses

原始 PR · 作者 wyettzeng · 合并时间 2026-08-05 04:25

功能 重要性 7.40 洞察度 4.00

新增 DRO 策略损失及 dro_beta 配置

值得快速精读,核心价值在于展示如何新增一个注册式策略损失并与统一聚合、rollout 校正权重对接。实现短小清晰,可作为后续扩展其他 policy loss 的样板。建议关注 `agg_loss` 的复用方式以及 `dro_beta` 的运行时校验设计;若团队计划推广 DRO,建议补充 GPU 冒烟测试和 beta 超参建议。

2026-08-04
缺陷修复 重要性 6.40 洞察度 5.00

修复 THD 多维张量在 zigzag CP 下的序列维补零缺失

值得精读。这是一个小改动揭示典型一维假设问题的好案例:8 行修复解决了多维张量在 CP 下的系统性崩溃,且通过差分测试(2304 组对比)严格保证一维行为不变。值得关注的设计决策:reviewer 对作者分支方案的纠偏(更简单的统一逻辑通常更正确)、以及“用 shape[0] 而不是 numel 做序列长度判断”的普适性原则,对后续接触 THD/CP 预处理的工程师有直接参考价值。

#7242 [veomni] feat: add DeepSeek V4 support

原始 PR · 作者 wuxibin89 · 合并时间 2026-08-04 21:45

功能 重要性 8.73 洞察度 7.00

VeOmni 引擎新增 DeepSeek V4 支持与 MXFP4 多后端回灌

值得精读。三个设计点有复用价值:一是 `_build_ops_implementation_config` 的「按已安装依赖字段动态过滤 + 显式设置即报错」版本解耦范式;二是 `_mxfp4_staging_data` 通过字节数等价的 view/dtype 重解释复用 live storage,把回灌的额外内存从「整份 MoE」降到「1/16 的 scale 缓冲」;三是回灌流程结束后用 leftover 检查兜底,任何不经过 `replace_parameter` 的路径都会显式失败。需要跟进的事项:为 Marlin 回灌与 converter 路径补专项测试、评估 `max_num_seqs` 全局默认调整、补充与 Megatron 的性能对比数据。

基础设施 重要性 2.77 洞察度 1.00

移除 RAY_DEDUP_LOGS=0,NPU nightly 测试恢复 Ray 日志去重

该 PR 是一次琐碎但清晰的 CI 清理,不值得精读源码。值得关注的设计点是:以回归 Ray 默认行为的方式清理冗余环境变量,比直接修改日志格式更轻量。若后续对 Ray 日志去重语义感兴趣,可查阅 RAY_DEDUP_LOGS 在不同 Ray 版本中的行为;同时可顺带检查仓库其他 nightly 脚本是否还有类似冗余环境变量需要一并清理。

参与讨论