Prhub

verl-project/verl

verl: Volcano Engine Reinforcement Learning for LLMs

监控状态:已开启 最近同步:2026-09-16 22:52 同步状态:空闲 下次计划:2026-09-16 23:52

PR 列表

更多筛选
2026-07-07
文档 重要性 3.02 洞察度 3.00

添加 Atlas 950DT A5 安装指南

如果您使用 Atlas 950DT A5 硬件,此文档是必需参考,建议仔细阅读并按步骤操作。同时,审阅中提到的 vllm-ascend 安装改进建议值得在后续文档版本中补齐,以提高用户一次性成功率。该 PR 本身设计上采用独立文档 + 索引链接的模式,适合作为后续其他硬件指南的参考。

功能 重要性 7.64 洞察度 6.00

添加 Qwen3.5 系列 MFU/FLOPs 估算支持

建议阅读此 PR 以了解 Qwen3.5 混合注意力的 FLOPs 估算方法,特别是 `_count_qwen3_5_layer_types` 中根据 `layer_types` 或回退公式识别层类型的设计,以及 GatedDeltaNet 循环 FLOPs 的计算方式。review 中对因果注意力因子的修正也值得关注,类似问题可能在其它模型估算中复现。

缺陷修复 重要性 8.30 洞察度 6.00

修复Critic损失微批归一化导致的梯度膨胀

推荐精读,理解损失归一化一致性的关键设计决策。该 PR 清晰地演示了如何从 Actor 对齐 Critic,并包含详尽测试。Review 中关于不变异 config 对象的建议也值得在类似场景中推广。

缺陷修复 重要性 6.99 洞察度 5.00

修复 Megatron CPU offload 未释放 TE FP8 工作空间的问题

建议合入。该 PR 解决了 Megatron FP8 训练中一个关键的内存泄漏问题,改动精炼且已通过真实环境验证。值得关注其设计:`_clear_te_fp8_weight_workspaces` 的模块遍历+属性检查模式,可作为类似 TE 缓存清理的参考。

#6913 [fsdp] fix: fused-kernel gradient tracking bug.

原始 PR · 作者 kolehma8 · 合并时间 2026-07-07 10:56

缺陷修复 重要性 5.23 洞察度 5.00

修复融合核梯度追踪 bug

值得精读,展示了 autograd 中 `.flatten()` 易被忽略的副作用。维护者可考虑后续采纳 `ctx.needs_input_grad` 的改进方案。

缺陷修复 重要性 6.06 洞察度 5.00

修复 spmd_types 与选择性激活检查点兼容性崩溃

该 PR 值得阅读,特别是对 TorchTitan 引擎或分布式训练中线程本地 mesh 传播机制感兴趣的开发者。设计决策(禁用 autograd 多线程)参考了 TorchTitan 上游实践,思路清晰。注意兼容性风险,建议环境确认 PyTorch 版本 >=2.5.0。

2026-07-06
其他 重要性 4.58 洞察度 2.00

更新 AMD GPU FLOPS 数据表格

该 PR 为一次简单的硬件参数修正,改动小且正确性明确,值得快速合并。开发者若涉及 AMD GPU 的性能评测或 MFU 监控,应关注此变更以确保数据准确性。

参与讨论