Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

cuda-graph 相关 PR

2026-09-03
缺陷修复 重要性 7.86 洞察度 7.00

修复 ROCm MoE 权重加载时破坏 CUDA 图捕获地址的问题,确保 RL 训练中权重更新后图回放正确。

该 PR 值得精读。它修复了一个在生产级 RL 训练中可能出现的严重正确性 bug,且修复方案简洁、精准(仅将 `=` 改为 `.copy_()`)。PR 提供了清晰的动机、详细的本地验证数据(包括基准测试结果)以及一个设计良好的专项回归测试。讨论过程展示了作者根据审阅意见迭代改进测试的过程。核心的技术洞察——维护 CUDA 图捕获的参数存储地址的稳定性——对 AI 框架的开发者具有普遍参考价值。建议关注其测试方法(如何直接测试层边界问题)和 `.copy_()` 作为维护张量身份(identity)的惯用模式。

2026-09-02
缺陷修复 重要性 6.58 洞察度 5.00

在 piecewise CUDA 图不可用时显式报错,防止静默的输出乱码回归。

**值得精读**。虽然变更量不大(+20行),但它解决了一个影响开发效率和系统可靠性的真实痛点。其设计体现了“fail-fast”和“明确错误优于静默失败”的优秀工程实践。推荐相关模块(CUDA 图管理、编译器前端、模型支持)的维护者关注此检查逻辑的引入和错误信息的设计。