#52951 [Bugfix] Reuse CUDA streams in packed weight transfer to cap reserved-memory waste
原始 PR · 作者 qgallouedec · 合并时间 2026-08-24 14:54
缺陷修复
重要性 6.42
洞察度 5.00
缓存 CUDA 流复用,封顶 packed 权重同步的内存滞留
值得精读,虽然改动只有十几行,但完整展示了“从可复现 OOM 定位到 PyTorch 分配器按流分桶语义,再到最小化修复”的分析链路。值得关注的设计决策有两个:一是用 `functools.cache` 而非手写缓存,将底层语义委托给标准库;二是显式通过 `torch.accelerator` API 获取设备索引,体现 vLLM 对多后端的统一抽象。建议后续补充一个针对保留内存稳定性的回归测试,防止该修复在 PyTorch 分配器行为变化时静默回退。