Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

weight-transfer 相关 PR

2026-08-24
缺陷修复 重要性 6.42 洞察度 5.00

缓存 CUDA 流复用,封顶 packed 权重同步的内存滞留

值得精读,虽然改动只有十几行,但完整展示了“从可复现 OOM 定位到 PyTorch 分配器按流分桶语义,再到最小化修复”的分析链路。值得关注的设计决策有两个:一是用 `functools.cache` 而非手写缓存,将底层语义委托给标准库;二是显式通过 `torch.accelerator` API 获取设备索引,体现 vLLM 对多后端的统一抽象。建议后续补充一个针对保留内存稳定性的回归测试,防止该修复在 PyTorch 分配器行为变化时静默回退。