Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

memory 相关 PR

2026-07-29
缺陷修复 重要性 6.60 洞察度 6.00

修复 AMD DSv4 压缩状态池内存回收问题

建议精读。此 PR 展示了如何通过消除平台特定分支、复用统一内存管理基础设施来修复可回收内存泄漏问题,设计干净、验证充分。值得关注的是 `TorchMemorySaverAdapter` 和 `custom_mem_pool` 的集成模式,该模式可推广到其他需要被 `pause()/resume()` 管理的分配场景。

2026-07-24
2026-06-11

#27779 Fix paged SWA free mapping cleanup

原始 PR · 作者 luoroger37 · 合并时间 2026-06-11 18:25

缺陷修复 重要性 6.44 洞察度 5.00

修复 SWA 分配器分页释放时映射残留导致 double-free

建议精读 `_expand_to_full_pages` 的实现和 `free_swa` 的变更逻辑,这是一个典型的分配器 bug 修复,体现了分页分配语义与逐 token 映射之间的不匹配问题,设计值得学习。

2026-05-21
重构 重要性 5.68 洞察度 5.00

将 DSA MQA logits 空闲内存比例改为可配置

本 PR 改动较小且逻辑清晰,值得关注的点是环境变量配置的运行时动态性设计(通过静态方法而非类属性获取)以及 NSA→DSA 重命名策略。建议精读 `dsa_indexer.py` 中的 `_get_mqa_logits_budget_bytes` 方法,理解预算计算流程。对于维护者,建议补充环境变量的文档说明。

缺陷修复 重要性 5.67 洞察度 5.00

修复 Mamba LRU 链表节点引用循环内存泄漏

建议合并。该 PR 定位精准、修复简洁、验证充分,属于典型的高收益低风险修复。值得学习的是其系统性的诊断方法(malloc_trim、gc.collect、DEBUG_SAVEALL)和 reviewer 提醒的统一修复范围。