Prhub
← 返回仓库详情

标签聚合

sgl-project/sglang · 标签视图

标签列表

聚合结果

hisparse 相关 PR

2026-04-16

#22979 [HiSparse]: Adding e2e ut for hisparse

作者 hzh0425 · 合并时间 2026-04-16 23:20

测试 重要性 7.35 洞察度 3.00

为 HiSparse 分层稀疏 KV 缓存系统添加端到端单元测试。

test run-ci hisparse

对于关注测试设计或 HiSparse 模块的工程师,此 PR 提供了单元测试的参考实现,展示了如何构建最小化组件栈进行端到端测试,值得参考以了解 HiSparse 系统测试策略。

2026-04-15

#22882 [HiSparse][BugFix]: Fix the memory leak issue during health checks.

作者 hzh0425 · 合并时间 2026-04-15 19:49

缺陷修复 重要性 5.11 洞察度 4.00

修复 HiSparse 解码模式下健康检查时的内存泄漏问题。

hisparse bugfix run-ci consistency

该 PR 值得快速浏览,重点关注 `process_batch_result_prebuilt` 方法中新增的 HiSparse 协调器通知逻辑。设计决策是仅修复直接导致泄漏的问题,而未采纳 review 中关于补充多模态和 MoE 清理的建议,这可能是一个权衡点,需关注后续是否会出现相关内存问题。

2026-04-14

#22331 [HiSparse] Clarify decode token usage logs

作者 huangtingwei9988 · 合并时间 2026-04-14 09:03

功能 重要性 5.00 洞察度 4.00

澄清HiSparse解码令牌使用日志,区分GPU和CPU令牌统计。

hisparse run-ci observability

对于关注HiSparse性能监控的开发者,值得快速浏览实现细节,特别是get_token_stats和_get_hisparse_token_info方法的统计逻辑;对于一般用户,了解日志格式变化即可,无需深入代码。

2026-04-13

#22505 Add bfloat16 KV cache validation for HiSparse

作者 mmangkad · 合并时间 2026-04-13 12:41

功能 重要性 4.00 洞察度 3.00

为HiSparse添加bfloat16 KV缓存验证,确保启用时数据类型正确。

run-ci hisparse scheduling

该PR实现简单但关键,建议精读以理解HiSparse对KV缓存数据类型的依赖关系。关注设计决策:选择严格验证而非自动转换,体现了对数据类型一致性的重视。