Prhub
← 返回仓库详情

标签聚合

sgl-project/sglang · 标签视图

标签列表

聚合结果

mamba 相关 PR

2026-04-14

#21259 [HiCache & HybridModel] mooncake backend support DSA & mamba model

作者 huangtingwei9988 · 合并时间 2026-04-14 09:47

功能 重要性 9.18 洞察度 6.00

扩展HiCache以支持Mooncake后端,使DSA和Mamba模型能使用分层缓存。

hicache feature mamba consistency run-ci

该PR值得精读,特别是`hybrid_pool_assembler.py`中的设计展示了如何通过抽象层支持多种混合模型,以及`mooncake_store.py`中零拷贝IO集成模式。关注`_resolve_shared_pool_transfers`方法对共享索引池的处理,这是确保数据一致性的关键。

2026-04-11

#22555 [mem] Fix idle token_usage missing mamba_usage; add FIXME for naming

作者 hnyls2002 · 合并时间 2026-04-11 07:20

缺陷修复 重要性 4.00 洞察度 3.00

修复空闲路径下token_usage统计缺失Mamba使用量的问题,并添加字段命名澄清注释。

bugfix run-ci mamba

该PR值得快速浏览,重点关注:1) 修复逻辑如何确保混合SSM场景下统计一致性。2) FIXME注释揭示的字段命名技术债务,可作为未来API设计参考。对于深入理解内存管理或Mamba集成的工程师有参考价值。