Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

mamba 相关 PR

2026-09-01
功能 重要性 9.36 洞察度 7.00

unified 池泛化至 N 子池,新增浮动池支撑 mamba+SWA 三态 KV

值得精读。三个设计决策尤其值得关注:一是 `_CapacityField` 用数据描述符 + epoch 让容量 memo 失效"按构造"发生,避免了散落的失效钩子;二是 `_float_open_short_side` 的 demand-vector 策略,使单带宽短供、耦合多带分配、未来组合准入向量统一为一种表达;三是 `_relieve_for_alloc` 将 flush/relocate/evict 收敛为单一 ladder。建议结合 test_unified_capacity_memo.py 与 test_multi_ended_allocator.py 的测试方法论阅读,这两份测试的防御深度(属性测试 + 反射扫描 + 伪装写入探测)本身就值得借鉴。

缺陷修复 重要性 9.16 洞察度 7.00

统一内存混合模型路径 4 项启动与正确性修复

值得精读。这是 unified-memory 混合模型路径上线后第一批系统性缺陷修复,对以下读者尤其有价值:① 维护 mem_cache / 分配器相关代码的工程师——释放路径的 host 同步分析(标量 RHS H2D 阻塞、torch.unique D2H 计数)与 free_segment 步长推导是通用 GPU 内存管理经验;② 关注内核契约与 matcher 关系的读者——「matcher 强于内核真实契约」的判断方法可迁移到其他 JIT 内核;③ 测试设计爱好者——AST 源码扫描 + mock.patch 拦截 torch.unique + 功能测试三层护栏的组合非常值得借鉴。建议重点阅读 multi_ended_allocator.py 的 free/free_segment/_page_reps_pieces 与 swa_component.py 的 _page_pairs/_transfer_swa_pages,以及两个对应测试文件的 docstring(它们本身就是完整的设计文档)。

2026-08-31
缺陷修复 重要性 5.54 洞察度 4.00

修复 FakeReq 不可达初始化并补 Mamba 状态回归测试

值得快速浏览(无需精读)。该 PR 本身改动很小,但有两个可借鉴点: 1. 遇到"测试突然 AttributeError"时,先检查是否有字段赋值被误放在 `return` 之后的不可达位置,这比盲目补字段更能定位根因; 2. `save_from_req → restore_to_req` 往返断言是一种低成本、高价值的会话状态回归测试范式。 若要进一步加固,可考虑把新回归测试的断言扩展至全部会话状态字段,并在 review 检查单中增加"`return` 后不可达代码"的排查项。

2026-08-28
文档 重要性 2.69 洞察度 3.00

GLM-5.3-Flash 文档指向 compute-mamba-ratio 技能计算 KDA/KV 比例

值得快速浏览,尤其是 GLM-5.3-Flash 或混合模型用户。该文档变更展示了如何将仓库内技能与具体模型文档关联,是良好的实践。对于需要调优 KDA/KV 池比例的用户,应阅读该 Note 并参考 `compute-mamba-ratio` 技能。整体价值一般,但针对性明确。

2026-08-25
缺陷修复 重要性 5.11 洞察度 5.00

修复 Qwen3.8-MXFP4 DCP 启动失败,注册文本架构到 mamba 白名单

该 PR 值得快速浏览,它揭示了一个架构白名单与 DCP 配置交互的 bug。建议精读 `_MAMBA_EXTRA_BUFFER_ARCHS` 列表,了解各架构的内存模型约束。未来应考虑为纯文本架构增加单元测试,确保白名单同步。

#36203 Cleanup duplicate mamba backup helper

原始 PR · 作者 ispobock · 合并时间 2026-08-25 00:52

重构 重要性 5.29 洞察度 2.00

删除 schedule_batch.py 中重复的 mamba backup 辅助函数定义

该 PR 是低风险的代码清理,值得快速合入。无需精读,但可关注调度器中 mamba 相关的逻辑,了解备份机制。

#35840 Add PD test for inkling with mxfp8 KV

原始 PR · 作者 ispobock · 合并时间 2026-08-25 00:12

测试 重要性 8.31 洞察度 6.00

新增 Inkling MXFP8 KV 的 PD 测试,修复 retraction 状态备份

值得精读。这是一个典型的"测试驱动发现缺陷并落地通用修复"的 PR:值得关注的点包括——如何通过有界设备池刻意制造 retraction 让测试有守卫价值;cpu_copy_carries_mamba 契约标志如何避免 KV pool 与调用方重复备份或双双漏备份;uses_ssm_state 统一判定如何防止 host_pool 后端误伤带 recurrent 状态的模型;以及单元测试用桩对象精确刻画两种备份场景的手法。

#35957 Fix recurrent state loss on decode retraction

原始 PR · 作者 ispobock · 合并时间 2026-08-25 00:11

缺陷修复 重要性 7.58 洞察度 6.00

修复 decode retraction 的 recurrent state 静默丢失

值得精读。三个设计决策有借鉴价值:用类属性(`cpu_copy_carries_mamba`)声明式描述池能力,而非在调用方做 `isinstance` 特判;用共享谓词(`uses_ssm_state`)消除两处判定逻辑的分裂,避免"一个看 attention、一个看 recurrent state"的夹缝模型;用轻量 stub 类在纯 CPU 单测中完整覆盖备份/恢复双分支,验证成本极低。对排查同类"同一签名、不同实现"导致的静默错误有直接参考意义。