Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 23:02 同步状态:空闲 下次计划:2026-09-03 00:02

PR 列表

更多筛选
2026-06-29
功能 重要性 7.54 洞察度 6.00

为 Mamba SSM 缓存添加随机舍入支持

值得关注的设计决策是随机舍入在两个后端中的统一抽象——通过 `ssu_dispatch.py` 的工厂函数将 SR 参数注入后端构造,使得上层调度器无需关心具体精度策略。同时,PR 中 Triton 内联 PTX 的用法为未来类似低精度运算提供了参考模式。但必须强调,PTX 操作数顺序的 bug 尚未确认是否已在合并前修复(代码 head 仍为错误顺序),建议尽快审查并修复该问题。

#29493 [NPU][Bugfix] Add scoring_func for mimo_v2

原始 PR · 作者 iridiumine · 合并时间 2026-06-29 16:34

缺陷修复 重要性 5.08 洞察度 3.00

修复 MiMo-V2.5 模型 NPU 上 softmax 归一化错误

值得合并的一行修复,无技术争议。可作为后续添加 NPU 专用单元测试的参考点。

#29570 Fix disaggregation receiver ZMQ cleanup

原始 PR · 作者 ronhuafeng · 合并时间 2026-06-29 16:22

缺陷修复 重要性 5.05 洞察度 6.00

修复disaggregation receiver ZMQ socket未清理

值得精读,体现了分布式系统中socket生命周期管理的设计权衡:通过ZeroMQ选项实现故障快速发现与资源回收。但必须理解`RECONNECT_IVL=-1`配合`SNDTIMEO`的必要性,否则可能导致整个调度循环卡死。建议与后续修复#31025一并阅读。

#29571 fix: include CP size in PP rank offset

原始 PR · 作者 SSSunzt · 合并时间 2026-06-29 16:01

缺陷修复 重要性 7.13 洞察度 5.00

修复 PP 通信中缺失 CP 维度导致的 rank 偏移错误

值得精读,尤其是了解分布式 rank 布局和多维度并行交织的通信设计。对理解 sglang 的 (dp, cp, tp) 维度布局有启发。

缺陷修复 重要性 3.64 洞察度 3.00

修复 DSA indexer 测试因 device 参数错误导致的 CI 失败

该 PR 是纯粹的 CI 修复,简单直接。值得关注的是其揭示了测试代码应尽量贴近真实运行环境(如 device 参数),建议后续测试编写时注意此类细节。

#29338 [Spec] Add DFLASH basic sanity CI test

原始 PR · 作者 hnyls2002 · 合并时间 2026-06-29 14:45

测试 重要性 6.05 洞察度 4.00

为 DFLASH 添加基础 sanity CI 测试

值得关注 DFLASH 测试基础设施的搭建方式。对于其他推测解码路径(如 EAGLE3)的测试有借鉴意义。fwd_occupancy_kit 的格式改进也有参考价值。

缺陷修复 重要性 4.03 洞察度 3.00

修复 NPU 调度器因缺少 in_capture 参数启动失败

该 PR 是典型的最小修复(1 行),可直接合并。对于阅读者,它展示了在多后端架构中,当基类接口演化时如何快速修复子类签名不匹配。值得注意的设计点是使用可选参数 `in_capture: bool = False` 而非强制参数,以保持向后兼容。

参与讨论