Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-05 00:20 同步状态:空闲 下次计划:2026-09-05 01:20

PR 列表

更多筛选
2026-05-28
功能 重要性 7.50 洞察度 6.00

Blackwell SM100+ 添加 FlashInfer GDN prefill 支持

该 PR 是 Blackwell 推理栈的重要补齐,设计决策清晰(状态预分配、clamp 保护、版本校验)。值得关注: - SM100 / SM90 两条路径的差异(state pool vs gather/scatter)及初始化分支逻辑; - 如何通过预分配 bf16 output_state 消除类型转换开销; - 对上游 FlashInfer 版本的依赖管理。 推荐阅读核心内核文件 `gdn_flashinfer.py` 的 `extend` 方法,以理解 FlashInfer 集成模式。

#26421 chore: bump sglang-kernel version to 0.4.3

原始 PR · 作者 sglang-bot · 合并时间 2026-05-28 02:31

基础设施 重要性 4.05 洞察度 2.00

sglang-kernel 版本从 0.4.2.post2 升级至 0.4.3

该 PR 为常规依赖升级,价值有限。无需精读,但可关注 sglang-kernel 0.4.3 的 release note 了解具体包含的修复或特性。

功能 重要性 7.28 洞察度 5.00

为自定义推测算法添加分离支持,重构 Eagle 专用逻辑

值得精读,展示了通过面向对象多态方法解耦调度逻辑的设计模式。建议尽快补充:1)空批次和 hidden states 为 None 的防御性检查;2)针对新增接口编写单元测试,覆盖 Eagle 和非 Eagle 分支的分离场景。

2026-05-27
功能 重要性 9.18 洞察度 6.00

为 ASR 添加 WebSocket 实时音频输入端点

值得精读。该 PR 展示了如何在现有架构上集成实时双向协议,对理解 OpenAI Realtime 协议实现、异步状态机设计、跨路径一致性处理(HTTP SSE vs WebSocket)有较高学习价值。建议关注 `session.py` 的状态隔离设计和 `streaming_asr.py` 的 `emitted_text` 改动。

#26387 Support KV events for UnifiedRadixCache

原始 PR · 作者 weireweire · 合并时间 2026-05-27 22:10

功能 重要性 7.10 洞察度 5.00

为UnifiedRadixCache添加KV事件支持,提升缓存命中率

该PR值得精读,特别是需要自定义缓存策略或集成第三方路由器的开发者。事件注入的模式(通过Mixin、在关键操作点记录事件)可复用与其它缓存组件。同时展示了如何为复杂缓存结构编写高质量单元测试。

文档 重要性 4.03 洞察度 2.00

更新 Unified Radix Cache README

建议合并,文档更新有助于代码维护。可忽略 review 建议中的格式问题,因为不影响理解。

缺陷修复 重要性 5.53 洞察度 4.00

修复 NPU 量化 MoE 权重加载非连续导致 EPLB 失败

建议阅读此 PR 了解 NPU 量化 MoE 权重加载的潜在陷阱。本 PR 的核心决策(在 transpose 后添加 contiguous())是解决非连续张量问题的标准做法,值得作为类似问题的参考模式。同时关注关联 PR #25663 可能对同一问题做更彻底的架构演进。

#26308 [NPU]add decord2 for npu

原始 PR · 作者 zhaozx-cn · 合并时间 2026-05-27 19:48

基础设施 重要性 2.39 洞察度 2.00

为 NPU 配置添加 decord2 依赖

可快速合并,无需深入 review。对于关注 NPU 多模态能力的开发者,可确认 decord2 版本兼容性。

参与讨论