Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-04 02:49 同步状态:空闲 下次计划:2026-09-04 03:49

PR 列表

更多筛选
2026-06-09
功能 重要性 8.23 洞察度 6.00

给实验性路由器添加 /flush_cache 端点

值得精读。该 PR 实现清晰,设计决策明确(如绕过断路器、并发限制、错误报告格式)。对于需要扩展类似管理端点的开发者,是很好的参考。

功能 重要性 7.96 洞察度 5.00

为 Intel XPU 添加 xpu_attn 多模态编码器注意力后端

该 PR 值得详细阅读,尤其关注 `resolve_max_seqlen` 的缓存设计和 XPU 后端的注册流程。建议在合并前确认 `sgl_kernel.flash_attn.flash_attn_varlen_func` 对 `window_size` 和 `sinks` 的支持情况,并考虑增加更完善的测试覆盖。

#26635 Improve registration in cpu_graph_runner

原始 PR · 作者 CaoE · 合并时间 2026-06-09 09:35

性能优化 重要性 7.83 洞察度 5.00

改进 CPU 图编译自定义 op 注册与显式 fallback 加速

值得精读设计:通过显式 `make_fallback` 规避 Inductor 诊断慢路径的思路可复用于其他算子编译场景。缺少测试配套,建议后续补充 fallback 注册的单元测试。

基础设施 重要性 5.01 洞察度 2.50

重新启用 XPU CI 的 stage B 测试并拆分测试套件

值得关注 CI 配置模式(预构建镜像拉取 + 多阶段拆分)的实践,可作为其他硬件后端 CI 优化的参考。核心开发人员无需深入阅读代码细节。

功能 重要性 7.09 洞察度 5.00

NPU 后端确定性推理适配

值得精读,特别是 `npu_batch_invariant_ops.py` 和 `batch_invariant_ops.py` 中的条件注册逻辑,展示了如何在 SGLang 框架中为不同硬件后端提供操作符替换。采样器中的种子化改造也是一个可重用的模式。

参与讨论