Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-08-29
功能 重要性 9.11 洞察度 6.00

新增索引式组件权重集解析,重构 transformer 覆盖加载

值得精读。重点看 `weights/source.py` 中 index 权威解析与错误类型区分的设计,以及 `transformer_load_utils.py` 如何从自维护下载逻辑收敛到共享解析器;这套解析器可视为给其他组件加权重覆盖的现成模板。

缺陷修复 重要性 6.31 洞察度 6.00

修复 AITER EAGLE draft extend eager 元数据错误

该 PR 值得精读,因为它修复了特定硬件和模型组合下的关键稳定性问题,并展示了元数据传递的正确模式。值得关注的设计决策是使用 `generate_attn_arg_prefill()` 返回值构建 metadata。

缺陷修复 重要性 5.45 洞察度 6.00

修复 ROCm 上 PD DSA fused TopK 失效,提速 2.92×

值得精读。本 PR 展示了平台差异性问题如何以最小改动解决,并提供了完整的验证方法论(包括 paired McNemar 检验、硬件实测与逐 worker 证据)。对于关注 AMD/ROCm 支持与 PD 解聚性能的开发者有参考价值。

#36920 Add configurable HTTP/2 connection window

原始 PR · 作者 ekzhang · 合并时间 2026-08-29 13:18

功能 重要性 6.09 洞察度 5.00

新增可配置 HTTP/2 连接窗口参数

该 PR 值得精读,尤其是对负责部署和调优 SGLang 服务端性能的工程师。核心关注点是参数命名、校验范围和传递链路的设计,以及如何与现有 HTTP/2 配置相结合。

性能优化 重要性 9.34 洞察度 7.00

DCP1→N 传输打包成连续 RDMA 块,TTFT 最高降 39%

值得精读。核心看点:把 descriptor-bound 的传输瓶颈重新建模为带宽问题;`try_pack_dcp_src` 的 stream 同步与 fallback 设计;NIXL 异步读取与 chunk barrier 的配合方式;以及按 DCP rank 固定分区来支持并发异步提交的思路。建议重点阅读 `dcp_pack.py` 与 `nixl/conn.py::transfer_worker` 两处,理解 buffer 生命周期与同步语义后再评估是否移植到 DSPARK。

#35758 qwen 3.8 rebase

原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-08-29 11:41

功能 重要性 9.48 洞察度 7.00

引入 Qwen3.5 模型支持,升级 FlashInfer 0.6.18 集成

值得精读。这是理解 SGLang 如何与 FlashInfer 深度集成的重要样例,尤其是:1) `FlashInferMNNVLCuteDSLARFusion` 工作区的图稳定性设计;2) `gdn_flashinfer.py` 中 32 字节对齐与 Triton 回退的权衡;3) `_finish_mlp_output` 的 deferred-finalize 数据契约;4) `overlap_utils.py` 中一次初始化缺陷的发现与修复过程。

参与讨论