upsampler 支持组件权重覆盖
此 PR 简单且聚焦,值得快速浏览,特别是了解 `resolve_component_weights_path` 的解析逻辑。对理解组件加载的可扩展性有一定价值。
SGLang is a high-performance serving framework for large language models and multimodal models.
upsampler 支持组件权重覆盖
此 PR 简单且聚焦,值得快速浏览,特别是了解 `resolve_component_weights_path` 的解析逻辑。对理解组件加载的可扩展性有一定价值。
新增索引式组件权重集解析,重构 transformer 覆盖加载
值得精读。重点看 `weights/source.py` 中 index 权威解析与错误类型区分的设计,以及 `transformer_load_utils.py` 如何从自维护下载逻辑收敛到共享解析器;这套解析器可视为给其他组件加权重覆盖的现成模板。
修复 AITER EAGLE draft extend eager 元数据错误
该 PR 值得精读,因为它修复了特定硬件和模型组合下的关键稳定性问题,并展示了元数据传递的正确模式。值得关注的设计决策是使用 `generate_attn_arg_prefill()` 返回值构建 metadata。
原始 PR · 作者 tianxiaojiang4 · 合并时间 2026-08-29 13:34
修复 ROCm 上 PD DSA fused TopK 失效,提速 2.92×
值得精读。本 PR 展示了平台差异性问题如何以最小改动解决,并提供了完整的验证方法论(包括 paired McNemar 检验、硬件实测与逐 worker 证据)。对于关注 AMD/ROCm 支持与 PD 解聚性能的开发者有参考价值。
DSA topk 广播在无 PyNCCL 时回退到进程组广播
该 PR 值得精读,因为它揭示了一个重要的设计决策:在核心路径上允许回退而不强制前置依赖。对于关注 DSA、TP/DP 并行和 CUDA 图的开发者有参考价值。
新增可配置 HTTP/2 连接窗口参数
该 PR 值得精读,尤其是对负责部署和调优 SGLang 服务端性能的工程师。核心关注点是参数命名、校验范围和传递链路的设计,以及如何与现有 HTTP/2 配置相结合。
DCP1→N 传输打包成连续 RDMA 块,TTFT 最高降 39%
值得精读。核心看点:把 descriptor-bound 的传输瓶颈重新建模为带宽问题;`try_pack_dcp_src` 的 stream 同步与 fallback 设计;NIXL 异步读取与 chunk barrier 的配合方式;以及按 DCP rank 固定分区来支持并发异步提交的思路。建议重点阅读 `dcp_pack.py` 与 `nixl/conn.py::transfer_worker` 两处,理解 buffer 生命周期与同步语义后再评估是否移植到 DSPARK。
原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-08-29 11:41
引入 Qwen3.5 模型支持,升级 FlashInfer 0.6.18 集成
值得精读。这是理解 SGLang 如何与 FlashInfer 深度集成的重要样例,尤其是:1) `FlashInferMNNVLCuteDSLARFusion` 工作区的图稳定性设计;2) `gdn_flashinfer.py` 中 32 字节对齐与 Triton 回退的权衡;3) `_finish_mlp_output` 的 deferred-finalize 数据契约;4) `overlap_utils.py` 中一次初始化缺陷的发现与修复过程。
参与讨论