Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-08-19
性能优化 重要性 9.18 洞察度 8.00

打包视觉塔 + 并发预处理 + CUDA 图,OCR 吞吐近 2 倍

值得精读。设计层面有四个可复用点:宿主端边界避免 device-to-host 同步、LFU 位置编码缓存、kernel==stride 时 conv 到 matmul 的算子降级、多模态架构在 CUDA graph allowlist 上的回归。流程层面,作者对 worker 数和 vLLM 对比数字的两次自我纠偏,以及把“逐位精确”与“GEMM 容差”分开断言的测试哲学,是高质量性能工程的范本。建议后续在引入低精度或新后端时重点回归数值一致性。

文档 重要性 4.72 洞察度 3.00

修正 initialize_model_parallel 并行组布局 docstring

不值得精读,但可作为 API 文档纠错的快速参考。值得关注的设计决策是:作者通过补充 `attn_tp_size = tp_size // attn_cp_size // attn_dp_size` 推导公式,让文档结论可以被计算验证,而不仅仅是改一行描述;这种用公式支撑示例的写法可以推广到其他并行布局说明中。

功能 重要性 9.36 洞察度 8.00

DFlash2 新增局部卷积与候选选择器,draft 接受率吞吐大幅提升

值得精读。三个设计决策尤其值得学习:(1) 无损失 verify 的结构性保证——把 q 定义为'实际抽取到的分布',贪心即点质量;(2) 一个 CUDA graph 同时服务贪心与采样,通过 host 侧 `stage_sampling_params` 静态刷新温度与 `greedy_mask`;(3) Triton walk 以单 program + 寄存器驻留解 slot 依赖,把成本与 batch 解耦。建议后续关注:为新 Triton kernel 与 flashinfer 降级路径补充更深的集成测试,并对大 `top_k` 的寄存器压力做 profiling。

基础设施 重要性 4.45 洞察度 4.00

Docker 改用 venv 安装 sglang,规避系统包冲突

值得精读的唯一一个文件(`docker/Dockerfile`)展示了镜像构建中的一项通用最佳实践:用 venv 隔离运行时 Python,替代 Ubuntu 24.04 的 PEP 668 `--break-system-packages` hack。核心启发是跨多 stage 的路径迁移必须全局一致性核对,建议后续为镜像布局增加构建期断言(如构建后检查关键路径存在)。实现本身逻辑直白,maintainer 可快速合入。

#34923 Apply latest DeepEP branch

原始 PR · 作者 Fridge003 · 合并时间 2026-08-19 07:24

基础设施 重要性 6.21 洞察度 5.00

升级 DeepEP 至 0.1.1,动态抬高 NVSHMEM QP 深度并强制安装 NCCL 2.30.7

值得精读。这是一个小而完整的“依赖升级 → 运行时适配 → 部署配套”闭环样例,值得关注的设计点是 `_set_nvshmem_qp_depth` 的 `max()` 保护语义:既满足新版本下限要求,又尊重用户显式配置,避免“魔法值覆盖用户配置”的常见错误。团队应跟踪两件事:上游 DeepEP PR#10(恢复 SBO 测试);考虑为 QP 深度逻辑补一个低成本单测(如 mock `os.environ` 验证 `max()` 计算),为移除的单测做回归补偿。

性能优化 重要性 9.00 洞察度 6.00

借 CUDA 图池空闲块承载 EAGLE 采样内存,默认关闭

值得精读:`pool.py` 的借用、退役与互斥 scope 设计,以及 `BumpArenaStub` 的多 extent 改造是全文最有参考价值的部分;任何需要把步内临时张量塞进既有预留内存的场景都可借鉴该模式。对只关注 EAGLE 的用户,建议先跑 `test_graph_pool_borrow.py` 与 `test_spec_eagle*.py` 再决定是否开启。合入前请留意两个遗留问题:PR 级 CI 槽位失败原因未澄清、借用内存缺少逃逸检测的运行时断言。

缺陷修复 重要性 5.16 洞察度 4.00

PD 解码预分配两路径统一页对齐断言并修复 hisparse 测试

值得快速阅读,并与 #35286 一起看以理解页对齐断言的演进脉络。重点学习测试 fixture 的修复手法:不要 mock 计算函数,而应注入真实输入让真实逻辑运行,使单测与生产行为保持一致。

#35392 [CI] Skip fast-fail for scheduled stages

原始 PR · 作者 Fridge003 · 合并时间 2026-08-19 06:07

基础设施 重要性 2.95 洞察度 3.00

夜间测试加 scheduled 跳过快速失败,改为收集全部失败

值得 CI 维护者精读:这是一个用显式布尔输入替代 `github.event_name` 判定的典型范例,说明可复用工作流必须把“调用意图”作为显式契约传递,不能依赖事件类型猜测。变更单行、语义清晰、向后兼容,建议按当前方案合入;后续若出现更多跳过快速失败的场景,可考虑把条件集中封装到某个共享的 `check-health` 表达式或复合 action 中,避免条件继续膨胀。

参与讨论