Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-08-01
文档 重要性 5.70 洞察度 4.00

发布 H200/B200 验证结果,修正部署参数

值得快速浏览而非精读:重点看 deepseek-v4.jsx 中 mem-fraction-static 0.88/0.90 的取舍逻辑与 B200 从 TP4/DP4 切到 TP8/DP8 的实测依据,以及 benchmarks.jsx 与配方 cell 的 match 元组关联方式——这是 SGLang cookbook 中"数据驱动配方"的代表性做法,后续模型文档维护可复用。无需关注运行时实现细节。

缺陷修复 重要性 6.27 洞察度 5.00

AITER verify 长度改由输入形状推导,修复非 MLA 验证路径

建议 AMD 平台 spec decoding 相关同学精读。值得关注的设计决策:以 `use_mla` 为分界保留固定 draft length 的例外处理,兼顾 AITER 内核约束与动态验证场景;以及 `max_q_len` 从固定值改为动态值后对 `forward_extend` 中 `seqused_k` 的连带修改。另可关注后续是否补齐非 MLA 动态 verify 的 PR CI 覆盖。

#31952 Add pr tests

原始 PR · 作者 Sugar920 · 合并时间 2026-08-01 15:03

测试 重要性 7.23 洞察度 4.00

NPU 测试目录改名并新增 13 个 PR CI 用例

建议 NPU 平台与 CI 团队成员精读:本 PR 是理解 SGLang NPU 测试体系(register_npu_ci 注册机制、性能/精度用例拆分规范、PR 与 nightly 参数差异化)的最佳入口。普通功能开发只需关注 pr-test-npu.yml 矩阵变化,避免在 test/registered/ascend 遗留引用。值得借鉴的设计:用 GITHUB_EVENT_NAME 区分 CI 场景参数、用 max_attempts 缓解共享集群性能抖动。

#32649 add NPU GSM8K accuracy tests for 7 models

原始 PR · 作者 Sugar920 · 合并时间 2026-08-01 14:22

测试 重要性 6.91 洞察度 4.00

NPU 平台新增 6 模型 GSM8K 精度回归测试与 CI 注册

值得关注的是 NPU CI 注册机制(register_npu_ci 与 workflow matrix 的双向注册)和精度测试基类 TestNpuAccuracyTestCaseBase 的模板化用法;对于需要在 NPU 上新增模型测试的工程师,本 PR 提供了可直接复用的范式。代码本身逻辑简单,无需精读推理路径。

缺陷修复 重要性 5.76 洞察度 4.00

修复 flat logprob 测试在 runtime context 迁移后的失败

值得快速浏览,重点看两处:一是 `TestSchedulerFlatAssembly` 的 setUp/tearDown 如何使用 `override_server_args()` 的 scoped install/restore 模式对齐 namespace accessor 迁移,这是配置迁移后测试写法的样板;二是 `SchedulerLogprobResultProcessor` 死字段清理与调度器构造点的同步修改,展示了跨 PR 栈合并顺序冲突的收尾手法。无需精读,改动体量小且无核心逻辑变化。

#32890 feat(kernels): port standalone Kimi K3 kernels

原始 PR · 作者 BBuf · 合并时间 2026-08-01 13:26

功能 重要性 7.75 洞察度 7.00

移植 Kimi K3 独立内核与四组硬件测试,为 Blackwell 集成铺路

值得精读,尤其适合内核与 JIT 基础设施维护者。建议重点看:(1) PR body 的移植边界切割与 #32624 的 kernel/runtime 分离策略;(2) `chunk_fwd.py` 的缓存设计(用 data_ptr/shape/stride 做 key 规避 id 复用陷阱、消除 GPU->CPU sync 的 50-200 us stall);(3) review 中 AOT vs JIT、PTX helper 组织、拷贝策略 benchmark 的讨论;(4) “恢复损失性导出”的逐文件审计方法,对任何跨分支移植都有借鉴价值。一般服务端工程师只需阅读执行摘要与风险章节。

基础设施 重要性 4.88 洞察度 3.00

DeepGEMM 0.1.5.post1 取代 Kimi K3 本地 SiTU 补丁

值得快速浏览,核心价值在于『上游正式支持后移除本地 hack』的维护模式:140 行补丁被两行 pip 安装替换。建议 K3 镜像维护者在合入后做一次 cu12/cu13 的端到端验证(至少启动与一轮生成),并用数值/输出对比确认官方 SiTU 与原补丁行为一致;另可确认 GitHub Releases 资产 URL 的长期可用性。

缺陷修复 重要性 5.81 洞察度 6.00

恢复序列化 MXFP4 MoE 权重 aiter 对齐维度

值得精读:PR body 的 bisect 过程和根因分析是排查此类静默精度回归的范例。建议合并后立即跟进补充形状一致性断言或序列化 + aiter padding 路径的单测,并关注 fxmarty-amd 提到的 #21097 与 #28291 冲突解决教训。

参与讨论