Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-08-05
性能优化 重要性 7.04 洞察度 5.00

NPU 扩散模型接入 fast layernorm 并修复 BSA

建议 NPU 平台维护者精读 layernorm.py 的改造:CustomOp 注册、__init__ 内动态探测依赖、forward_* 设备拆分是清晰的适配范式,值得作为后续 NPU kernel 接入的模板。同时注意 BSA 算子切换需与 sgl-kernel-npu 版本对齐,并建议补充一个 forward_npu 与 forward_native 的一致性单测及 fallback 路径测试。

#33378 [Feature] Add GLM Image usage report

原始 PR · 作者 ChefWu551 · 合并时间 2026-08-05 18:59

功能 重要性 8.38 洞察度 5.00

GLM-Image 响应新增 token usage 报告

该 PR 值得精读,尤其适合关注以下设计决策:usage 在 AR/DiT 分离部署下的提取、聚合与按输出拆分机制;内部字段(cached_tokens)与公开字段(prompt_tokens_details)的边界处理;`--enable-cache-report` 与 LLM 侧同名参数的语义对齐方式。阅读时建议重点核对 `glm_image.py` 的返回类型变化和 `gpu_worker.py` 的合并语义,并留意合入前文档要求未落实、GPU CI 未验证两个遗留问题。

基础设施 重要性 4.70 洞察度 2.00

移除 AMD ROCm nightly K3 MI35X 镜像发布 job

此 PR 是纯删除式 CI 清理,逻辑直白,不值得精读;但可作为了解 AMD nightly 发布策略演进的参考。值得关注的点是:发布流程裁剪时应确认是否仍有外部用户依赖 nightly 镜像。

缺陷修复 重要性 5.16 洞察度 3.00

修复未分片 HF 权重未被识别导致的 Mistral 加载崩溃

值得精读。改动虽小(1 文件 9 行),但位于权重加载格式自动检测的核心决策点,修复了 Mistral 双子模型开箱即崩的问题。值得关注的设计点:一是 AUTO 加载路径与 filter_duplicate_safetensors_files 去重配合,实现检测翻转后自动选择正确权重文件;二是 HF-API 分支用根目录限定避免子目录误判,保持与本地 glob 语义一致。若团队后续维护 Mistral 系新模型,建议为该检测逻辑补充单元测试,避免回归。

基础设施 重要性 5.14 洞察度 6.00

CI 按版本门控跳过 sglang-kernel 与 sgl-deep-gemm 重装

值得精读,特别是 installed_wheel_ok 把版本、来源、文件完整性三重校验打包为单个 shell 函数的做法,对 CI 中“跳过重装但保持可信”这类问题有通用参考价值。关注点:版本串拼接依赖 PEP 440 local version 约定,RECORD 校验只能覆盖文件缺失,内容损坏仍需依赖重建缓存策略。

缺陷修复 重要性 6.67 洞察度 5.00

修复 min-free-slots 显式阈值被封顶,非 DFlash 可调

值得精读:它演示了一个小型调度器准入参数如何在“用户显式配置 vs 自动启发式”之间做优先级设计,并伴随 PP 约束收紧。重点看 `resolve_min_free_slots` 的新分支顺序和 `server_args` 的启动校验,以及测试如何覆盖边界(8 以下集群、max_running 上限、1 禁用)。

基础设施 重要性 6.55 洞察度 5.00

CPU 单测迁至 CPU 池并压缩 5090 队列

值得 CI 维护者和测试贡献者精读。重点关注三处:一是注册级 disabled= 取代 pytestmark.skip 的分片治理思路;二是 run_bench_serving_multi 让多个 benchmark 共享 server 的聚合测试模式;三是“CUDA 屏蔽后跑通 + 保留一个设备路径注册(如 AMD)”的 CPU-only 判定模板。该 PR 不涉及产品逻辑,对业务研发可略读。

#33675 Stop testing cu129 DeepGEMM wheels

原始 PR · 作者 mmangkad · 合并时间 2026-08-05 16:38

基础设施 重要性 4.37 洞察度 2.00

移除 cu129 DeepGEMM 回归测试,统一 cu130 覆盖

该 PR 适合关心 CI 成本与发布质量权衡的读者快速阅读,不值得深入精读。值得关注的设计决策是“用单一 cu130 矩阵统一回归覆盖”的假设是否成立,建议后续观察 cu129 wheel 是否有回归漏报。

参与讨论