Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-08-05
缺陷修复 重要性 5.39 洞察度 3.00

防 race condition:flush_cache 增加 timeout 等待服务空闲

简单且聚焦的 bugfix,适合快速阅读。它展示了如何处理客户端与服务端之间的时序竞态,以及如何通过参数让服务端主动等待空闲。对 benchmark 使用者和 CI 维护者有价值。

功能 重要性 5.51 洞察度 3.00

XPU 接入 flash_mla_sparse_fwd 支撑 DSV4 稀疏 prefill

值得快速阅读。虽然改动只有 5 行,但 review 中关于 return_softmax_lse 语义对齐的讨论很有参考价值:平台差异应尽量在 kernel 侧收敛而不是在调用方补分支。同时可作为 XPU 平台接入 sgl-kernel 算子的最小样例,与历史 PR #28040 的 fused_k_norm_rope_flashmla 接入形成连续脉络。

重构 重要性 8.62 洞察度 4.00

多模态调度逻辑从 mm_utils 拆分为独立模块,纯重构

值得快速浏览而非精读:关注 mm_schedule.py 的模块边界划分、mm_utils.py 的兼容 re-export 手法,以及测试中猴补丁隔离 CUDA-IPC ack 的做法。建议后续跟踪 mm_schedule.py 上陆续出现的调度优化 PR,并留意仓库是否会在后续清理 mm_utils 的 re-export。

性能优化 重要性 8.36 洞察度 6.00

Ulysses QKV all-to-all 打包为一次集合通信并复用暂存缓冲区

值得精读,特别是 `_a2a_staging_buffer` 的绕过条件设计和 `_usp_input_all_to_all_qkv` 的 fallback 策略。它展示了如何在保证位精确的前提下削减集合通信次数与分配开销,并用单卡模拟多 rank 的测试手法验证位一致性。对关注 diffusion 推理性能、Ulysses 并行或集合通信优化的工程师是很好的参考案例。

性能优化 重要性 7.04 洞察度 5.00

NPU 扩散模型接入 fast layernorm 并修复 BSA

建议 NPU 平台维护者精读 layernorm.py 的改造:CustomOp 注册、__init__ 内动态探测依赖、forward_* 设备拆分是清晰的适配范式,值得作为后续 NPU kernel 接入的模板。同时注意 BSA 算子切换需与 sgl-kernel-npu 版本对齐,并建议补充一个 forward_npu 与 forward_native 的一致性单测及 fallback 路径测试。

#33378 [Feature] Add GLM Image usage report

原始 PR · 作者 ChefWu551 · 合并时间 2026-08-05 18:59

功能 重要性 8.38 洞察度 5.00

GLM-Image 响应新增 token usage 报告

该 PR 值得精读,尤其适合关注以下设计决策:usage 在 AR/DiT 分离部署下的提取、聚合与按输出拆分机制;内部字段(cached_tokens)与公开字段(prompt_tokens_details)的边界处理;`--enable-cache-report` 与 LLM 侧同名参数的语义对齐方式。阅读时建议重点核对 `glm_image.py` 的返回类型变化和 `gpu_worker.py` 的合并语义,并留意合入前文档要求未落实、GPU CI 未验证两个遗留问题。

基础设施 重要性 4.70 洞察度 2.00

移除 AMD ROCm nightly K3 MI35X 镜像发布 job

此 PR 是纯删除式 CI 清理,逻辑直白,不值得精读;但可作为了解 AMD nightly 发布策略演进的参考。值得关注的点是:发布流程裁剪时应确认是否仍有外部用户依赖 nightly 镜像。

缺陷修复 重要性 5.16 洞察度 3.00

修复未分片 HF 权重未被识别导致的 Mistral 加载崩溃

值得精读。改动虽小(1 文件 9 行),但位于权重加载格式自动检测的核心决策点,修复了 Mistral 双子模型开箱即崩的问题。值得关注的设计点:一是 AUTO 加载路径与 filter_duplicate_safetensors_files 去重配合,实现检测翻转后自动选择正确权重文件;二是 HF-API 分支用根目录限定避免子目录误判,保持与本地 glob 语义一致。若团队后续维护 Mistral 系新模型,建议为该检测逻辑补充单元测试,避免回归。

参与讨论