Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-08-01
缺陷修复 重要性 7.14 洞察度 5.00

LoRA 空闲 DP 前向增加批次状态防护,避免崩溃

值得精读 `lora_active` 门控和 `reset_batch_state()` 的生命周期设计,是一个“批次级元数据显式管理”的典型案例。建议结合 2/2 #32708 一起阅读完整方案,并关注后续是否补充针对 idle forward 的单元测试。

#32719 [CI] Re-enable GB300 CI jobs

原始 PR · 作者 alisonshao · 合并时间 2026-08-01 05:22

基础设施 重要性 4.68 洞察度 4.00

恢复 GB300 CI 任务,nightly、PR 与 DeepGEMM 测试回线

值得快速浏览,作为“runner 恢复后如何回滚禁用 CI 的模板”;对源码阅读没有价值。重点关注两点:restartPolicy 对 runner 可用性的保障方法,以及评论中对 EADDRINUSE 的系统性排查(ephemeral 范围、外部占用排除)。不建议精读。

#33096 rust server build release artifacts

原始 PR · 作者 rainj-me · 合并时间 2026-08-01 03:36

基础设施 重要性 3.08 洞察度 3.00

为 rust server 强制 release 构建,即使可编辑安装

变更很小且无争议,值得快速浏览;若要深入,可以阅读 `python/setup.py` 与 `python/pyproject.toml` 中如何消费 `package.metadata.sglang`,理解该配置的作用链路。建议后续关注 CI 中可编辑安装的构建时长是否有明显上升。

文档 重要性 7.11 洞察度 4.00

新增 DeepSeek-V4 Flash Official (0731) 部署指南与 DSpark 交互支持

值得精读,重点看两点:一是 DeepSeek-V4-Flash-0731 的 DSpark 部署配方与 `--mem-fraction-static` 选择依据,二是 `_playground.jsx` 中如何把“配置声明的禁用条件”与“引擎层的算法状态注入”结合,实现跨模型的 Playground 约束。建议后续为 Playground 引擎补充单元测试,并对 `verified: false` 的矩阵单元在页面上做显式标注。

缺陷修复 重要性 6.70 洞察度 5.00

修复 GPT-OSS EAGLE3 隐藏状态捕获与归一化错误

值得精读。这是一个典型的"为新模型修正既有约定"的 bugfix:代码量小(36 行),但修复路径完整呈现了从崩溃定位、语义分析、兼容性权衡到多模型基准验证的全过程。特别值得关注两个设计决策:一是把捕获语义显式定义为 boundary 0 / boundary i+1 并重构循环,使最终边界与中间边界统一;二是在无法从配置判断约定时,选择 `max(layer_ids) == num_layers` 这一最小侵入的向后兼容规则,而非更宽泛的启发式。建议后续为 EAGLE3 层 ID 语义补充自动化测试,避免类似偏移问题再次回归。

#29799 support rust sglang server

原始 PR · 作者 rainj-me · 合并时间 2026-08-01 02:56

功能 重要性 9.36 洞察度 7.00

引入嵌入式 Rust 服务器替换 Python 前端,提升吞吐与扩展性

值得精读。该 PR 是 SGLang 前端架构演进的关键一步,展示了如何通过嵌入式异构语言线程池降低 GIL 瓶颈,以及列式 wire protocol 的设计权衡。建议重点关注:`rust_server.py` 的列式 egress 实现、`flatten.py` 的缓冲区契约、`tokenizer.rs` 的 stop 语义修正。同时注意 review 中 P0/P1 问题的修复方式(如背压策略)与后续 PR 的衔接。

性能优化 重要性 9.36 洞察度 8.00

Inkling 短卷积迁移到注意力后端,消除每步 4 倍元数据冗余

值得精读。重点看 3 个设计决策:① in-graph / out-graph hook 拆分背后的 decode 延迟悬崖(约 7%);② 图静态缓冲"一次性分配、grow-only、切片 + assert"的地址稳定契约;③ 用 AST 全树扫描守护跨硬件 hook 签名的测试思路。若你维护 mamba 系模型(Kimi-Linear、GDN、ZAYA1 等),本 PR 的 sidecar 迁移模式可直接复用;若维护 NPU 或其他硬件后端,注意 `update_mamba_state_after_mtp_verify` 的 `req_pool_indices` 已是契约参数。

缺陷修复 重要性 8.44 洞察度 7.00

支持 fa3 后端,修复统一内存默认配置启动失败

值得精读,尤其关注三个设计决策:1) 把 dense 翻译折进 `normal_decode_set_metadata` 融合 gather,capture 稳定的 page_table 写入即已翻译,避免调用方遗漏与跨 replay 指针稳定性问题;2) eager 路径选在 `init_forward_metadata` 尾部 `// page_size` 归约之前做单点漏斗,利用 `dense(page_start) // ps == phys_page * L` 恒等式让一个位置服务两种 page size;3) hooks 模块独立抽取避免后端间反向依赖,以及刻意解除 nightly 测试后端固定的理念。需要跟进的是 full-prefill graph 组合尚未覆盖的缺口。

参与讨论