Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-08-19

#34923 Apply latest DeepEP branch

原始 PR · 作者 Fridge003 · 合并时间 2026-08-19 07:24

基础设施 重要性 6.21 洞察度 5.00

升级 DeepEP 至 0.1.1,动态抬高 NVSHMEM QP 深度并强制安装 NCCL 2.30.7

值得精读。这是一个小而完整的“依赖升级 → 运行时适配 → 部署配套”闭环样例,值得关注的设计点是 `_set_nvshmem_qp_depth` 的 `max()` 保护语义:既满足新版本下限要求,又尊重用户显式配置,避免“魔法值覆盖用户配置”的常见错误。团队应跟踪两件事:上游 DeepEP PR#10(恢复 SBO 测试);考虑为 QP 深度逻辑补一个低成本单测(如 mock `os.environ` 验证 `max()` 计算),为移除的单测做回归补偿。

性能优化 重要性 9.00 洞察度 6.00

借 CUDA 图池空闲块承载 EAGLE 采样内存,默认关闭

值得精读:`pool.py` 的借用、退役与互斥 scope 设计,以及 `BumpArenaStub` 的多 extent 改造是全文最有参考价值的部分;任何需要把步内临时张量塞进既有预留内存的场景都可借鉴该模式。对只关注 EAGLE 的用户,建议先跑 `test_graph_pool_borrow.py` 与 `test_spec_eagle*.py` 再决定是否开启。合入前请留意两个遗留问题:PR 级 CI 槽位失败原因未澄清、借用内存缺少逃逸检测的运行时断言。

缺陷修复 重要性 5.16 洞察度 4.00

PD 解码预分配两路径统一页对齐断言并修复 hisparse 测试

值得快速阅读,并与 #35286 一起看以理解页对齐断言的演进脉络。重点学习测试 fixture 的修复手法:不要 mock 计算函数,而应注入真实输入让真实逻辑运行,使单测与生产行为保持一致。

#35392 [CI] Skip fast-fail for scheduled stages

原始 PR · 作者 Fridge003 · 合并时间 2026-08-19 06:07

基础设施 重要性 2.95 洞察度 3.00

夜间测试加 scheduled 跳过快速失败,改为收集全部失败

值得 CI 维护者精读:这是一个用显式布尔输入替代 `github.event_name` 判定的典型范例,说明可复用工作流必须把“调用意图”作为显式契约传递,不能依赖事件类型猜测。变更单行、语义清晰、向后兼容,建议按当前方案合入;后续若出现更多跳过快速失败的场景,可考虑把条件集中封装到某个共享的 `check-health` 表达式或复合 action 中,避免条件继续膨胀。

重构 重要性 6.51 洞察度 4.00

抽取 EAGLE 与 DFLASH 共用的页对齐 decode 分配水位计算

值得快速精读,特别是 `page_aligned_decode_alloc_lens` 的封装方式:它把"页对齐 + max(cur, ...) 钳制 + 记账"三个关注点打包成宿主侧纯计算函数,是理解 SGLang 分配器从设备回读走向宿主记账的关键一环。对正在跟进 #35223 的读者,这篇 PR 提供了一个清晰的去重范本;对一般读者,可结合 #35265 对比"先页对齐、再共享"的演进时序。

#35362 Laguna: config-driven MoE router scoring

原始 PR · 作者 joerowell · 合并时间 2026-08-19 04:42

功能 重要性 5.09 洞察度 3.00

Laguna MoE 路由评分配置化,默认值不变

值得快速浏览而非精读。亮点在于以最小侵入方式将 `TopK` 已有能力通过 config 暴露,注释清晰标注了取值与分支位置,是低成本扩展点的良好示范。建议关注两点:一是后续 Laguna 变体 PR 是否会补齐 `moe_router_score_func` 的取值校验与单元测试;二是可对照 `topk.py` 中 `"sigmoid"` / `"sqrtsoftplus"` 分支实现,评估非法取值时的兜底行为。

缺陷修复 重要性 6.57 洞察度 5.00

DFLASH 解码 KV 预留按页对齐,修复尾部悬空记账

值得快速精读:虽然核心变更仅约 50 行,但它展示了"分页分配器账目一致性"这一容易被忽略的系统不变量,以及与 EAGLE 路径对齐的设计决策。重点阅读 `prepare_for_decode` 中的对齐公式和 `_compute_compact_draft_seq_lens_host` 的注释——后者解释了为什么 host 侧上界故意不做精确页面对齐(避免锯齿映射下冲),是同类"host 侧无同步预估"场景可复用的设计范式。

缺陷修复 重要性 5.07 洞察度 4.00

PD 解码预分配新增 SWA 驱逐页对齐断言

值得快速阅读。本 PR 的代码量只有 4 行,价值在于把跨模块的页对齐不变量显式锚定在数据写入点——分配成功之后、写入 `req.kv.swa_evicted_seqlen` 之前校验。值得关注的设计决策是断言位置的选择:不放在 `_swa_tail_len`(约束来源处),也不放在 `free_swa_segment`(消费处),而是放在唯一写入口,使所有未来调用方都经过同一个校验关卡。对追踪 #35223 的读者来说,这是理解 I2(SWA liveness boundary invariant)的最小样例。

参与讨论