Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 20:51 同步状态:空闲 下次计划:2026-09-02 21:51

PR 列表

更多筛选
2026-08-04
缺陷修复 重要性 5.98 洞察度 4.00

修复 PD 解码回退期间健康探测误报 503

建议优先阅读 `python/sglang/srt/managers/scheduler.py` 中 `is_fully_idle` 与 `on_idle` 的改动。这是 PD 健康检查核心路径上一个精准的小修复,展示了健康探测与调度队列语义的耦合方式:探测不能只依赖 running_batch,还要把自愈中的回退队列算作活跃。值得关注的设计点是 `_engine_paused` 豁免和 `on_idle` 信号补发时序。若团队后续完善 PD 健康检查,应补充针对 retracted_queue 卡住、暂停并发等场景的单元测试。

功能 重要性 5.63 洞察度 4.00

PD 负载快照新增 prealloc_ready 计数指标

值得快速浏览,重点学习其“把两层等待语义拆开暴露为独立指标”的可观测性设计思路。这是低侵入、纯增量扩展指标的良好范例,适合作为后续在 `/v1/loads` 上增加精细指标的模板。如果团队依赖 PD 扩缩容决策,建议跟进补充计数逻辑的单元测试,并确认 `waiting_for_input` 语义在队列状态机中的准确性。

2026-08-03

#33281 [CI] Add MiniMax-H3 2-GPU consistency coverage

原始 PR · 作者 mickqian · 合并时间 2026-08-03 22:40

测试 重要性 5.51 洞察度 4.00

MiniMax-H3 新增 2 卡 H100 一致性 CI 用例

建议 CI 与 diffusion 模块负责人精读:本 PR 展示了模型一致性测试在硬件拓扑变化下的迁移与闭环完整样板,包括 memory 模式 layerwise offload 的 2 卡配置、缺失 GT 自动产物化与发布路径、按 case 过滤的分区调度。一般开发者可跳过。

缺陷修复 重要性 7.40 洞察度 5.00

修复 HiSparse PD 传输双页索引错位

值得精读。核心看点在 `conn.py` 的双套 transfer 计划设计:通过 `dst_device_data_ptrs` 集合做目标指针到索引空间的映射,避免在热路径上为每个缓冲区分叉;同时 `send_kvcache` 中基于压缩比推导 C4 层数的方式很轻量但依赖配置准确性。部署 PD + DeepSeek-V4 + HiSparse 的团队应尽快合入此修复,并关注后续 DCP 兼容 PR。

#33371 Fix BCG circular import during server startup

原始 PR · 作者 mmangkad · 合并时间 2026-08-03 16:53

缺陷修复 重要性 5.25 洞察度 3.00

修复 BCG 循环导入导致的服务器启动崩溃

值得快速精读,理解 ``bcg.py` 与 `runner` 包之间的导入拓扑。核心设计决策是「把运行时依赖延迟到调用点」,这是打破 Python 循环导入的经典做法。建议阅读时结合 #33136 的 BCG 整体设计,并留意后续是否补充循环导入的回归测试。

#32403 [Mooncake] Fix ProcessGroup API imports

原始 PR · 作者 UNIDY2002 · 合并时间 2026-08-03 16:16

重构 重要性 6.08 洞察度 3.00

Mooncake PG 导入路径迁移,统一从 mooncake.pg 引用

值得快速浏览,不建议精读。该 PR 是典型的第三方依赖接口规范跟进:API 未变、仅换导入路径,核心学习点是 `_wait_for_peer_state` 借机简化签名、去掉多余的模块参数传递。若团队正在使用 Mooncake 后端,建议关注 CI 中 mooncake 相关测试是否真实跑过 Elastic EP 路径,并确认依赖版本约束;若未使用 Mooncake,可忽略。

性能优化 重要性 6.38 洞察度 7.00

Qwen3.5 在 gfx950 新增 opt-in fp8 hd256 prefill 快速路径

建议精读。这是"在共享注意力后端安全接入硬件专属 kernel 快速路径"的典型范例:严格的正确性门控、opt-in 环境变量、默认路径字节级不变、以及用大规模 A/B 数据支撑内核选择决策。值得关注的设计点:1) 所有正确性风险条件(sinks/softcap/滑动窗口/缓存前缀)都显式出现在门控里而非依赖调用方约定;2) 回退内核的取舍基于同容器同版本实测而非直觉;3) 未附带测试导致的 CI 盲区,应作为反面教材与 #33399 一起跟踪。

缺陷修复 重要性 7.05 洞察度 5.00

深合并嵌套配置覆盖,请求体改用 orjson 解析

值得快速精读:`http_server.py` 中通过 `APIRoute` 子类和 `route_class` 全局替换请求解析类的模式可以复用到其他 FastAPI 服务;`config.py` 的合并逻辑提示了 `PretrainedConfig.update()` 与 `setattr` 的语义差异。建议后续补充针对 orjson 严格行为和深层配置合并的单测。如果需要在推理服务中进一步压缩 JSON 解析开销,这个 PR 提供了清晰的样板。

参与讨论