Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 19:08 同步状态:空闲 下次计划:2026-09-01 20:08

PR 列表

更多筛选
2026-08-15
重构 重要性 8.50 洞察度 7.00

注意力后端相关决策改读 prefill/decode 配置对,修复拆分加载下误读

值得精读。核心看点:(1) '构造器回答 effective name' 替代静态改名表的设计——对按宿主选型的别名后端是唯一正确解;(2) `serving_attention_backend` 严格镜像 hybrid dispatcher 的 per-mode 选择逻辑;(3) '可调用测试 + AST 静态守护 + 反向验证' 的组合防回归手段。建议关注 #34917(gpt-oss sinks 后续)与 Inkling split pair 的 `forward_metadata` 后端补齐工作。

重构 重要性 8.22 洞察度 6.00

runner 侧最后 6 处 server_args 直读迁移到配置 bags

值得精读。该 PR 是“把派生配置值从启动记录安全迁到 bags”的范本:单 bag 派生值抽 `*_of(cfg)` helper 并让 `ServerArgs` 委托、跨 bag 派生值采用双定义 + 分层一致性测试、以及用 `attention_backends()` 配对索引替代 `getattr` 运行时名字读取,都是可复用的设计决策。建议结合 #34269 的 bag 契约测试与 #34264 的 attention backend 配对迁移一起阅读,能看到同一模式的演进脉络。

缺陷修复 重要性 8.74 洞察度 7.00

linear-attn 内核选择改为 per-runner 隔离,修复 draft/target 配置污染

值得精读。重点看三个设计决策:per-runner stamp 替代进程级表;fail-closed(去掉静默 triton 回退)的守卫方式;draft/target hook parity 不变量测试如何用『存在性一致』而非『实现一致』来表达『必须回答 loader 的问题』。此外 Codex 的 P1 泄漏机制讨论很有价值,它解释了为什么把自动默认值写进进程级配置叶子是泄漏源——建议结合 `test_the_per_runner_default_stays_out_of_the_process_config` 一起阅读。

性能优化 重要性 8.24 洞察度 6.00

Qwen3.5 验证改用分组共享 KV 内核,高并发吞吐最高 +11%

值得精读。三个层面有借鉴价值:1)把『单 TP-local KV head』抽象为 MLA 与 GQA 的统一契机的设计思路,一个内核以 `PE_DIM == 0` 特例吸收两种布局;2)调度门控集中为纯函数 `_should_use_verify_shared_kv` 并配 mock 单测,配合『失败即回退』的保守策略,正确性永不因新内核受损;3)对 Triton 编译细节(dot 操作数 16 行下限、`next_power_of_2(0)` 为 0)的处理方式。建议后续关注 Kimi-K3 短验证宽度路径的性能回归,并推动 kernel benchmark 脚本入库以固化性能基线。

基础设施 重要性 7.97 洞察度 4.00

静态 ratchet 检查移回 CPU 测试,降低提交延迟

值得快速浏览。主要价值不在于功能变更,而在于:(1) 展示了将重量级 AST/正则扫描从 pre-commit 迁移到 CPU 测试的执行路径切换模式,包括 `register_cpu_ci` 的使用和路径解析的适配;(2) ratchet 检查器本身采用“双向精确 pin”设计(超过或低于基线都会失败),这种防护模式在后续引入新检查器时可以直接借鉴。若你负责 CI 或代码健康度治理,建议精读 `test_global_config_read_ratchet.py` 与 `test_server_args_mutation_ratchet.py`。

#34880 fix: honor explicit model loader classes

原始 PR · 作者 raghotham · 合并时间 2026-08-15 14:00

缺陷修复 重要性 5.21 洞察度 3.00

提前解析显式 loader 类,修复自动量化路由覆盖问题

建议快速浏览而非精读:核心价值在于"显式用户选择优先于自动配置路由"这一优先级设计。改动本身只是移动一个分支,但体现了 loader 选择语义的明确化:DUMMY > 显式 loader 类 > 自动量化路由 > 枚举 load_format 分支。可留意的改进点是补一个路由顺序单元测试(例如自定义 loader 类 + modelopt 量化配置组合),把该语义固化下来,防止未来回归。

基础设施 重要性 4.00 洞察度 3.00

Rust 工作区测试按路径门控,仅相关变更时运行

值得快速阅读,是一个标准且可复用的路径门控模式,适合对其他 CI 工作流参考。尤其值得注意的是将 workflow 自身纳入过滤集,使门控变更也能触发完整验证。没有深度技术权衡,不必精读。

缺陷修复 重要性 6.21 洞察度 5.00

ROCm 上广播 EAGLE verify 决策,修复 TP 死锁

值得精读。该 PR 虽小,但揭示了分布式投机解码中一个隐蔽的跨 rank 一致性陷阱,并展示了如何通过提升同步点作用域来覆盖所有执行路径。对理解 ROCm/CUDA 平台差异导致的死锁原因、以及 TP 集合通信前需要保证状态一致的原则很有价值。建议关注后续是否补充自动化测试。

参与讨论