Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 20:51 同步状态:空闲 下次计划:2026-09-02 21:51

PR 列表

更多筛选
2026-08-03

#33128 Support DeepGEMM for standard MoE dispatch

原始 PR · 作者 YAMY1234 · 合并时间 2026-08-03 12:48

功能 重要性 8.49 洞察度 7.00

补齐 DeepGEMM 标准 MoE 调度,新增紧凑布局与 UE8M0 重量化

值得重点关注的设计点:masked/compact 布局启发式与 CUDA Graph 静态 buffer 的权衡、padding 行用 expert index -1 跳过无效数据的技巧、以及 UE8M0 直接量化激活以避免 2x 误差的精度处理。建议性能团队以本 PR 为基线,针对 compact 布局的 block_e 对齐与 masked/compact 交叉点做专项调优;合并者已批准,注意跟进 EP 路径 kernel 参数变更对其他调用点的影响。

缺陷修复 重要性 5.54 洞察度 4.00

空字符串语法约束归一化为 None,修复 UnboundLocalError 崩溃

值得快速阅读。PR 很小但展示了两个值得借鉴的点:一是把“空值归一化”放在数据类构造入口,而不是散落到下游判断;二是选择链的分支条件必须与入口条件严格一致,避免 falsy 值与 is not None 之间的缝隙。可作为 API 参数边界处理的范例。

#33282 docs(diffusion): update skills for MiniMax-H3

原始 PR · 作者 BBuf · 合并时间 2026-08-03 12:44

文档 重要性 5.55 洞察度 4.00

更新 diffusion skills,新增 MiniMax-H3 T2VA 基准 preset

值得精读的文件为 `bench_diffusion_denoise.py` 的 `force_eager` 与 `artifact_dir` 设计,以及 `existing-fast-paths.md` 对 H3 数值契约的约束记录;其余为文档知识固化,可 skim。建议后续为该 preset 增加轻量单测或 CI 断言,避免文档与实际命令漂移。

性能优化 重要性 7.67 洞察度 6.00

ReplaySSM 环写融合进 GDN MTP verify 内核

值得精读,重点学习三处设计:一是条件分支的启用策略(backend x dtype x draft 长度三重条件),它限定了新 kernel 只作用于已验证的部署形态;二是 mixed-numerics 验证锚点设计——当两个 kernel 无法 bitwise 对齐时,改为让 Triton fold 消费新 kernel 写的 ring 并与其自身 committed state 对比,既验证了 ring 通道忠实性又避免了跨实现数值争议;三是 ring 作为纯旁路通道的契约(cache_ring 不影响输出,bitwise 断言保障)。阅读时可对照 test_gdn_cutedsl_ring_verify.py 的三条锚点与 gdn_backend.py 的分支逻辑,理解 spec decode 折叠机制对 kernel 侧通道的要求。

重构 重要性 8.71 洞察度 6.00

清除最后进程级配置读取,迁移至命名空间访问器

值得精读。核心看点是两层:一是 AST 静态扫描作为架构护栏的做法——把"进程级配置读取只准减少"编译进 CI,用双向断言(多了报违例、少了逼降基线)驱动渐进迁移;二是"什么该留守全局"的判别框架(派生 API、config-intent 读取、无进程组上下文),对理解 `ServerArgs` 与命名空间访问器的边界很有帮助。另需关注作者自述的验证缺口:model / attention 路径的翻转读取依赖 GPU CI,合入后应留意 speculative 与 model 套件结果。

重构 重要性 6.19 洞察度 5.00

FPM 端点写入迁移至配置 bags,消除 ServerArgs 消息总线

值得快速阅读,特别关注 `_init_fpm()` 中把 `ServerArgs` 从消息总线降级为纯配置持有者的写法,以及测试如何用真实 `override_server_args` 发布配置来覆盖生产路径。这是理解 sglang 配置治理(bags、runtime_context、writer ratchet)演进的好范例,但本身改动很小,不需要精读。

重构 重要性 8.65 洞察度 6.00

配置更新迁出 ServerArgs,按作用域分置存储

值得精读。两个亮点:一是「进程级 bags vs per-engine manager」双轨配置归属的设计,直接决定多引擎共享 tokenizer 进程场景下的正确性;二是源码级守卫测试(`TestControlPlaneFieldsAreNotReadFromTheInstance`)用枚举模块 + 正则扫描把「静默过期读回」这类无报错回归钉死,该模式可复制到其他配置迁移场景。建议连同 #33337(FPM 端点入 bags)与 #33338(清除最后进程级配置读取)一起阅读,纵览 5 步系列全貌。

重构 重要性 8.37 洞察度 6.00

draft worker 全部改用独立 ServerArgs 副本,杜绝配置污染

建议精读。该 PR 是投机解码配置隔离的架构性修复,展示了三种可复用的设计手法:从已解析配置 + overrides log 重放来构造子工作负载的配置副本;用 preserve_config 窗口控制配置发布的起止边界;基于数据流时序论证删除无效写入。理解 `draft_server_args_copy` 与 `maybe_init_draft_worker` 的配合,对后续 config 迁移工作有直接参考价值。合并前应确认 CI 的 speculative 套件通过。

参与讨论