Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-08-21
基础设施 重要性 5.38 洞察度 5.00

AMD 多模态 CI 削减 4 个 setup 周期,约省 8 runner-小时

建议精读本 PR 以及其基础提交(如 `run_suite.py` 分片分配与平衡逻辑),因为它展示了 CI 编排中基于实测数据做资源重组的完整思路:先量化 setup 成本,再选择“折叠/收敛”而不是简单增加超时,并保持失败隔离与独立超时。值得关注的设计决策是 `if: (success() || failure())` 的失败隔离手法,以及“分片数量可由调度器自由选择”的弹性做法。

文档 重要性 5.70 洞察度 6.00

按 1cf2b8c 重调 5090 DFLASH2 显存 pin 并置灰不可达项

值得精读,重点不在代码而在 PR body 的实测方法论:先确定用户实际被指示安装的构建,再逐个 pin 复测并记录 pool / slot / accept 数据,最后用 S=5 / S=4 槽位分析解释“为什么 fp32 低延迟不可达”。这种“不可达就置灰而不是硬给 pin”的取舍,以及“文档错误背后往往藏着产品 bug(#33352)”的根因意识,是这份文档 PR 最有借鉴价值的部分。对 sglang 维护者,建议单独跟进作者提出的 CUDA-graph 捕获失败诊断改进。

基础设施 重要性 3.64 洞察度 3.00

为 ROCm Dockerfile 的 curl 添加网络重试,提升构建稳定性

该 PR 值得快速浏览,作为部署脚本稳定性改进的参考。虽不涉及核心逻辑,但 `--retry-all-errors` 与固定重试次数的组合值得借鉴,可在其他依赖外部网络下载的 CI 脚本中推广。

性能优化 重要性 6.47 洞察度 5.00

K3 DSpark draft 注意力改走 verify_shared_kv,ROCm 长上下文提速

值得精读,适合关注 AMD ROCm 平台、投机解码与 Triton kernel 优化的工程师。核心学习点有两个:一是用编译期常量(`HAS_KV_HEADS`、`IS_CAUSAL`)把新场景融入通用内核,同时保证既有 Kimi-K3 MLA 路径编译结果零变化;二是用调优表按 head_dim 选择 kernel 配置。建议后续补一个针对 DSpark draft(`h_kv > 1`、非因果)的 kernel 级单元测试,并对更长上下文做回归验证。

MI355X 上 DSV4 fp8 scale 逐层拷贝改零拷贝视图

值得精读。它展示了硬件专用性能优化如何在保持正确性的前提下安全落地:一是 zero-copy stride 重解释的布局契约设计(as_strided 交换 stride 恢复逻辑索引),二是 M>=2 发射 gate 对单 token 退化场景的处理,三是 review 中"测试必须命中真实 producer kernel 而非伪造布局"的验证方法论。对于后续在 gfx95 上扩展更多预量化站点或复用 fp8_utils helper 的工程师,本 PR 是很好的范本。

功能 重要性 8.71 洞察度 6.00

offload 权重保留 checkpoint 映射,H3 可在 32 GB 内存加载

值得精读。重点关注三点:`MappedRegions` 如何用一次 `/proc/self/maps` 快照把“tensor 是否在文件映射”的判定从二次方降到对数复杂度;`host_copies_would_not_fit` 如何统一 DiT 与 encoder 两条路径的容量判定;以及把 MPS 专用零拷贝逻辑推广为通用“拷贝放不下”策略的权衡。若未来要优化大模型低内存部署,本 PR 是很好的范本。

功能 重要性 7.90 洞察度 5.00

统一 radix 树设为默认,弃用 SGLANG_ENABLE_UNIFIED_RADIX_TREE

值得精读,尤其关注 registry.py 中工厂选择链的收敛以及 unified_radix_cache.py 新增的兼容接口。该 PR 展示了如何将实验性能力转正为默认路径,并保持特例旁路,适合作为 SGLang 缓存架构的入门文档。建议合入后关注纯 full-attention 模型的性能回归数据。

文档 重要性 8.71 洞察度 6.00

标准化 diffusion cookbook 页面,新增响应式命令构建器

值得精读,尤其是文档工程化与数据契约设计。建议关注三个决策:capability 边界与验证覆盖分离(disabled vs soft)、由数据契约驱动的文档生成器(config → CI 校验 → 渲染),以及用「模板 + 校验脚本」代替人工 review 的文档质量保障模式。适合文档平台维护者作为新增记忆,也适合 diffussion 模型作者在编写新 cookbook 页面前阅读 `diffusion-authoring.md`。

参与讨论