Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-08-31

#37225 [AMD] build gfx1250 release image from main

原始 PR · 作者 yctseng0211 · 合并时间 2026-08-31 17:04

基础设施 重要性 4.25 洞察度 3.00

AMD gfx1250 镜像改从 main 构建并转正式发布

值得快速浏览而非精读。对维护 AMD 发布流水线的成员有参考价值,重点注意两个设计决策:(1) 用独立 job 隔离 bring-up 构建失败,避免影响正式发布;(2) tag 从 dev 到 release 的切换时机以构建 stage 是否合入 main 为准。若后续 gfx1250 镜像被 MI450 集群实际消费,应重新评估是否仍需要独立 job,并考虑为发布镜像增加冒烟验证步骤。

#36101 weight cache: key daemon paths by GPU UUID

原始 PR · 作者 TarangKhanna · 合并时间 2026-08-31 16:44

缺陷修复 重要性 8.50 洞察度 5.00

daemon 路径改按 GPU UUID 键控,隔离跨作业误连

值得精读,尤其是三处设计:其一,发现身份与权重兼容性解耦——用 GPU UUID 回答“连哪个 daemon”,用 CacheConfig 回答“权重是否匹配”,职责清晰;其二,模板占位符缺失即 fail-fast,堵住 str.format 静默忽略导致的路径收敛隐患;其三,客户端把 socket 推导下沉到加载时刻,避免在逻辑 rank 上建立错误绑定。对在共享主机上部署多作业的团队有直接参考价值。

#36871 [AMD] support gfx1250 on ROCM 10

原始 PR · 作者 yctseng0211 · 合并时间 2026-08-31 16:19

功能 重要性 9.36 洞察度 7.00

gfx1250 接入 ROCm 10,含内核修复与 MI45x 精度测试

值得精读,尤其是 `aiter_mxfp4_w4a8_moe.py` 与 `triton_qk_rmsnorm.py`。值得关注的决策:1) 对不可用内核采取“成熟 triton 内核 + 布局转换”替代而非修内核;2) 用 IS_GFX1250 constexpr 阻止平台 workaround 泄漏到通用路径;3) 用环境变量矩阵管理多模型精度测试的可复现配置。对维护者:aiter 版本升级(aiter#2958 之后的统一 `fused_qk_rmsnorm` 入口)与 gfx1250 触发条件 `AITER_FORCE_A8W4` 耦合较紧,建议后续引入设备级开关集中管理平台特化逻辑。

重构 重要性 7.07 洞察度 4.00

清理 unified-memory 遗留的 dense 术语,统一为 kernel-facing

值得快速浏览(约 10-15 分钟):重点阅读 PR body 的 Deliberately untouched 清单,这是区分「死术语」与「活术语」的决策框架,对大型重构后的术语治理有普适参考价值。不建议逐文件精读;若后续在 unified-memory 上工作,务必记住 dense(保留场景)与 kernel-facing(id 空间)的分界。另建议跟进 Codex 遗留的两个 P1 评论,避免它们随堆叠链静默合入主干。

重构 重要性 8.71 洞察度 8.00

统一内存池读路径迁移至全部注意力后端,删除钩子并放宽后端白名单

值得精读。这是 unified-memory 存储系列中架构收敛最彻底的一步:1)canonical read table + 生产点翻译的所有权模型,是理解 SGLang 未来 KV 索引架构的必修课;2)enforcement 扫描测试(test_kv_translate_ownership.py)展示了如何用源码级测试固化架构边界,防止设计被静默回退;3)prefix-only 填充纪律(保留后端 -1 尾哨兵)与 CUDA graph 捕获稳定 buffer 的处理是 kernel/backend 开发的实战范例。建议阅读顺序:先看 PR body 的 stack 说明和表格,再读 flashattention_backend.py 的 eager/capture 双路径接线,最后看 test_kv_translate_ownership.py 与 test_unified_mla_block_table.py 如何验证身份等价与字节级等价。

测试 重要性 4.01 洞察度 4.00

恢复 Blackwell NVFP4 MoE 两项 GSM8K 精度测试

值得快速浏览,尤其适合关注跨仓库依赖治理与测试恢复流程的读者。设计要点:① 严格区分「测试启用」与「依赖升级」职责,本 PR 刻意不碰包版本,将改动面压到最小;② 用完整 GSM8K 复测 + 明确环境快照(镜像、硬件、包版本、日志哈希)作为恢复测试的证据链,而非仅依赖上游声明修复;③ 保留原始阈值和工作负载不做放宽,确保召回质量不打折。

参与讨论