NPU CI 串行化并禁用两个 DSV4-Flash 性能测试
该 PR 是基础设施调整,价值主要在于 CI 运维优化,对功能开发参考价值不大。可以快速浏览以了解 NPU 测试流水线的组织方式,但无需精读代码。
SGLang is a high-performance serving framework for large language models and multimodal models.
NPU CI 串行化并禁用两个 DSV4-Flash 性能测试
该 PR 是基础设施调整,价值主要在于 CI 运维优化,对功能开发参考价值不大。可以快速浏览以了解 NPU 测试流水线的组织方式,但无需精读代码。
Helios 自注意力 QK RoPE 融合为 JIT CUDA kernel,单对 QK 提速约 11.58 倍。
值得精读。该 PR 是“eager 高频算子 → JIT CUDA kernel + custom op + 严格数值契约”的典型范本,尤其适合关注 diffusion 推理性能、JIT kernel 注册机制(`register_custom_op` + `cache_once` + `load_jit`)以及 `torch.compile` fullgraph 兼容性的读者。可重点学习:1)如何在 `can_use_*` 守卫中同时满足 eager 安全与 Dynamo traceable;2)如何用 `torch.equal` + 参考实现锁定 bit-exact 语义;3)对 process-nondeterministic 模型如何组织正确性论证(算子级 bit-exact + 统计性 SSIM 对比)。
支持流水线并行下的全量 prefill CUDA 图回放
值得精读。该 PR 展示了如何在 CUDA graph 捕获/回放机制中安全地引入 pipeline 输入:通过 buffer registry 的 `GraphSlot` + `source_fn` 模式解决图捕获所需的数据指针稳定性,用 `_align_pipeline_layers` 解决 PP 层索引对齐,设计清晰且可复用。关注 `cuda_graph_buffer_registry.py` 的 slot 注册模式与 `prefill_cuda_graph_runner.py` 的非首 rank 输入切换逻辑,可作为后续扩展多模态或 residual stream 场景的参考。
原始 PR · 作者 arathi-hlab · 合并时间 2026-08-28 07:17
延迟 sgl_kernel.quantization 导入,修复 XPU/ROCm/NPU 启动崩溃
建议精读。核心价值有三:一是延迟导入作为"设备专用内核"的标准处理范式,与 `gguf.py` guard 形成了可复用的兼容性约定;二是 `HFRunner` 进程回收的 join/kill 两级兜底,是测试基建中处理子进程持有设备资源的典型修复;三是 review 过程展示了"优先复用现有工具(`empty_gpu_cache`)而非新造 helper"的维护哲学。对负责多平台(XPU/ROCm/NPU)支持和 CI 稳定性的工程师尤其值得参考。
回滚 #36640,NPU MLA 修复引发回归
此 PR 是临时回滚,建议关注 #36813 的后续修复,确保其中包含针对 NPU MLA 的修复且不引入回归。值得回顾原 PR 的设计权衡,特别是如何处理跨硬件差异。
原始 PR · 作者 chx96642264 · 合并时间 2026-08-28 07:14
修复 NPU 上 MLA HiCache 备份与 MoE 融合导入错误
值得精读,了解 NPU 与 CUDA 在内存布局和内核支持上的差异。关注 Fridge003 的评论,跟进 PR #36529 的根因修复。
折叠 free group 标志,消除分配器状态漂移与双重否定
值得精读,尤其是 `base.py` 中 `free_group_begin`/`free_group_end` 的“容器即状态”设计:用 `None` 表示非激活、list 表示激活,并用一条赋值语句同时取走数据和复位状态,是消除双状态漂移的典型手法,可作为后续状态机重构的参考。建议在合入前确认 3 个 CI job 失败的原因,并考虑后续补充 free group 状态机专项测试。
GLM-5.3-Flash 文档新增投机解码卡片并修复 flag 残留
值得精读的文档工程型 PR,尤其关注两点:一是 '_playground.jsx' 中 deriveFromBase 与 apply 的 strip/derive 联动设计,这是"配置派生一致性的维护范式";二是 note 字段作为"可选但需前置条件"的 UI 模式,对文档交互设计有参考价值。建议关注其关联的 follow-up(speculative flag 家族补全)与 #36507 合入后的 note 清理。
参与讨论