SGLang is a high-performance serving framework for large language models and multimodal models.
LTX-2 VAE 解码内存布局优化，Conv3d 加速 ~3.7 倍
值得精读，展示了内存布局优化驱动性能提升的完整实践：从问题定位（conv3d-bound）、设计权衡（自定义 kernel vs 简单 copy_）、自门控实现到加载器精细控制。`_causal_temporal_pad_channels_last` 的 allocate+copy_ 设计是亮点，可复用至其他时序卷积优化。
原始 PR · 作者 yctseng0211 · 合并时间 2026-06-09 23:12
AMD CI 暂时禁用 async-assert 以避免 MXFP4 测试崩溃
这是一个临时修复，建议尽快定位 MXFP4 EAGLE-MTP 路径中 async-assert 的真因，并确保在 AMD 上也能安全启用。PR 本身值得快速合并以恢复 CI 稳定性。
原始 PR · 作者 Kangyan-Zhou · 合并时间 2026-06-09 22:25
sgl-router 新增请求/TTFT/Worker 指标与 Grafana 仪表盘
建议精读该 PR，尤其是 Histogram 泛化、断路器快照和 SSE 首字节钩子的设计。三个设计模式（RAII 守卫、单锁快照、take-only-once 钩子）具有通用借鉴价值。
为chunked prefill添加系统性脚本化测试套件
建议调度器维护者精读`test/registered/chunked_prefill/`中的脚本化测试，理解框架的断言模式；对于其他模块开发者，scripted-runtime框架可以推广到其他子系统的细粒度测试。该PR的测试设计（精确步进+状态断言）值得作为项目测试标准。
新增混合前缀 GSM8K 评估及 CPU 单元测试
值得精读。该 PR 展示了如何通过提取虚方法（`_setup_prefix_pool` / `_build_prefix`）在测试框架中实现模板方法模式，使得扩展不同前缀策略变得简单。单元测试也写得清晰全面，可作为测试驱动开发的范例。
原始 PR · 作者 e-martirosian · 合并时间 2026-06-09 20:01
为NPU扩散测试启用一致性检查并回退旋转嵌入优化
该PR展示了如何为特定硬件平台（NPU）配置测试基础设施，包括根据平台选择实现和测试配置，值得测试和基础设施团队关注。建议后续持续监控NPU旋转嵌入性能。
添加 NPU 上 MoE 权重更新时形状恢复逻辑
建议阅读此 PR 的 patch，理解 NPU 上 MoE 权重布局的特殊处理。对于维护 NPU 后端的开发者，这是一个重要的参考。
修复 NPU MTP 精度回归，涉及三个底层 bug
值得精读，特别是 `update_mamba_state_after_mtp_verify` 中 NPU 特有的 conv 状态重建与回滚策略，体现了硬件差异下的适配设计。建议关注后续 PR 是否在 CUDA 与 NPU 间推进公共抽象层。
参与讨论