SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 Ricardo-M-L · 合并时间 2026-06-10 06:24
修复 vocab 边界检查的 off-by-one 错误
此 PR 值得精读，特别是对于涉及 token 生成边界处理的开发者。它展示了一个经典的 off-by-one 错误的检测和修复过程，以及如何通过全面测试覆盖来确保修复的正确性。测试文件的设计（使用 `__new__` 绕过复杂初始化）也是一个值得学习的技巧。
原始 PR · 作者 weizhoublue · 合并时间 2026-06-10 06:03
修复 CUDA Graph 运行器中缺少 positions 重置导致的非法内存访问
该 PR 值得精读，尤其是了解 CUDA graph replay 中填充策略如何导致非法内存访问。关键设计决策是：对于被 flashinfer 等后端读取的尾部填充区域，必须使用 ZERO 填充策略而非 FOREACH_COPY，因为 FOREACH_COPY 不会重置尾部。建议阅读关联 Issue #24361 和之前类似的修复 PR #10892 以系统理解此类问题的模式。
用 FP8 MHA 内核替换 MLA 内核，提速 13.8%
值得精读，特别是对 AMD GPU 上的扩散模型优化感兴趣的人。设计决策亮点：使用清晰的门控函数隔离平台特定路径，移除 `@torch.compiler.disable` 以恢复 torch.compile 兼容性。但需关注测试覆盖缺口，建议在后续 PR 中添加形状参数化测试以覆盖 FP8 路径。
修复 DSA CPU offload 缺少 mamba_indices 参数的 bug
该 PR 是典型的边界案例 bugfix，虽代码量小但在特定场景（DSA + mamba + decode disaggregation）上是关键修复。建议快速合入，并在相关功能测试（如 DSA CPU 卸载集成测试）中补充对 mamba_indices 的端到端验证。
原始 PR · 作者 merrymercy · 合并时间 2026-06-10 04:52
延迟 DeepGEMM PDL 初始化到 worker 阶段
该 PR 规模小、逻辑清晰，适合快速合并。值得一提的是，它体现了多进程 GPU 编程中一个重要的最佳实践：避免在 fork 之前进行 CUDA 上下文初始化。团队可以参考此模式，检查其他可能在模块导入时初始化 CUDA 的代码。
移动 JIT 内核测试并添加包内注册保护
该 PR 是一项重要的 CI 基础设施改进，建议所有涉及 JIT 内核开发的成员仔细阅读。特别是预提交钩子的设计（复用 `ut_parse_one_file` 确保检测逻辑一致性）值得在其他项目借鉴。建议在合并后监测一段时间的 CI 运行，确保搬迁后的测试都能正确执行。
修复 kimi-k2.5 EAGLE3 MLA 批处理 draft 嵌入计算
建议合入，因为修复了一个静默的正确性错误且改动极小。开发团队可在后续 PR 中补充针对多模态批处理的单元测试。
原始 PR · 作者 michaelzhang-ai · 合并时间 2026-06-10 01:31
修复 ROCm 上 4D per-frame shift 形状处理
该 PR 值得 CI 维护者和 AMD 平台开发者精读。核心价值在于：1) 展示了如何通过平台条件编译修复跨后端差异；2) 揭示了 Triton kernel 在形状假设上的潜在陷阱；3) 提供了清晰的 root cause 分析和测试验证方法。
参与讨论