SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 jasonjk-park · 合并时间 2026-05-21 02:34
让 TARGET_VERIFY 的每请求 token 数可自定义
该 PR 虽小，但为推测解码的扩展性奠定了基础。建议阅读 spec_registry.py 和 spec_info.py 的新增接口设计，以及 trtllm_mha_backend.py 中元数据计算的统一化。关注后续可能的前向模式重构 PR。
原始 PR · 作者 merrymercy · 合并时间 2026-05-21 02:19
将 DevashishLal-CB 加入 CI_PERMISSIONS.json
无需精读。只是一个常规的 CI 权限添加操作，适用于快速合并。
修复 Mamba LRU 链表节点引用循环内存泄漏
建议合并。该 PR 定位精准、修复简洁、验证充分，属于典型的高收益低风险修复。值得学习的是其系统性的诊断方法（malloc_trim、gc.collect、DEBUG_SAVEALL）和 reviewer 提醒的统一修复范围。
引入可插拔 RadixCache 后端注册机制
该 PR 设计简洁、测试充分，值得阅读。尤其是注册机制与默认回退的组合模式，可以复用于其他需要类似扩展点的子系统。测试中的 `_RegistryIsolationMixin` 也是处理全局状态隔离的良好示例。
迁移Wan2.2 ModelOpt CI至NVIDIA官方FP8/NVFP4检查点
建议阅读：该PR演示了如何安全地迁移外部依赖并调整内部默认值。值得关注的设计决策是swap_weight_nibbles的fallback链，以及如何通过checkpoint_uses_packed_qkv保持向后兼容。测试修复的根因分析也值得学习。
为 NPU 上 Qwen3.5/Next 引入融合 Triton 注意力预处理核
该 PR 值得精读，尤其是 `mrope.py` 中新 Triton kernel 的设计（如何通过条件掩码实现 interleaved 数据选择）以及 `forward_prepare_npu` 中融合 kernel 的调用模式。评论区的 stride 修正讨论也值得关注，能帮助理解 Triton 中多维度 stride 的正确用法。建议在后续类似 fusion 工作中参考此设计。
集中 seq_lens_cpu/sum 维护到单一辅助方法
合并后建议执行 PR body 中的 test plan。此 PR 的设计决策（延迟计算 + 统一同步点）值得在类似状态维护中借鉴。
移除 disagg decode 中死代码，提取 EAGLE 预填充旋转函数
重构方向正确，代码风格（向量化、type hints）值得参考。建议精读 `apply_eagle_prefill_input_rotation` 的实现和解耦思路。社区 reviewer 可关注此类死代码清理。
参与讨论