SGLang is a high-performance serving framework for large language models and multimodal models.
作者 gjsheu · 合并时间 2026-03-26 11:27
为Ascend NPU后端实现Hybrid KV Cache支持，优化内存效率和推理吞吐量。
该PR值得精读，因为它展示了如何为特定硬件后端适配高级优化特性，涉及内存管理、注意力机制和硬件兼容性的关键设计决策。建议重点关注ascend_backend.py中SWA块表的集成逻辑和条件判断的处理方式，以及swa_memory_pool.py中设备选择机制的实现。
作者 slin1237 · 合并时间 2026-03-26 11:12
在调度器中为gRPC预处理路径计算M-RoPE位置，修复多模态请求的缺失计算。
建议开发者和架构师精读此PR，关注如何在调度器中优雅地处理多模态处理器的加载和计算逻辑。特别值得学习的是错误降级机制和模块化设计，以确保系统健壮性。
作者 DarkSharpness · 合并时间 2026-03-26 10:59
修复 nvcc 编译错误并扩展多 GPU JIT 内核测试覆盖。
建议关注编译错误修复的细节，特别是 C++ 代码变更，以确保在其他编译器环境下无类似问题。同时，验证新增多 GPU 测试的正确性和效率。
作者 aurickq · 合并时间 2026-03-26 10:59
添加 adjusted_filter_batch 占位符方法扩展采样批处理自定义能力。
该 PR 变更简单，技术含量低，除非关注采样模块扩展，否则无需精读。
作者 aurickq · 合并时间 2026-03-26 10:57
修复 customized_info 在输出截断时的切片偏移错误，确保数据一致性。
该 PR 变更简单直接，工程师可快速浏览以了解切片修复逻辑，无需深度解析。对于管理者，关注点在于确保此 bugfix 被正确测试和部署。
作者 sshleifer · 合并时间 2026-03-26 10:57
修复 MxInt4 MoE 中 trtllm_mxint4_block_scale_moe 函数返回错误输出变量的问题。
该 PR 变更简单直接，适用于快速了解输出缓冲区处理的常见错误模式。对于涉及量化或 MoE 模块的开发者，值得关注以确保类似变量赋值问题被避免。
作者 Nickcp39 · 合并时间 2026-03-26 10:44
修复 CUDA wheel 打包中文件名与内部元数据不一致的问题，确保 pip 安装正常。
对于负责构建和打包的工程师，此 PR 值得精读，以了解如何正确处理 wheel 元数据对齐问题，关注点包括使用 wheel unpack/pack 的规范方法、错误处理和 robustness 改进。对于其他开发者，可以快速浏览以理解修复的动机和范围。
作者 michaelzhang-ai · 合并时间 2026-03-26 10:18
修复AMD CI因git所有权检查失败导致的依赖安装错误。
对于关注CI调试、git所有权问题或AMD平台支持的工程师，此PR值得快速浏览，以学习如何解决类似跨用户git访问问题；变更简单，无需深入代码分析。
参与讨论