SGLang is a high-performance serving framework for large language models and multimodal models.
添加每个作业的 uv venv 隔离并升级 CI 到 CUDA 13，优化依赖管理和环境一致性。
建议技术管理者关注此 PR 的 CI 架构设计，特别是 uv venv 隔离的实现方式和缓存优化策略，可作为类似环境管理参考。工程师可精读 `quantization_utils.py` 和 `transformer_load_utils.py` 的变更，学习 ModelOpt 配置处理和错误恢复模式，同时注意 `bench_utils.py` 中的性能分析鲁棒性改进。
为AMD HIP后端优化NSA索引器，通过内核融合减少计算开销。
该PR值得精读，特别是对于关注AMD平台性能优化的工程师。重点关注两个设计决策：1. 权重投影参数类型统一为bf16的权衡，以及移除冗余类型转换的逻辑；2. AITER融合内核的集成方式，包括缓存布局适配和快速路径条件判断。建议结合性能测试数据评估实际收益。
修复 Qwen3.5 视频处理在 processor_output 格式下因返回值数量不匹配导致的解包错误。
该 PR 代码量极小，适合快速浏览以理解多模态处理器中视频数据格式的接口契约。值得关注的是 `preprocess_video` 函数对两种输入路径（原始视频对象 vs 预处理字典）的统一处理设计。
为HunyuanVideo扩散模型添加Triton GroupNorm+SiLU快速路径，提升解码阶段性能。
建议精读该PR以学习Triton内核设计中的分块策略和性能调优技巧，关注环境变量控制的设计如何平衡性能收益与兼容性。对于扩散模型优化开发者，此PR展示了针对特定模型层的定制化加速路径实现。
为 Qwen3Next 模型默认启用 FlashInfer AllReduce 融合，显著提升 H100 多卡性能。
该 PR 变更简洁且目标明确，适合快速了解 FlashInfer AllReduce 融合的启用机制和性能优化效果。建议关注 `server_args.py` 中的白名单逻辑和条件检查，这是项目中对模型特定优化进行集中管理的一个典型模式。
原始 PR · 作者 gongyisheng · 合并时间 2026-04-18 17:07
为 LoRA 基类添加 bias 属性，修复权重同步时 Qwen2 模型输出错误。
该 PR 值得精读，因为它揭示了 LoRA 包装层与权重同步机制间的微妙交互。关注 `BaseLayerWithLoRA` 如何通过属性反射确保 `named_parameters()` 完整性，这是支持动态权重更新的关键设计决策。
更新 Ascend NPU 最佳实践文档，同步最新模型配置和性能数据。
对于 NPU 平台用户或开发者，建议快速浏览此文档更新以了解最新配置；特别关注环境变量设置的最佳实践，以避免潜在问题。
引入LTX-2两阶段设备管理器，优化内存使用和LoRA切换性能。
该PR值得精读，尤其是`LTX2TwoStageDeviceManager`类的实现，展示了针对多阶段模型的内存与性能优化设计。关注其模式自动选择策略（基于GPU内存）、CPU快照机制以及review中讨论的代码安全性改进点，这些对理解高性能推理系统的设备管理有较高参考价值。
参与讨论