Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-06-07 22:09 同步状态:空闲 下次计划:2026-06-07 23:09

PR 列表

更多筛选
2026-03-28

#19452 [NVIDIA] Enable automatic NUMA configuration

原始 PR · 作者 trevor-m · 合并时间 2026-03-28 09:44

功能 重要性 6.00 洞察度 6.00

启用自动NUMA节点配置,替代手动指定,提升系统性能。

建议工程师精读numa_utils.py以理解自动NUMA配置的核心逻辑,特别关注设计决策如查询方法选择。对于性能优化项目,此PR提供了系统配置自动化的范例。

文档 重要性 4.00 洞察度 2.00

更新维护者文档,细化按领域分区的合并/评审人员列表并添加GitHub个人资料链接。

该PR值得团队负责人、文档维护者和CI管理员阅读,以了解维护者结构和权限变更。对于普通工程师,建议关注MAINTAINER.md中的oncall列表,熟悉新的协作流程,并检查CI_PERMISSIONS.json以确认权限更新。

缺陷修复 重要性 5.00 洞察度 5.00

限制流式积压合并仅适用于增量流输出模式,避免不必要的性能开销。

建议精读此PR,重点关注`_wait_one_response`函数中的条件判断和块合并逻辑,这展示了流式输出处理的核心设计权衡(如增量vs累积输出)。对工程师而言,可学习如何优化性能敏感路径,并注意日志策略的平衡。

#20972 Remove sync when enabling return_logprob

原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-03-28 07:36

性能优化 重要性 6.00 洞察度 5.00

移除启用return_logprob时的同步操作,提升约25.8%的token吞吐量。

建议工程师精读此PR,关注异步数据处理的设计模式,以及如何平衡性能与正确性,对于涉及GPU-CPU数据传输的优化有参考价值。

缺陷修复 重要性 4.00 洞察度 2.00

修复 Qwen3.5 在 fused MoE Triton tuning 中的架构解析错误。

对于关注 fused MoE 优化或 Qwen 模型支持的开发者,此 PR 值得快速浏览以了解配置处理细节;对于一般用户,无需深入阅读。

功能 重要性 6.00 洞察度 6.00

支持自动检测LoRA目标模块,简化适配器配置。

建议工程团队关注自动检测逻辑的设计,了解如何扩展支持新模块类型;测试部分的安全问题需后续修复;可精读utils.py中的auto_detect_lora_target_modules函数,学习模型扫描和模块归一化方法。

#17255 fix tp capture in vit cuda graph

原始 PR · 作者 narutolhy · 合并时间 2026-03-28 06:38

缺陷修复 重要性 6.00 洞察度 4.00

修复 ViT CUDA Graph 在 Tensor Parallelism 下通信捕获缺失的问题,提升正确性。

该 PR 值得精读,尤其关注 CUDA Graph 与分布式通信集成的设计模式,以及代码风格权衡;工程师可从中学习如何优雅处理可选功能集成。

参与讨论