Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-03 01:22 同步状态:空闲 下次计划:2026-09-03 02:22

PR 列表

更多筛选
2026-04-09

#22353 [SKILL] add torch profiler analysis workflow

原始 PR · 作者 BBuf · 合并时间 2026-04-09 12:53

功能 重要性 6.00 洞察度 6.00

新增统一的Torch Profiler分析工作流程,提供内核分类、重叠分析和修复功能。

建议技术管理者关注此PR的设计决策,如两阶段跟踪分析和内核分类策略。工程师可精读 `scripts/analyze_sglang_torch_profile.py` 以了解性能分析最佳实践,并参考技能文档应用于实际模型分析。

#22418 Move runai model loader test to nightly suite

原始 PR · 作者 hnyls2002 · 合并时间 2026-04-09 12:39

基础设施 重要性 3.00 洞察度 3.00

将Runai模型加载测试从PR CI移至夜间测试套件,解决慢速和稳定性问题。

该PR变更直接,适合快速浏览以了解CI测试套件调整策略。值得关注的是如何将慢速、不稳定的测试从PR CI移至夜间测试的决策,这对优化CI流水线有参考价值。无需深入代码细节。

缺陷修复 重要性 5.00 洞察度 4.00

修复缓存DIT刷新时mask为None的bug,并优化分布式预热图像处理。

建议开发者和维护者精读`cache_dit_integration.py`的变更,理解缓存mask处理的条件逻辑设计;同时关注`scheduler.py`中的分布式预热优化,这对于多GPU或集群部署有参考价值。

功能 重要性 7.00 洞察度 6.00

新增稀疏token嵌入覆盖功能,允许在指定位置注入预计算嵌入向量。

建议工程师精读此PR,了解如何设计稀疏嵌入覆盖API,以及内部如何集成到tokenization、调度和模型执行流程。特别关注前缀缓存和CUDA图的处理机制,以避免性能退化,并学习PositionalEmbeds数据结构的应用。

#22230 [Feature] Support eagle3 for qwen3-vl

原始 PR · 作者 litmei · 合并时间 2026-04-09 11:45

功能 重要性 5.00 洞察度 4.00

为Qwen3-VL模型添加EAGLE3推测解码支持,提升推理性能。

建议技术管理者关注此PR作为多模态模型性能优化的一部分。对于工程师,值得关注set_eagle3_layers_to_capture的默认层选择策略,以及forward方法中aux_hidden_states的处理方式。虽然变更较小,但涉及核心推理路径,建议结合EAGLE3相关代码一起理解。

重构 重要性 4.00 洞察度 3.00

延迟导入flash_attention_v4模块,消除服务器启动时的日志噪音和性能开销。

该PR值得快速浏览,特别是对于关注启动性能优化和代码组织模式的工程师。关键设计决策是将重量级导入延迟到实际使用点,这是一个常见的Python优化模式。建议关注flash_attention.py中的实现方式,以及如何平衡导入开销与代码清晰度。

功能 重要性 6.00 洞察度 6.00

增强Ngram推测解码的多SAM支持,修复错误处理并添加全局token预算管理。

推荐精读此PR以学习推测解码中多SAM管理的设计模式,特别是预算实施、错误处理和并发边界条件。关注cpp_ngram/ngram_corpus.py中的预算跟踪逻辑和tokenizer_communicator_mixin.py中的结果聚合方法。

#22029 [NPU][CI] Use UV to improve pip install speed

原始 PR · 作者 tfhddd · 合并时间 2026-04-09 09:18

基础设施 重要性 4.00 洞察度 3.00

使用UV工具加速NPU CI环境中的pip安装,安装时间从4分钟缩短至1分40秒。

对于技术管理者,此PR展示了CI基础设施优化的一个实例,值得关注以提高团队效率;对于工程师,除非直接维护NPU CI脚本,否则无需精读,但可借鉴uv工具的集成方法。

参与讨论