Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-03 02:24 同步状态:空闲 下次计划:2026-09-03 03:24

PR 列表

更多筛选
2026-04-08

#21502 [NPU] enable index Cache for npu

原始 PR · 作者 ChefWu551 · 合并时间 2026-04-08 11:45

功能 重要性 6.00 洞察度 5.00

为NPU后端启用IndexCache支持,提升长上下文推理性能。

建议NPU后端开发者和对IndexCache优化感兴趣的工程师精读此PR。关注点包括:1. IndexCache在NPU上的集成模式,如何通过`skip_topk`和`next_skip_topk`控制索引传递。2. 性能数据背后的实际部署考量,如内存开销和并发影响。3. 与上游PR #21405的关联,以理解完整设计上下文。

基础设施 重要性 4.00 洞察度 5.00

通过重排测试顺序和优化tokenizer加载,修复CI单GPU大模型测试超时问题。

该PR值得CI/测试维护者精读,以了解如何优化测试顺序和资源加载来避免外部依赖延迟。关注点包括:`find_local_repo_dir`的使用方式、测试重命名的策略,以及从提交历史中反映的从延长超时到根本修复的决策过程。

基础设施 重要性 3.00 洞察度 2.00

为DeepEP 8-GPU测试指定专用runner标签,隔离RDMA故障机器。

该PR变更简单,无需深入代码审查,但可作为CI环境隔离的参考案例。关注点:专用runner标签的维护策略和RDMA故障的根因缓解。

缺陷修复 重要性 4.00 洞察度 5.00

修复暂停感知权重更新锁中的TOCTOU竞态条件,确保并发安全。

该PR值得精读,展示了并发编程中TOCTOU竞态的典型修复模式。关注点:1)如何在锁范围内保持状态一致性;2)条件锁与writer锁的协同使用;3)从死锁修复到竞态修复的演进。对于涉及暂停/恢复机制的开发者有参考价值。

#22174 UX: clean loggings

原始 PR · 作者 mickqian · 合并时间 2026-04-08 09:46

重构 重要性 4.00 洞察度 4.00

修复FastAPI弃用警告并统一多模态编码器参数命名,提升日志清晰度。

建议快速浏览以了解代码清理实践,重点关注json_response.py的重构设计,但整体变更较小,无需深入精读。

#22303 Switch eagle_infer_beta to EAGLE3

原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-04-08 09:43

测试 重要性 4.00 洞察度 3.00

将Eagle推测解码测试从beta版切换至EAGLE3版本,更新模型和配置。

该PR值得关注EAGLE3推测解码功能的测试验证策略。建议开发团队: 1. 关注测试阈值从0.22到0.7的大幅调整背后的性能预期变化。 2. 检查新增的启动参数(--dtype=float16、--chunked-prefill-size)是否与EAGLE3的设计文档一致。 3. 考虑是否需要补充其他测试场景来全面验证EAGLE3功能。 4. 由于缺乏review讨论,建议在后续相关PR中加强技术讨论和文档记录。

缺陷修复 重要性 5.00 洞察度 4.00

修复调度器暂停模式下IPC权重更新时的写锁死锁问题。

该PR值得关注,特别是对于处理并发控制和调度器状态管理的开发者。虽然变更较小,但展示了在复杂并发场景下如何安全地绕过锁机制的设计思路。建议仔细阅读update_weights_from_ipc函数的实现,理解is_pause_cond条件变量与model_update_lock的交互关系。

#22301 Only upload CUDA coredumps on test failure

原始 PR · 作者 hnyls2002 · 合并时间 2026-04-08 09:07

基础设施 重要性 3.00 洞察度 2.00

优化CI工作流,仅在测试失败时上传CUDA coredump,减少资源浪费。

此PR变更简单但有效,值得CI维护工程师关注以了解优化实践;对于一般开发者,可快速浏览确认变更覆盖范围,无需深入代码解析。

参与讨论