Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-05 00:20 同步状态:空闲 下次计划:2026-09-05 01:20

PR 列表

更多筛选
2026-04-17
基础设施 重要性 3.18 洞察度 3.00

将 NPU Dockerfile 中的 SGLang 安装方式从常规安装改为可编辑安装。

该 PR 变更简单直接,适合快速浏览以了解 NPU Docker 构建的优化方向。对于关注基础设施或 NPU 平台开发的工程师,值得注意其采用可编辑安装来提升调试便利性的设计决策。对于核心模型推理或内核开发者,此 PR 无需深入分析。

#23052 [diffusion] doc: update doc

原始 PR · 作者 mickqian · 合并时间 2026-04-17 16:23

文档 重要性 3.86 洞察度 3.00

更新扩散模型文档,新增API示例、环境变量和平台支持信息。

建议工程师和用户阅读更新后的文档,以了解扩散功能的新API、配置选项和平台支持,重点关注API示例和环境变量部分。

缺陷修复 重要性 5.28 洞察度 5.00

修复流水线并行模式下调度器因条件判断错误导致的预填充请求挂起问题。

该 PR 值得精读,尤其是 PR body 中详细的根因分析和计算示例,展示了如何定位和修复调度器中的条件竞争问题。关注点在于理解流水线并行下分块请求的调度策略,以及为何必须允许其在槽位不足时继续执行。

功能 重要性 4.92 洞察度 5.00

新增环境变量 SGLANG_MORI_MOE_MAX_INPUT_TOKENS,在 MoE 计算前截断调度缓冲区以减少填充开销。

该 PR 值得关注其设计权衡:通过环境变量控制性能优化,但牺牲了部分安全性。建议精读 `run_moe_core` 中的截断逻辑,理解其与 `mori_op.combine` 的交互,并注意 review 中提到的潜在改进点。

#23041 [Docs] [npu] change the feature support status

原始 PR · 作者 xdtbynd · 合并时间 2026-04-17 14:34

文档 重要性 1.35 洞察度 1.00

更新 NPU 特性文档中 disaggregation 配置状态

该 PR 为一次简单的文档状态更新,无技术深度,无需精读。对于关注 NPU 平台 disaggregation 特性的团队,可留意此参数现已支持。

基础设施 重要性 4.26 洞察度 3.00

在CI依赖安装脚本中新增Rust工具链安装步骤,确保源码构建时cargo/rustc可用。

该PR变更直接且必要,适合快速浏览以理解CI依赖管理策略。值得关注的设计决策是复用`install_protoc.sh`的模式,将工具链安装封装为可重用脚本,体现了基础设施代码的模块化思想。

功能 重要性 7.64 洞察度 6.00

为推测解码管道添加OpenTelemetry追踪,覆盖EAGLE和NGRAM工作器的draft、verify和accept阶段。

建议技术管理者和工程师精读此PR,特别是`req_time_stats.py`中新增的追踪方法设计和`set_time_batch`的使用模式,这些展示了如何将OpenTelemetry集成到高性能推理管道中,同时保持低开销。关注设计决策如`trace_only`参数和事件放置时机,对于构建可观测性功能有借鉴价值。

功能 重要性 7.81 洞察度 6.00

允许 PCG 与所有投机解码算法共存

**值得精读**。该 PR 展示了如何通过运行时安全检查而非全局禁用实现功能兼容,设计思路清晰。重点关注: - `can_run` 中两个守卫条件的语义(`ForwardMode.TARGET_VERIFY` 和 `capture_hidden_mode` 匹配)。 - Draft 模型跳过 PCG 初始化的逻辑及其对多模型架构的影响。 - 测试文件中如何编排多 GPU 环境和内存限制。 该 PR 的演变过程(从简单移除到逐步修复兼容问题)也提供了良好的工程实践参考。

参与讨论