Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 20:51 同步状态:空闲 下次计划:2026-09-02 21:51

PR 列表

更多筛选
2026-07-24

#29569 [DSV4] Support megamoe for CP

原始 PR · 作者 SYChen123 · 合并时间 2026-07-24 05:46

功能 重要性 7.70 洞察度 7.00

支持 DeepSeek V4 CP 与 MegaMoE 协同使用

- 值得精读,尤其是 `validate_deepseek_v4_mega_moe_token_budget` 函数的设计——它考虑了多种并行组合下 per-rank token 数的计算,为类似跨组件的参数校验提供了良好范本。 - 关注 `should_use_mega_moe` 中 CP 分支的修改,理解为什么 CP 下需要用 local token 数而非 global token 数来决策。 - 若用户环境默认 `moe_a2a_backend` 可能为 `None`,建议在文档中明确指出需显式设置。

#32246 Fix nvfp4 online scale with pcg

原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-07-24 05:42

缺陷修复 重要性 4.84 洞察度 2.00

修复 NVFP4 在线量化时 scale 为 Python 标量的问题

可以快速合并。但建议作者或团队后续补充针对 per_token_activation 路径的单元测试,避免回归。

功能 重要性 7.57 洞察度 6.00

OpenAI 端点新增 return_token_ids,返回原始 token ids

值得精读。核心看点有三个:一是流式场景下累积/增量两种模式下 token ids 与文本 delta 的对齐处理(n_prev_token_ids 切片 vs 直接透传),二是顺带修复的增量流式文本二次切片 bug——这是新测试暴露存量缺陷的典型案例,三是协议层用 model_serializer 在 None 时剔除字段以保持默认响应不变的扩展方式。若你有 chat 流式 token ids 需求,可关注作者提出的"原始 token 流独立于解析文本流返回"的后续方案。

性能优化 重要性 9.14 洞察度 7.00

CP decode消除重复注意力权重GEMM冗余

建议精读。该 PR 展示了在 CP 模式下消除权重冗余的优雅设计(上下文管理器 + 延迟切片缓存),review 中也暴露了 all-reduce 组、量化尺度等关键陷阱。值得学习如何在推理引擎中安全地临时替换张量视图。

缺陷修复 重要性 4.00 洞察度 4.00

修复MLX模型因量化配置缺失导致启动失败

作为典型的防御式编程修复,值得所有涉及字典键访问的代码参考。建议合入后关注是否有其他覆盖方法存在类似问题。

#32211 [CI] Fix Mamba ServerArgs namespace

原始 PR · 作者 mmangkad · 合并时间 2026-07-24 04:15

缺陷修复 重要性 3.84 洞察度 2.00

修复 Mamba ServerArgs 命名空间缺失

建议快速合并。此 PR 属于常规维护性质,修复了由 #31230 引入的 namespace 遗漏问题,维持了 `ServerArgs` 命名空间覆盖检测的完整性。值得关注的是 `NS()` 声明机制在代码库中的一致使用规范。

缺陷修复 重要性 5.62 洞察度 5.00

跳过分布式初始化端口预检查以支持外部编排

值得精读:这是一个边界条件 bugfix 的典型样例,展示了如何优雅处理环境变量覆盖下的端口检查逻辑。特别是 review 评论指出的 `tcp://` 覆盖场景虽未解决,但团队权衡后接受当前方案,值得关注设计决策的取舍。若你维护分布式训练或推理系统,该 PR 提供了一种处理外部编排器时避免端口冲突的思路。

#32014 create rust workspace

原始 PR · 作者 rainj-me · 合并时间 2026-07-24 03:02

基础设施 重要性 9.31 洞察度 7.00

创建 Rust workspace 统一管理子项目并优化构建流程

值得精读,特别是 setup.py 的自动发现机制和与 cargo metadata 的交互方式。LTO 与链接时间的权衡也是很好的参考。同时,Rust 部分的 Py<PyAny> 迁移展示了 pyo3 的现代化用法。

参与讨论