Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-07-05
缺陷修复 重要性 6.28 洞察度 5.00

修复 ROCm RMSNorm 批次不变性

值得合并。这是一个针对 ROCm 平台的精确 bugfix,修复了确定性推理模式下 RMSNorm 的批次不变性问题,同时通过使用 Triton 核函数避免了性能回退。评审过程健康,反馈被及时采纳。无需精读。

基础设施 重要性 5.71 洞察度 5.00

新增Kimi K2.6 FP8 MI355X夜巡配方与launcher模型无关改造

建议阅读本PR: - 关注launcher模型无关设计:通过`model:`块和可选字段,实现配置与脚本的解耦,值得借鉴。 - review中关于空hash的修复虽小,但反映了边界条件处理的重要性。 - MTP准确性不达标的问题需要进一步排查,但基础版已通过,表明主要流程正确。

重构 重要性 7.97 洞察度 6.00

引入 WeightLoadPlan 显式控制权重加载设备放置

该 PR 是重要的架构改进,值得所有参与 diffusion 模型加载的开发者精读。其引入的 `WeightLoadPlan` 抽象可用于未来扩展(如异构设备、分阶段加载)。建议 merge 后运行完整的 diffusion 测试套件以验证兼容性。

功能 重要性 9.18 洞察度 6.00

LingBot 实时新增复合输入、KV 窗口和延迟 VAE

值得精读。交互式 KV 窗口的设计模式(重置默认值 + 按需调整)和复合输入原子性校验可复用。关注 causal_attention_cache 的 recent_window_tokens 参数,它是通用层的变化,可能被其他模型使用。

功能 重要性 6.37 洞察度 5.00

让 mem_fraction_static 按分解模式智能预留

建议精读。该 PR 展示了一个小而精准的优化,在分解架构下通过条件化预留换取有效显存,设计清晰、改动集中。值得关注的是 DeepEP 预留的硬编码值,后续可能需要根据实际 Profiling 调整。由于无测试,建议在后续 PR 中添加分解模式的 mem_fraction 自动测试。

缺陷修复 重要性 5.64 洞察度 4.00

跳过单节点跨节点探针,修复 EP 段错误

值得合并,修复了关键路径上的段错误。设计谨慎,采纳了 review 建议避免了遗留 accessor 增加和潜在的错误路径。建议阅读 MultimemAllGatherer.__init__ 的修改,可作为在分布式组件中安全添加条件探测的范例。

缺陷修复 重要性 3.99 洞察度 2.00

修复测试入口未传递退出码导致 CI 检查失败

该 PR 变更虽小但有必要,建议合并。它修复了因 #30107 引入的 CI 阻塞问题。值得注意的设计细节:仓库通过自动化测试 `test_no_bare_pytest_main` 强制执行代码规范(`__main__` 中必须使用 `sys.exit` 包裹 `pytest.main`),这种做法有助于保持测试脚本质量,值得推广。

缺陷修复 重要性 6.16 洞察度 5.00

修复 multi-tokenizer 模式下 batch input_ids 路由 hang 住

该 PR 修复了一个重要回归,且实现简洁清晰,值得所有涉及 IPC 路由的开发者阅读。特别是 `stamp_http_worker_ipc` 的设计和 schema 注释的澄清,展示了 batch 与单请求路由的差异。

参与讨论