Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-04 01:42 同步状态:空闲 下次计划:2026-09-04 02:42

PR 列表

更多筛选
2026-06-07
缺陷修复 重要性 7.06 洞察度 3.00

修复 async probe 对 None 张量的崩溃

建议合并。修复直击根因,代码简洁,有 CI 验证。可关注后续是否需为其他类似场景添加 `None` 守卫。

功能 重要性 6.31 洞察度 5.00

允许 OOT 平台提供自定义量化配置

值得精读,特别是作为硬件抽象层扩展点的设计范例。建议关注后续是否引入测试以及是否在真实 OOT 平台中使用。设计决策(返回 `None` vs 抛异常)可以在团队内推广。

#26182 Fix Req array token-id concatenation

原始 PR · 作者 mmangkad · 合并时间 2026-06-07 10:59

缺陷修复 重要性 6.72 洞察度 5.00

修复 Req token-id array 拼接错误

值得精读。特别是讨论中关于类型归一化策略的权衡(在 Req 内部转换 vs 调用者转换),以及 array 在序列操作中的性能优势。此外,`custom_logit_processor` 的优化展示了如何避免不必要的数据复制。

缺陷修复 重要性 5.54 洞察度 5.00

在 KV 写入路径添加越界探测

值得合并。这是一个低风险、高 ROI 的调试增强,在 spec 测试中已证明有效。建议在更广泛的 CI 中逐步启用 `SGLANG_ENABLE_ASYNC_ASSERT`,以最大化收益。

参与讨论