Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态：已开启 最近同步：2026-09-02 19:48 同步状态：空闲 下次计划：2026-09-02 20:48

PR 列表

最近 1 天 最近 3 天 最近 7 天
更多筛选
标签聚合 仓库周报
2026-07-25

#32363 Add stream label to TTFT metrics

原始 PR · 作者 cctry · 合并时间 2026-07-25 08:44

功能 重要性 5.81 洞察度 3.00

TTFT 指标按流模式拆分

值得合入，改动清晰且符合监控最佳实践。建议补充一个单元测试验证标签写入，并在合并后通知运维团队更新 Dashboard 查询。

observabilityfeatureperformance

#32348 Report accelerator type in /v1/loads

原始 PR · 作者 cctry · 合并时间 2026-07-25 08:31

功能 重要性 5.98 洞察度 3.00

/v1/loads 返回 accelerator 字段

该 PR 作为基础设施改进值得合并。设计简单合理：使用 LRU 缓存避免重复查询硬件信息，且结果易于测试。建议后续考虑在 `/v1/loads` 文档中明确说明 `accelerator` 字段。

observabilityfeatureperformance
性能优化 重要性 4.06 洞察度 6.00

减半非有限值清理开销， 优化量化核函数

值得精读， 尤其是 clamp 策略的数学和 IEEE 754 分析， 展示了如何通过深入理解硬件指令语义来安全消除冗余操作。 注释和 SASS 证据详实， 是性能优化的好范例。

performancejit-kernelquant

#31340 Fix FP8 Triton dtype selection on A100

原始 PR · 作者 danielafrimi · 合并时间 2026-07-25 08:03

缺陷修复 重要性 6.60 洞察度 5.00

修复 A100 上 FP8 Triton dtype 选择

建议所有涉及 FP8 量化的开发者仔细审阅此 PR，特别是使用 A100 GPU 的用户。值得关注的设计决策包括：基于 CUDA capability 的 Triton dtype 抽象（`fp8_dtype_to_triton`）和通过 `uint8` 视图规避 FP8 指针限制的技巧。推荐在合并前针对 A100 添加显式的测试用例，并确认 Marlin fallback 在 pre-Hopper GPU 上正常工作。

bugfixquantjit-kernel

参与讨论