Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

benchmark 相关 PR

2026-05-30

#24755 Optimize large add_constant tensors

原始 PR · 作者 BBuf · 合并时间 2026-05-30 22:25

性能优化 重要性 7.06 洞察度 5.00

向量化 add_constant 大张量,H200 加速 35%

值得精读。向量化 kernel 的设计(架构感知向量宽度、对齐检查、阈值判断、fallback 路径)是 CUDA kernel 优化的典型模式。benchmark 的实现也值得参考,可以复用到其他 kernel。

2026-05-29

#26668 [Doc] Update benchmark instruction for dsv4

原始 PR · 作者 Fridge003 · 合并时间 2026-05-29 14:37

文档 重要性 3.84 洞察度 2.00

更新 DeepSeek-V4 基准测试文档

该 PR 为纯粹的文档维护,无代码逻辑变更,对于关注 DeepSeek-V4 评估流程的读者有参考价值。开发团队可将其作为文档更新流程的示例,但无需深入 code review。

功能 重要性 8.27 洞察度 7.00

为 GSP 数据集增加 Zipf 前缀分布采样

该 PR 设计干净,值得阅读:1)`_zipf_group_probs` 数学实现简洁;2)CLI 校验前移,减少用户等待;3)RNG 隔离保证可复现性;4)缓存键细分,避免不同分布互相污染;5)测试覆盖全面,包括数学验证和子进程 CLI 测试。

功能 重要性 8.28 洞察度 5.00

为 bench_serving 添加 SPEED-Bench 数据集支持,用于推测解码基准测试

值得关注。该 PR 展示了如何通过标准的 BaseDataset 接口扩展 bench_serving 的数据集类型,是一种良好的插件式设计。对于计划集成其他标准化基准(如 MMLU、HumanEval)的开发者具有参考价值。review 中的优化建议和采纳过程也体现了代码质量意识。

2026-05-27
性能优化 重要性 8.72 洞察度 6.00

替换Pydantic逐元素验证为C循环,API性能提升25倍

值得精读以了解如何利用 Python `array` 模块和 Pydantic `PlainValidator` 实现高性能类型验证。其微基准测试方法也可推广到其他热点路径的优化评估。

2026-05-21

#25298 Fix bench_serving non-stream reasoning content

原始 PR · 作者 Ratish1 · 合并时间 2026-05-21 02:41

缺陷修复 重要性 6.84 洞察度 4.00

修复 bench_serving 非流式推理模型内容为空导致崩溃

本 PR 改动虽小但修复明确、测试充分,建议快速合并。值得关注的设计决策是提炼共享函数而非在流式和/或非流式路径中分别维护内联拼接,这种做法提升了代码一致性和可维护性。对于编写基准测试或工具类脚本的工程师,这种小规模提取手法可借鉴。