Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

kernel 相关 PR

2026-08-09
性能优化 重要性 9.18 洞察度 6.00

新增 flashinfer RMSNorm+FP8 量化融合,支持 SM90/100/120

值得精读 PR,尤其关注 `layernorm.py` 中如何用特征探测安全地启用融合路径、`fp8_utils.py` 如何通过 `pre_quant_output_dtype` 保持 dtype 契约。该模式可作为后续 kernel fusion 接入的参考模板。注意目前仅 LLaMA / Qwen2 两个模型接入,若有相关模型需求可参照推进。

2026-07-30
重构 重要性 8.48 洞察度 6.00

添加内核注册库存防护并清理基准测试布局

推荐内核贡献者和基础设施维护者精读。`KernelRegistry.register()` 的语义变化与冲突检测设计值得学习,尤其是如何在不引入运行时依赖的前提下用 AST 进行结构性验证。此外,文件组织重构为基准测试提供了清晰布局。

2026-05-26

#26112 [Kernel] Reuse WNA16 Marlin MoE workspace

原始 PR · 作者 mickqian · 合并时间 2026-05-26 13:19

性能优化 重要性 5.79 洞察度 5.00

WNA16 MoE Marlin 工作空间复用优化

该 PR 是一个小而有效的性能优化,值得合并。建议关注 workspace 大小参数是否应可配置,以及是否可推广到其他 MoE 后端。