执行摘要
本PR通过启用Torch Inductor的combo_kernels功能，实现水平融合以减少GPU内核数，在Qwen3-0.6B模型上内核数降低14%，优化了推理性能。变更聚焦于编译配置，仅在使用Inductor后端时激活，体现了条件控制的设计权衡，适合高并发场景。
功能与动机
为什么做：PR body中明确指出，水平融合能将如q_norm + k_norm的操作融合为单个Triton内核，减少内核启动开销。作者在Issue评论中补充，这需配合--piecewise-cuda-graph-compiler inductor使用，旨在提升高并发或小模型下的性能效率。性能数据截图显示，GPU内核数从413降至357，QK norm内核每层从4减至2，验证了优化效果。
实现拆解
关键改动：在python/sglang/srt/compilation/compilation_config.py的CompilationConfig类中新增configure_inductor方法。代码如下：
def configure_inductor(self):
"""Apply inductor-specific optimizations when using inductor compiler."""
if self.compiler != "inductor":
return
import torch._inductor.config as inductor_config
if hasattr(inductor_config, "combo_kernels"):
inductor_config.combo_kernels = True
inductor_config.benchmark_combo_kernel = True
该方法在类初始化时调用，检查编译器类型后设置Inductor配置，启用水平融合。
评论区精华
讨论要点：Reviewer Oasis-Git在Issue评论中提出关键建议：
'将变更移至编译文件夹下的config.py，而不是Piecewise Cuda Graph文件'
'使用条件控制启用，例如当编译后端为inductor时，避免干扰CI和默认模式'
作者回应采纳建议，将配置集中化并添加条件检查，确保优化仅针对Inductor后端，避免副作用。
风险与影响
技术风险：
- 依赖版本：需要Torch >=2.9.0，低版本可能导致功能失效或异常。
- 覆盖范围：仅激活于Inductor后端，其他编译模式无优化。
- 性能收益：优化在低负载下可能不明显，实际提升依赖工作负载。
影响分析：
- 用户影响：潜在性能提升，减少内核数可降低GPU资源竞争，尤其在高并发场景。
- 系统影响：优化编译路径，可能提升推理吞吐量，但需监控兼容性。
- 团队影响：CI测试需覆盖Inductor路径，并确保Torch版本管理。
关联脉络
历史PR关联：
- PR #22444：同为性能优化，通过减少GDN后端操作数提升效率，共享
performance标签。
- PR #21339：涉及编译后端和内核优化（如FlashInferCuteDslMoE层），共享
jit-kernel标签，展示编译配置在性能演进中的角色。
演进趋势：近期PR显示SGLang持续优化内核效率和编译路径，本PR进一步强化了Inductor编译的性能潜力，为未来高并发优化奠定基础。
参与讨论