执行摘要

本PR修复了SM120 MXFP8 Triton路径中因PyTorch Dynamo无法跟踪@lru_cache函数而导致的CUDA图捕获崩溃，通过预计算GPU支持标志解决，确保Blackwell GPU上量化推理的稳定性和性能优化正确性。

功能与动机

动机源于PR #19112引入的CUDA图捕获错误，错误截图显示崩溃。问题根因是is_sm100_supported()和is_sm120_supported()在编译代码路径中被调用，而PyTorch Dynamo不能正确处理@lru_cache包装的函数。PR body明确引用："Previous PR #19112 introduced cuda graph capturing crash error: ... PyTorch Dynamo can't trace @lru_cache-wrapped functions." 这迫使团队采取静态预计算方案以避免动态调用。

实现拆解

改动集中在quantization模块的两个文件：

• python/sglang/srt/layers/quantization/fp8_kernel.py：在模块导入时添加_is_sm100_supported和_is_sm120_supported变量，替换mxfp8_block_scaled_matmul_triton函数中的动态调用，关键代码变更：num_stages = 1 if _is_sm120_supported else (4 if _is_sm100_supported else 1)。
• python/sglang/srt/layers/quantization/fp8_utils.py：类似地预计算标志，更新triton_mxfp8_blockscaled_linear函数中的GPU支持检查和num_stages设置，例如：if not (_is_cuda and (_is_sm100_supported or _is_sm120_supported)):。

评论区精华

review过程简单，审核者b8zhong和Fridge003直接批准，没有留下评论或技术讨论。这表明变更被视为低风险且符合预期，团队信任作者的修复方案。

风险与影响

风险：预计算在导入时进行，假设GPU环境静态；如果运行时环境动态变化（如GPU设备切换），可能导致标志错误，引发兼容性问题。修改涉及核心量化内核，需确保测试覆盖SM100/SM120特定路径，避免回归。
影响：直接修复了使用MXFP8量化在Blackwell GPU上CUDA图捕获的崩溃，提升系统可靠性和用户体验；间接优化CUDA图性能，通过正确设置num_stages确保推理效率。

关联脉络

与历史PR #19112（引入错误）直接相关，但未在提供的列表中；近期PR如#21452（修复piecewise CUDA graph）和#21190（启用Whisper CUDA图）显示团队持续关注CUDA图支持优化，本PR是这一技术演进趋势的一部分，共同提升系统稳定性和性能。