执行摘要

此PR为SM120 Blackwell GPU添加triton_kernels支持，使GPT-OSS模型能在该硬件上运行MXFP4量化推理。通过修改量化层和服务器配置，适配硬件限制（如禁用持久化内核），在测试中达到约260 TPS，但需注意兼容性风险（如特定GPU型号失败）和外部依赖。

功能与动机

动机源于支持GPT-OSS模型在新型Blackwell GPU（SM120）上的需求。根据PR body，作者基于原PR #16975重基并测试，旨在利用triton_kernels提升量化推理性能。关键表述包括：'Tested on 2 x 5090'和'Requires: pip install triton_kernels --no-deps'，强调功能验证和依赖管理。

实现拆解

改动集中在两个文件，按模块拆解：

• 量化层模块（mxfp4.py）：修改_swizzle_mxfp4函数，添加对is_sm120_supported()的条件分支。当检测到SM120时，使用StridedLayout并禁用持久化内核（设置constraints为{"is_persistent": False, "num_stages": 1}），以绕过Blackwell桌面GPU不支持TMA块布局的断言错误。同时更新create_weights函数中的条件判断，确保一致性。
• 服务器配置模块（server_args.py）：修改_handle_model_specific_adjustments函数，添加逻辑当检测到SM120和MXFP4量化格式时，设置MOE runner backend为'triton_kernel'，并输出日志：'Detected SM120 and MXFP4 quantization format for GPT-OSS model, enabling triton_kernel MOE kernel.'。

评论区精华

issue评论中主要讨论线程：

• 作者归属：amittell要求添加co-author，引用原话：'would appreciate being added as a co-author via Co-authored-by: in the commit message'。最终在合并消息中处理，但格式问题引发后续讨论。
• 兼容性反馈：mmangkad报告具体错误：'assert num_stages >= 1'，amittell回应提到修复在PR #20040，显示快速响应。
• 性能数据：amittell分享测试表格，比较不同后端吞吐量，例如'triton_kernel'在4K上下文下达到142.6 tok/s，提供实践参考。

风险与影响

风险：

1. 硬件兼容性：SM120变体（如RTX PRO 6000 Server Edition）可能因共享内存限制失败，需额外补丁。
2. 外部依赖：必须安装triton_kernels包，增加部署复杂度和潜在版本冲突。
3. 代码维护：硬编码条件分支（如if is_sm120_supported()）可能使逻辑脆弱，影响未来扩展。

影响：

• 用户：扩展硬件支持，使Blackwell GPU用户能运行GPT-OSS量化模型，提升可用性。
• 系统：可能优化性能（测试约260 TPS），但依赖硬件和内核选择，需实际验证。
• 团队：引入新依赖和硬件特定代码，增加测试和维护负担。

关联脉络

此PR直接关联PR #16975（原作者amittell），是功能延续；与PR #20040相关，后者修复本PR引入的兼容性问题，显示仓库在硬件支持上的迭代演进。结合近期历史PR（如#19452涉及NUMA配置、#20972性能优化），可见SGLang在持续优化硬件适配和量化推理性能。