Qwen3.5-397B-A17B-FP8 在 Fused MoE Triton Kernel 上未经过针对性调优，导致 H100 GPU 上的吞吐性能次优。本 PR 通过运行调优脚本生成专用于该模型和硬件组合的配置，以释放硬件性能。
建议合并。该 PR 为纯增量配置，无风险，性能提升明确。值得关注的是 SGLang 的 MoE 调优框架可以自动加载此类配置，为未来模型适配提供良好范例。
该 PR 无 review 讨论，仅有一条来自作者的说明：此配置为调查 Issue #23500 时的附带优化成果。
Qwen/Qwen3.5-397B-A17B-FP8，张量并行度 8，GPU 为 NVIDIA H100 80GB HBM3，数据类型 FP8 w8a8。benchmark/kernels/fused_moe_triton/tuning_fused_moe_triton.py 脚本，执行调优。BLOCK_SIZE_M、BLOCK_SIZE_N、BLOCK_SIZE_K、GROUP_SIZE_M、num_warps、num_stages。python/sglang/srt/layers/moe/moe_runner/triton_utils/configs/triton_3_5_1/E=512,N=128,device_name=NVIDIA_H100_80GB_HBM3,dtype=fp8_w8a8,block_shape=[128, 128].json。以下为配置文件中批次大小 16 时的典型条目（其他大小类似但参数有调整）：
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
python/sglang/srt/layers/moe/moe_runner/triton_utils/configs/triton_3_5_1/E=512,N=128,device_name=NVIDIA_H100_80GB_HBM3,dtype=fp8_w8a8,block_shape=[128, 128].json |
MoE 配置 | added | 5.86 |
python/sglang/srt/layers/moe/moe_runner/triton_utils/configs/triton_3_5_1/E=512,N=128,device_name=NVIDIA_H100_80GB_HBM3,dtype=fp8_w8a8,block_shape=[128, 128].json
configuration
新增 Qwen3.5-397B-A17B-FP8 在 H100 上的 Fused MoE Triton 调优参数配置，直接提升解码吞吐量。
{
// 批次大小 16 时的最优调优参数
"16": {
"BLOCK_SIZE_M": 16, // M 维度 tile 大小，较小值适配小批次
"BLOCK_SIZE_N": 64, // N 维度 tile 大小，平衡计算与访存
"BLOCK_SIZE_K": 128, // K 维度 tile 大小，固定为 128 匹配 FP8 block shape
"GROUP_SIZE_M": 64, // M 方向分组大小，影响并行度
"num_warps": 4, // 每个 thread block 包含 4 个 warp
"num_stages": 3 // 软件流水线阶段数，控制寄存器占用
}
}
作者 zhendonghua 在评论中提到，该配置是在调查 Issue #23500 时发现的附带优化。
结论：无进一步讨论，PR 直接合并。 · mentioned
风险很低。该配置仅针对 H100 GPU 和 FP8 w8a8 精度，其他硬件不会加载此文件，不会造成回归。未来若 Triton kernel 或模型结构变化，该配置可能过期，但由于是独立文件，更新和替代都较容易。
对用户：使用 Qwen3.5-397B-A17B-FP8 在 H100 上推理的用户可获得最高约 11% 的解码吞吐提升，尤其是高并发场景效果显著。对系统：无运行时副作用，纯增量配置。对团队：维护成本极低，且提供了在 SGLang MoE 框架中添加新调优配置的参考示例。
当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。
参与讨论