Prhub

#38817 [ROCm] Enable fused_silu_mul_block_quant on ROCm

原始 PR 作者 gshtras 合并时间 2026-04-09 00:23 文件变更 7 提交数 6 评论 1 代码增减 +28 / -29

rocm quantization v1 performance kernel

执行摘要

启用 ROCm 上的 fused SiLU+Mul 块量化内核，支持 AMD GPU。

PR body中提到：‘Another follow up for #32996 This time properly enabling the new kernel on ROCm instead of guarding Include path changes are needed because the hipify script would ignore absolute include paths and multiple slightly different versions of the same header would end up being included, causing symbol redefinition errors. Setting the device index globally in the test solves the IMA error from torch on ROCm’。这解释了为修复hipify脚本问题和ROCm上torch的IMA错误而进行此变更。

对于从事ROCm支持、量化优化或内核开发的工程师，此PR值得精读，重点关注跨平台兼容性处理、包含路径调整策略以及测试平台无关化的设计决策。

讨论亮点

Review中仅有一条评论来自gemini-code-assist[bot]，指出在csrc/torch_bindings.cpp中，关于DeepSeek V3 GEMM的注释被错误地移动到了silu_and_mul_per_block_quant注册处，可能造成混淆。该评论建议将注释移回正确位置。从提交历史看，作者后续提交了‘Move comment back to where it belongs’，表明此问题已解决。无其他争议或未解决疑虑。

实现拆解

实现方案围绕启用ROCm支持展开：1) 构建系统：在CMakeLists.txt中添加fused_silu_mul_block_quant.cu源文件，并调整条件编译逻辑。2) 内核接口：在csrc/ops.h中移除#ifndef USE_ROCM守卫，使silu_and_mul_per_block_quant函数在ROCm上公开。3) 包含路径：修改csrc/quantization/fused_kernels/quant_conversions.cuh和csrc/quantization/w8a8/fp8/common.cuh，将绝对路径改为相对路径，以避免hipify脚本问题。4) PyTorch绑定：在csrc/torch_bindings.cpp中将silu_and_mul_per_block_quant的注册移出ROCm守卫，并修复注释位置错误。5) 测试：更新tests/kernels/core/test_fused_silu_mul_block_quant.py，使用current_platform.fp8_dtype()实现平台无关数据类型，并修改设备设置方式以避免IMA错误。6) 编译优化：在vllm/compilation/passes/fusion/act_quant_fusion.py中将条件从is_cuda()改为is_cuda_alike()，使融合pass在ROCm上工作。

文件 模块 状态 重要度
CMakeLists.txt 构建系统 modified 5.0
csrc/ops.h 内核接口 modified 7.0
csrc/torch_bindings.cpp PyTorch 绑定 modified 6.0
tests/kernels/core/test_fused_silu_mul_block_quant.py 测试 modified 5.0
vllm/compilation/passes/fusion/act_quant_fusion.py 编译优化 modified 6.0

分析完成后，这里会展示 LLM 生成的相对完整源码片段和详细注释。

关键符号

silu_and_mul_per_block_quant

评论区精华

注释位置错误 documentation

gemini-code-assist[bot] 指出在 csrc/torch_bindings.cpp 中，描述 DeepSeek V3 GEMM 的注释被错误地移动到了 silu_and_mul_per_block_quant 注册处，可能造成混淆。

结论：作者在后续提交中修复了此问题，将注释移回正确位置，状态为已解决。 · 已解决

风险与影响

技术风险包括：1) 包含路径变更可能影响其他文件的编译，尤其是在跨平台环境中，若相对路径处理不当可能导致头文件找不到。2) 内核在ROCm上的正确性和性能未经广泛测试，可能存在回归或兼容性问题。3) 测试修改中全局设置设备索引可能掩盖平台特异性问题，影响测试的可靠性。4) 条件编译守卫移除后，若ROCm实现有缺陷，可能引入运行时错误。

影响范围：1) 对用户：ROCm平台用户现在可以使用fused_silu_mul_block_quant内核，可能提升量化模型的推理性能。2) 对系统：编译系统更统一，减少了平台差异；测试更平台无关，提高了代码可维护性。3) 对团队：促进了跨硬件支持，为后续AMD GPU优化奠定了基础。影响程度中等，主要针对使用ROCm和量化功能的用户。

包含路径变更 跨平台兼容性 测试依赖性

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。

完整报告

Markdown PDF

执行摘要

本PR启用了ROCm平台上的fused SiLU+Mul块量化内核，通过移除条件编译守卫、调整包含路径和更新测试，解决了hipify脚本导致的符号重定义错误和torch IMA错误，为AMD GPU用户提供量化性能优化。

功能与动机

此变更是#32996的后续工作，旨在“正确启用新内核在ROCm上而非仅通过守卫”。动机源于hipify脚本忽略绝对包含路径，导致同一头文件多个版本被包含，引发符号重定义错误；同时，测试中全局设置设备索引解决了ROCm上torch的IMA错误。这些调整确保了内核在AMD GPU上的可用性和稳定性。

实现拆解

  • 构建系统：在CMakeLists.txt中添加fused_silu_mul_block_quant.cu源文件，并调整条件逻辑以支持ROCm编译。
  • 内核接口：在csrc/ops.h中移除#ifndef USE_ROCM守卫，使silu_and_mul_per_block_quant函数在ROCm上公开。
  • 包含路径：修改csrc/quantization/fused_kernels/quant_conversions.cuh和csrc/quantization/w8a8/fp8/common.cuh，将绝对路径改为相对路径（如#include "../w8a8/fp8/common.cuh"），避免hipify问题。
  • PyTorch绑定：在csrc/torch_bindings.cpp中将silu_and_mul_per_block_quant的注册移出ROCm守卫，并修复注释位置错误。
  • 测试更新：在tests/kernels/core/test_fused_silu_mul_block_quant.py中，将QUANT_DTYPES从固定类型改为current_platform.fp8_dtype()，并修改设备设置方式（使用torch.accelerator.set_device_index）以避免IMA错误。
  • 融合pass：在vllm/compilation/passes/fusion/act_quant_fusion.py中将条件从is_cuda()改为is_cuda_alike()，扩展支持ROCm。

评论区精华

Review中仅有gemini-code-assist[bot]的一条评论，指出在csrc/torch_bindings.cpp中，关于DeepSeek V3 GEMM的注释被错误移动：

“This comment is misplaced. The text // DeepSeek V3 fused A GEMM (SM 9.0+, bf16 only, 1-16 tokens). describes the dsv3_fused_a_gemm operation... It should be removed from this location.”
作者在后续提交中修复了此问题，将注释移回正确位置，确保了代码可读性。无其他争议。

风险与影响

  • 技术风险：包含路径变更可能影响其他文件的编译；内核在ROCm上的正确性需进一步验证；测试修改可能掩盖平台特异性问题。
  • 影响分析：对ROCm用户启用量化内核，可能提升推理性能；编译和测试更平台无关，提高了代码可维护性；为团队在多硬件支持上积累经验。

关联脉络

从历史PR看，此PR与#39087（ROCm内核修复）和#38682（XPU量化支持）相关，共同反映vLLM项目在多平台量化集成上的演进趋势。这些PR展示了在扩展硬件支持时，如何处理跨平台编译、内核优化和测试适配的共性挑战。

参与讨论