执行摘要

本PR将CUTLASS量化GEMM和混合专家（MoE）内核从PyTorch不稳定ABI迁移到稳定ABI，涉及54个文件的移动、类型替换和构建配置更新。核心变更是提升长期兼容性，同时保持功能不变。变更影响关键量化模块，建议团队关注ABI适配策略和测试覆盖。

功能与动机

迁移的主要动机是解决PyTorch稳定ABI兼容性问题，引用PR body中的Issue 26946。作者指出“Purpose https://github.com/vllm-project/vllm/issues/26946”，并说明本PR堆叠在PR 36058之上，是整体迁移计划的第三部分。目的是确保量化操作在未来的PyTorch版本升级中保持稳定，减少破坏性变更。

实现拆解

实现按模块拆解如下：

• 构建配置：修改CMakeLists.txt，将CUTLASS相关源文件（如scaled_mm_entry.cu）从_C目标移动到_C_stable_libtorch目标，更新编译标志和包含目录。示例变更：
  

  list(APPEND VLLM_STABLE_EXT_SRC "csrc/libtorch_stable/quantization/w8a8/cutlass/scaled_mm_entry.cu")
  

• 代码迁移：移动34个文件到csrc/libtorch_stable/目录，并系统替换Tensor类型和检查宏。例如，在scaled_mm_epilogues_c3x.hpp中：
  

  #ifdef TORCH_TARGET_VERSION
  using TensorType = torch::stable::Tensor;
  #else
  using TensorType = torch::Tensor;
  #endif
  

• 注册与接口：更新csrc/libtorch_stable/torch_bindings.cpp添加稳定ABI操作注册，同时清理csrc/ops.h中的旧声明。

评论区精华

Review讨论中提炼以下要点：

• CMake冗余检查：gemini-code-assist[bot]指出“These if(VLLM_GPU_LANG STREQUAL "CUDA") checks are redundant”，建议移除以提高清晰度；janeyx99回应“I trust that CI would catch egregious things”。
• assert使用问题：gemini-code-assist[bot]强调“Using assert for this check is inconsistent”，建议改用STD_TORCH_CHECK；zou3519和mikaylagawarecki确认为预存在问题，决定保留。
• 代码简化争议：janeyx99询问“how come we don't use using Tensor = torch::stable::Tensor;”，mikaylagawarecki解释“when I did this it caused issues in some headers as there was both cute::Tensor and torch::stable::Tensor”。

风险与影响

技术风险：

1. 回归风险：Tensor类型替换可能引入逻辑错误，如scaled_mm_c2x.cu中的assert在发布构建中失效。
2. 兼容性风险：CMake变更可能影响非CUDA环境（如未来HIP支持）。
3. 测试覆盖不足：PR测试仅覆盖基础量化测试，但合并后CI显示分布式测试失败，表明边缘场景未覆盖。

影响评估：

• 用户：无直接影响，API保持不变。
• 系统：量化GEMM和MoE操作现在运行于稳定ABI，提升兼容性；构建系统复杂度增加。
• 团队：需适应稳定ABI代码模式，后续开发需优先使用新路径。

关联脉络

本PR是更大稳定ABI迁移工作流的一部分，直接堆叠在PR 36058（迁移更多文件到稳定ABI）之上。从Issue评论可知，PR 31509也是相关早期迁移。结合近期历史PR分析（如PR 38423涉及CUTLASS升级），可见仓库正持续优化量化模块的兼容性和性能。此PR揭示了向稳定ABI迈进的架构演进方向，为未来支持多GPU语言（如HIP）奠定基础。