执行摘要
本 PR 将多个 CUDA 内核（CUTLASS MLA、Hadamard、AWQ、AllSpark、DSV3 fused A GEMM）迁移到 libtorch 稳定 ABI，是 vLLM 构建与 PyTorch 版本解耦系列的第 5 步。变更涉及文件搬迁、API 替换、辅助函数新增及注册调整。但 Review 中提出的两个正确性问题（deque of once_flag 编译错误和 hadacore_transform inplace 逻辑错误）未在合并前修复，可能引入风险。
功能与动机
参考 Issue #26946（RFC: Enable libtorch-ABI-stable vLLM cuda wheels），目的是构建能与不同 PyTorch 版本兼容的 CUDA wheels，简化用户构建体验。本 PR 继续将更多常用量化与注意力内核（CUTLASS MLA、Hadamard、AWQ、AllSpark、DSV3）的 TORCH_LIBRARY 注册迁移到稳定 API。
实现拆解
1. 文件搬迁与目录重构
- AWQ：
csrc/quantization/awq/ → csrc/libtorch_stable/quantization/awq/
- AllSpark：
csrc/quantization/gptq_allspark/ → csrc/libtorch_stable/quantization/gptq_allspark/
- DSV3：
csrc/dsv3_fused_a_gemm.cu → csrc/libtorch_stable/dsv3_fused_a_gemm.cu
- Hadamard：
csrc/quantization/hadamard/ → csrc/libtorch_stable/quantization/hadamard/
- CUTLASS MLA：
csrc/attention/mla/ → csrc/libtorch_stable/attention/mla/
2. API 替换
- 所有
TORCH_CHECK 宏替换为 STD_TORCH_CHECK（来自 <torch/headeronly/util/Exception.h>）
torch::Tensor 替换为 torch::stable::Tensor，注意处理 at::ScalarType 为自定义 ScalarType 的场景AT_DISPATCH 宏替换为模板显式实例化- 添加缺失的标准库头文件（
<cublas_v2.h>、<deque>、<mutex> 等）
3. 新增辅助基础设施
- 设备属性缓存（
get_device_prop / get_current_cuda_blas_handle）：在 csrc/libtorch_stable/torch_utils.h 中实现，使用原始 CUDA API 替代 ATen，避免依赖不稳定接口。
4. 注册与声明调整
csrc/libtorch_stable/torch_bindings.cpp：在 STABLE_TORCH_LIBRARY_FRAGMENT 中添加各内核的 def，在 STABLE_TORCH_LIBRARY_IMPL 添加 implcsrc/libtorch_stable/ops.h：添加对应的 stable::Tensor 版本函数声明- 从旧路径
csrc/torch_bindings.cpp 和 csrc/ops.h 中移除对应定义
5. 标量类型头文件精简
csrc/core/scalar_type.hpp 将 #include <torch/library.h> 替换为轻量级异常头，使用 STD_TORCH_CHECK 减少编译依赖。
csrc/libtorch_stable/torch_utils.h
稳定 ABI 基础设施核心：新增设备属性缓存（get_device_prop）和 cuBLAS handle 获取（get_current_cuda_blas_handle）辅助函数，替代 ATen 调用。
// csrc/libtorch_stable/torch_utils.h
// 新增部分：设备属性缓存与 cuBLAS handle 获取（稳定 ABI 兼容）
#include <cublas_v2.h>
#include <cuda_runtime.h>
#include <deque>
#include <mutex>
#include <vector>
// 全局缓存：每设备一次的 once_flag 和 cudaDeviceProp
inline std::deque<std::once_flag> device_flags;
inline std::vector<cudaDeviceProp> device_properties;
inline std::once_flag vectors_init_flag;
inline void do_init_device_vectors() {
int device_count;
cudaError_t err = cudaGetDeviceCount(&device_count);
STD_TORCH_CHECK(err == cudaSuccess, "cudaGetDeviceCount failed");
device_flags.resize(device_count); // 注意：std::once_flag 非拷贝非移动，此处可能编译错误
device_properties.resize(device_count);
}
inline cudaDeviceProp* get_device_prop() {
initDeviceVectors();
int device_index;
cudaError_t err = cudaGetDevice(&device_index);
STD_TORCH_CHECK(err == cudaSuccess, "cudaGetDevice failed");
std::call_once(device_flags[device_index], initDeviceProperty, device_index);
return &device_properties[device_index];
}
inline cublasHandle_t get_current_cuda_blas_handle() {
void* blas_handle_ptr = nullptr;
TORCH_ERROR_CODE_CHECK(torch_get_current_cuda_blas_handle(&blas_handle_ptr));
return reinterpret_cast<cublasHandle_t>(blas_handle_ptr);
}
csrc/core/scalar_type.hpp
头文件依赖精简：将 替换为轻量级 ，并使用 STD_TORCH_CHECK。
// csrc/core/scalar_type.hpp 关键替换
// 变更前：
// #include <torch/library.h>
// ...
// TORCH_CHECK(mantissa > 0 && exponent > 0);
// 变更后：
#include <torch/headeronly/util/Exception.h>
// 使用 STD_TORCH_CHECK 替代 TORCH_CHECK
STD_TORCH_CHECK(mantissa > 0 && exponent > 0);
// 此举减少对完整 torch 库的链接依赖，提升头部编译速度。
评论区精华
gemini-code-assist[bot]（关于 deque 编译问题）： "The use of std::deque<std::once_flag> and calling resize() on it will cause a compilation error because std::once_flag is non-copyable and non-movable." 建议改为一次性初始化所有设备属性，避免 per-device once_flag。 结论：未修复。
gemini-code-assist[bot]（关于 hadacore_transform）： "Two significant issues in the hadacore_transform implementation regarding the inplace parameter... input modification and uninitialized return values." 结论：未修复。
cleonard530（合并冲突标注）： 在 CMakeLists.txt、ops.h、torch_bindings.cpp 等文件中标注了因其他提交导致的冲突位置，并逐一说明。
风险与影响
- 编译风险：
deque<once_flag> 的 resize() 在 C++ 标准中要求 MoveInsertable，但 once_flag 不可复制/移动，大多数编译器会报错。需替换为 vector<unique_ptr<once_flag>> 或在初始化阶段直接分配。
- 逻辑风险：
hadacore_transform 的 inplace 参数处理错误可能导致非 inplace 调用时输入被意外修改或返回未初始化张量，影响 Hadamard 变换的量化路径。
- 回归风险：内核迁移至稳定 ABI 后，在 SM70-89 架构上行为需验证，尤其 AllSpark 和 DSV3 有 SM90+ 限制条件。
- 影响范围：直接影响所有使用 AWQ、AllSpark、DeepSeek V3、MLa 等量化方式的用户，但迁移正确时行为应透明。团队需尽快修复上述两个问题并在 CI 中覆盖。
关联脉络
本 PR 是稳定 ABI 迁移系列的第 5 步，延续 #38671，目标最终解决 #26946。同一系列还有对 MoE、pooling 等模块的迁移。Review 中发现的编译错误与逻辑问题表明，在批量迁移中需要更细致的代码审查和测试覆盖。
参与讨论