#38501 [ROCm][Quantization] Add asymmetric INT8 quantization support to TritonInt8ScaledMMLinearKernel
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-04-06 09:42
为ROCm平台Triton内核添加非对称INT8量化支持,解锁非对称INT8模型运行。
建议精读vllm/model_executor/kernels/linear/scaled_mm/triton.py文件,关注非对称量化处理逻辑和与Cutlass内核的对齐设计;对于ROCm平台开发者,此PR提供了关键量化支持,值得参考实现细节。
参与讨论