#44626 [ROCm][AITER][Quark] Tag per-channel FP8 weights as PER_CHANNEL so AITER pre-shuffled GEMM is selected
原始 PR · 作者 xaguilar-amd · 合并时间 2026-06-17 22:05
修复 Quark FP8 权重 scale 标签错误以启用 AITER 预洗牌 GEMM
建议精读此 PR,尤其是讨论中关于 vLLM 内部权重 scale 标签不一致的深入分析。该修复展示了正确的方案:当框架内部表示不统一时,优先在源头改正(采用压缩张量规范),而不是在消费端做兼容 hack。
参与讨论