执行摘要

• 一句话：重构 AWQ Marlin MoE 至模块化 WNA16 oracle
• 推荐动作：值得精读，尤其是如何将量化 MoE 接入模块化 FusedMoEKernel 框架。展示了后端选择和 kernel 构建的抽象设计。开发者在实现新量化方案时可参考此模式。

功能与动机

该 PR 旨在将 AWQ-Marlin MoE 纳入现有的 WNA16 模块化 MoE oracle 路径，避免重复的权重处理和 kernel 调用逻辑。通过重用 select_wna16_moe_backend、make_wna16_moe_kernel 等基础设施，减少维护成本并确保不同量化方案的行为一致性。同时修复 batched Marlin 路径中 activation scales 和 zero-point 缺失的问题。

实现拆解

1. awq_marlin.py: 移除对 fused_marlin_moe 的直接导入，改用 oracle 中的 select_wna16_moe_backend 和 make_wna16_moe_kernel；新增辅助函数 _replace_or_register_parameter 统一参数注册；在 process_weights_after_loading 中调用 _setup_kernel 委托 kernel 构建。
2. int_wna16.py: 新增 _process_awq_weights_marlin 函数，专门处理 AWQ 权重重排、zero-point 转换和 activation scales 提取；导出 convert_to_wna16_moe_kernel_format 供 AWQ 模块调用。
3. marlin_moe.py: 修改 batched_fused_marlin_moe 接口，增加 input_global_scale1/2 和 input_dtype 参数；调整 block_size_m 为基于 expert capacity 的动态调优；在 MarlinExperts.apply() 中传递新的参数。
4. config.py: 在 awq_marlin_moe_quant_config 中增加 a1_gscale/a2_gscale 字段，用于携带 activation global scales。
5. auto_gptq.py: 移除 make_wna16_moe_kernel 调用中多余的 layer 参数。
6. test_moe.py: 将 batched 测试参数化，新增 awq-int8-activation-metadata 组合用例，验证 activation scales 和 zero-point 的传递正确性。

关键文件：

• vllm/model_executor/layers/quantization/awq_marlin.py（模块 AWQ量化；类别 source；类型 data-contract；符号 _replace_or_register_parameter, _setup_kernel, get_fused_moe_quant_config）: 主要重构文件，移除了对 fused_marlin_moe 的直接调用，引入 oracle 路径，新增 _replace_or_register_parameter 和 _setup_kernel。
• vllm/model_executor/layers/fused_moe/oracle/int_wna16.py（模块 MoE oracle；类别 source；类型 data-contract；符号 _process_awq_weights_marlin）: 新增 _process_awq_weights_marlin 函数，处理 AWQ 特有的权重重排和 zero-point 转换，是 oracle 路径的关键扩展。
• vllm/model_executor/layers/fused_moe/experts/marlin_moe.py（模块 Marlin专家；类别 source；类型 data-contract）: 修改 batched_fused_marlin_moe 接口以支持 activation scales 和 input_dtype，并优化 block_size_m 调优。
• tests/kernels/moe/test_moe.py（模块 MoE测试；类别 test；类型 test-coverage；符号 _batched_fused_marlin_moe_cases）: 参数化 batched 测试，新增 awq-int8-activation-metadata 用例验证激活元数据传递。
• vllm/model_executor/layers/fused_moe/config.py（模块 MoE配置；类别 source；类型 data-contract）: 在 awq_marlin_moe_quant_config 中增加 a1_gscale/a2_gscale 字段，支持 activation global scales 传递。
• vllm/model_executor/layers/quantization/auto_gptq.py（模块 GPTQ量化；类别 source；类型 data-contract）: 移除 make_wna16_moe_kernel 中多余的 layer 参数。

关键符号：_replace_or_register_parameter, _setup_kernel, _process_awq_weights_marlin, batched_fused_marlin_moe, awq_marlin_moe_quant_config

评论区精华

• block_size_m 调优：gemini-code-assist 指出硬编码 64 对稀疏分布不优，建议调优；robertgshaw2-redhat 询问来源；bedeks 解释来自 gemini 建议。最终采纳了动态调优循环。
• layer 参数移除：bnellnm 指出 make_wna16_moe_kernel 未使用 layer 参数，bedeks 在后续 commit 中移除。
• quant_type_id zero-point 检查：robertgshaw2-redhat 询问 w1_zp/w2_zp 非 None 时返回 uint4.id 是否正确（提及 @LucasWilkinson）；合并前未明确解决。
• 测试合并：bnellnm 要求将单独测试合并到 batched 测试中；bedeks 执行了参数化合并。

• 后端兼容性：bnellnm 要求 process_weights_after_loading 也调用 convert_to_wna16_moe_kernel_format 以支持非 Marlin 后端；bedeks 在后续 commit 中添加。

  • batched 路径 block_size_m 调优 (performance): 采纳了调优循环，避免冗余逻辑。
  • make_wna16_moe_kernel 的 layer 参数 (design): 在后续 commit 中移除了 layer 参数。
  • quant_type_id zero-point 检查 (correctness): 未明确解决，但已合并。
  • 将单独测试合并到现有 batched 测试 (testing): 已合并。

风险与影响

• 风险：主要风险在于 AWQ 权重重排和 zero-point 转换的正确性，如果 _process_awq_weights_marlin 实现有误可能导致推理精度下降。batched 路径新增参数 input_global_scale1/2 和 input_dtype 需要所有调用者传递正确值，遗漏可能导致静默错误。block_size_m 调优逻辑可能对不同工作量带来性能波动。建议通过现有测试（test_moe.py 中的 batched_fused_marlin_moe 用例）和 end-to-end 模型测试验证。
• 影响：影响范围：使用 AWQ 量化的 MoE 模型用户。功能上透明，重构不应改变行为。因 block_size 调优，小批量推理性能可能提升。维护者受益于统一量化路径。代码变更集中在 6 个文件，但核心逻辑在 awq_marlin.py 和 int_wna16.py。影响程度中等，回退风险较低。
• 风险标记：AWQ权重处理路径变更, batched Marlin接口扩展, block_size调优影响性能波动

关联脉络

• PR #39189 original PR: Refactor AWQ Marlin MoE onto modular WNA16 oracle: 当前 PR 是基于该 PR 的 rebase 和后续修改。
• PR #42783 [Model Runner v2] Support update_config: PR 作者指出失败测试需要此 PR 修复后才能通过。