执行摘要

本PR修复了在AMD MI300等硬件仿真OCP MXFP4量化时权重未正确创建导致的测试失败问题。通过调整量化方案文件中的权重处理逻辑，确保动态MXFP4量化在仿真模式下正常工作，提升了CI稳定性和AMD平台量化功能可靠性。

功能与动机

测试test_ocp_mx_moe.py:test_mxfp4_loading_and_execution_moe因两个原因失败：一是cuda_graph_capture_sizes设置冲突，二是仿真模式下权重未正确创建。PR旨在修复这些问题，确保在AMD硬件上仿真OCP MXFP4量化时权重正确处理，避免process_weights_after_loading方法崩溃。

实现拆解

修改集中在文件vllm/model_executor/layers/quantization/quark/schemes/quark_ocp_mx.py：

• 新增process_dynamic_mxfp4_weights_after_loading方法，专门处理动态MXFP4量化的权重和尺度参数。
• 在process_weights_after_loading方法中，调整逻辑分支：当emulate为True时，如果启用dynamic_mxfp4_quant，则调用新增方法；否则正常处理权重尺度。
• 代码片段：
  

  def process_dynamic_mxfp4_weights_after_loading(self, layer: torch.nn.Module):
      w_q, w_s = dynamic_mxfp4_quant(layer.weight)
      layer.weight_scale = torch.nn.Parameter(w_s.T.contiguous(), requires_grad=False)
      layer.weight = torch.nn.Parameter(w_q, requires_grad=False)
  

评论区精华

review讨论核心围绕dynamic_mxfp4_quant功能的正确性：

• BowenBao：指出原始修改可能破坏dynamic_mxfp4_quant功能，建议将逻辑整合到process_weights_after_loading中。
• dllehr-amd：解释dynamic_mxfp4_quant用于deepseek_v3模型量化。
• rasmith：采纳建议调整代码，确保仿真模式下动态量化权重正确创建。
  讨论以代码调整和批准结束，解决了兼容性问题。

风险与影响

风险：权重处理逻辑错误可能导致模型精度下降或运行时崩溃，尤其动态量化路径；仿真模式兼容性需谨慎测试。
影响：修复了测试失败，提升CI稳定性；用户影响限于使用OCP MXFP4量化且在AMD仿真的场景，增强vLLM在AMD平台量化支持。

关联脉络

与历史PR #35733 关联，后者同样涉及AMD硬件仿真模式下的量化支持（NVFP4）。这表明vLLM持续优化在AMD平台上的量化方案兼容性，本PR是这一方向的补充修复。