执行摘要

• 一句话：将 FusedMoE 层的 hidden_size 和 intermediate_size 对齐逻辑重构到 quant_method，提升架构清晰度和性能。
• 推荐动作：建议工程师精读此 PR 以理解量化方法在尺寸对齐中的新角色，关注 mxfp4.py 和 quark_moe.py 中的实现差异，以及讨论中关于性能权衡的决策。

功能与动机

根据 PR body，重构旨在将隐藏尺寸和对齐逻辑移至 QuantMethod 处理，存储填充和未填充尺寸在 MoeConfig 中，并启用 Quark MXFP4 MoE 与 aiter 后端运行。review 中提及 #32307 讨论 padding 对齐性能，以及 #38043 将 padding 更改移至独立 PR。

实现拆解

实现方案包括：1. 在 FusedMoEConfig 中添加 hidden_dim_unpadded 和 intermediate_size_per_partition_unpadded 字段以存储原始尺寸；2. 在 FusedMoEMethodBase 中定义 maybe_roundup_sizes 方法，由子类覆盖以实现具体对齐逻辑；3. 修改 FusedMoE 层（layer.py）移除原有的 roundup 逻辑，改为通过 quant_method 计算尺寸；4. 更新 MXFP4 和 Quark MoE 等量化方法以实现 roundup，包括处理 ROCm 设备的 padding 对齐；5. 调整相关 kernel 文件（如 gpt_oss_triton_kernels_moe.py 和 rocm_aiter_fused_moe.py）以适应新尺寸管理方式。

关键文件：

• vllm/model_executor/layers/fused_moe/layer.py（模块 fused_moe）: 核心 FusedMoE 层逻辑重构，移除 roundup 逻辑，改为依赖 quant_method。
• vllm/model_executor/layers/fused_moe/fused_moe_method_base.py（模块 fused_moe）: 添加 maybe_roundup_sizes 方法，定义量化方法的 roundup 接口。
• vllm/model_executor/layers/quantization/mxfp4.py（模块 quantization）: MXFP4 量化方法实现 roundup，处理硬件特定对齐。
• vllm/model_executor/layers/quantization/quark/quark_moe.py（模块 quantization）: Quark MoE 方法实现 roundup，讨论中涉及代码重复和 bug。

关键符号：maybe_roundup_sizes, FusedMoE.init, rocm_aiter_fused_experts

评论区精华

review 中的核心讨论包括：gemini-code-assist[bot] 指出代码重复和潜在 bug，如 QuarkOCP_MX_MoEMethod 中错误参数传递；Rohan138 和 BowenBao 就 padding 对齐（128 vs 256）的性能影响进行讨论，基于性能数据决定统一使用 256 对齐；robertgshaw2-redhat 建议进一步简化，让 FusedMoE 层完全不知道尺寸，但本次重构已实现部分解耦。最终，代码重复问题被标记为待后续优化，padding 更改移至 #38043 PR。

• 代码重复和潜在 bug (correctness): 标记为待后续优化，本次 PR 已部分修复。
• Padding 对齐性能 (performance): 基于性能数据，决定统一使用 256 对齐以提高吞吐量。
• 架构简化建议 (design): 本次重构已实现部分解耦，未来可进一步优化。

风险与影响

• 风险：技术风险包括：回归风险，由于 roundup 逻辑移动可能导致尺寸计算错误，影响模型输出；性能风险，padding 对齐变化（如统一为 256）可能在某些硬件上导致过度填充；兼容性风险，下游代码（如 LoRA 层）依赖 layer.hidden_size 可能需要调整。具体文件如 mxfp4.py 和 quark_moe.py 中的 roundup 实现需仔细测试。
• 影响：对用户的影响：透明，性能提升（如 issue 评论中提到的吞吐量从 2182.16 tok/s 提升至 3617.48 tok/s）；对系统的影响：架构更清晰，量化方法职责明确，便于未来扩展；对团队的影响：开发者需适应新设计，但长期维护性提高。影响范围限于使用 FusedMoE 和特定量化方法的场景。
• 风险标记：代码重复风险, padding 变化回归, 下游兼容性影响

关联脉络

• PR #38043 [Refactor] Move ROCm padding logic to improve performance on mi300x: PR body 中提及 padding 更改移至独立 PR，与本 PR 相关。
• PR #32307 [Unknown]: 讨论中提及 #32307 关于 padding 对齐的讨论。