执行摘要

• 一句话：支持 Ampere 上 modelopt_mixed 量化
• 推荐动作：值得精读。此 PR 展示了一项看似微小的变更（将 89 改为 80）如何通过深入理解内核需求而解锁 Ampere 上的重要功能。设计决策清晰，注释充分。同时注意其依赖的 KV 缓存错误处理（#43914）以确保整体体验。

功能与动机

modelopt_mixed 检查点实际上不依赖原生 FP8 张量核心——NVFP4 路由专家通过 Marlin W4A16 运行，FP8 权重密集型层通过 MarlinFP8 (W8A16) 运行，两者仅需计算能力 ≥ 7.5。原始的 get_min_capability() 返回 89 错误地阻止了这些检查点在 Ampere GPU 上使用。PR body 指出：“ModelOptMixedPrecisionConfig rejected these GPUs at engine-config validation ("Minimum capability: 89")，even though modelopt_mixed does not require native FP8 tensor cores.”

实现拆解

仅修改了一个文件 vllm/model_executor/layers/quantization/modelopt.py，具体变更如下：

1. 降低最低计算能力：ModelOptMixedPrecisionConfig.get_min_capability() 的返回值从 89 改为 80。添加了详细注释说明原因——NVFP4 和 FP8 权重密集型层均通过 Marlin 内核运行，Marlin 仅需 SM75+，且 FP8 MoE 路径在 SM80 上自拒绝。

2. 修复 FP8 Marlin 权重创建：在 ModelOptFp8LinearMethod.create_weights() 中设置 layer.orig_dtype。其他 FP8 方法已设置此属性，缺少它会导致 FP8 Marlin 路径抛出 AttributeError。

3. 用户需注意：此变更放宽了硬件兼容性，但默认的 --kv-cache-dtype（fp8）在 Ampere 上会失败（Triton Attention 不支持 fp8 KV 缓存，FlashInfer 的 fp8 KV 缓存 emulation 在 T4 上有 bug）。用户必须显式设置 --kv-cache-dtype bfloat16 才能正常使用。关联 PR #43914 提供了更清晰的错误信息。

关键文件：

• vllm/model_executor/layers/quantization/modelopt.py（模块 量化层；类别 source；类型 data-contract；符号 ModelOptMixedPrecisionConfig.get_min_capability）: 核心量化配置类，修改了最低计算能力检查并修复了 Marlin FP8 权重创建属性缺失问题。

关键符号：ModelOptMixedPrecisionConfig.get_min_capability

关键源码片段

vllm/model_executor/layers/quantization/modelopt.py

核心量化配置类，修改了最低计算能力检查并修复了 Marlin FP8 权重创建属性缺失问题。

@classmethod
def get_min_capability(cls) -> int:
    # Ampere (SM80/SM86): NVFP4 路由专家通过 Marlin W4A16 运行 ,
    # FP8 权重密集型层通过 MarlinFP8 (W8A16, bf16/fp16 计算 ) 运行 .
    # 如果有 FP8 MoE, 也会路由到 Marlin, 因为 TritonExperts
    # 将其 FP8 方案置于 supports_fp8() (cc >= 89) 门控后 , 因此在 SM80 上会自拒绝 .
    # 这些路径都不需要原生 FP8 张量核心 , 因此 SM80 就足够了 .
    return 80

评论区精华

Review 讨论主要围绕 KV 缓存数据类型的问题。pavanimajety 指出："用户放宽硬件兼容性但未显式设置 --kv-cache-dtype bfloat16 时会遇到错误"，建议要么更清晰地报错，要么自动回退到 bfloat16。mikekg 回应称，已在关联 PR #43914 的 Triton Attention 中添加了对 fp8 KV 缓存的显式检查，FlashInfer 虽然通过模拟支持 fp8 KV 缓存，但在 T4 上有 bug。最终 reviewer 们认为 #43914 中的错误信息足以覆盖当前情况，因此批准了此 PR。

• KV 缓存 dtype 默认值风险 (correctness): mikekg 回复称已在 #43914 中为 Triton Attention 添加了 fp8 KV 缓存的显式错误，FlashInfer 虽然通过模拟支持 fp8 KV 缓存但在 T4 上有 bug，当前错误信息已足够。

风险与影响

• 风险：
  • KV 缓存兼容风险：如果用户未显式设置 --kv-cache-dtype bfloat16，默认的 fp8 KV 缓存会在 Ampere 上失败（Triton Attention 不支持，FlashInfer 有 bug）。PR 依赖 #43914 来提供清晰错误，但如果那两个 PR 未同时合并，用户可能遇到难以理解的运行时错误。
  • 回归风险：变更极小（+7/-1），仅修改了常量值和添加了注释，回归风险低。
  • 测试覆盖不足：PR 没有新增测试用例来验证 Ampere 上的模型推理路径。虽然作者在 A100 上手动验证了两个检查点，但缺少自动化测试可能遗漏边缘情况。
• 影响：
  • 用户：拥有 Ampere GPU（A100、RTX 30 系列）的用户现在可以加载 modelopt_mixed 量化检查点，如 Gemma-4-26B-A4B-NVFP4 和 Nemotron-3-Super-120B-A12B-NVFP4。但需要显式设置 --kv-cache-dtype bfloat16。
  • 系统：无性能或稳定性影响。
  • 团队：此 PR 解除了一个不必要的硬件限制，使更多用户能够使用混合精度量化，扩大了 modelopt_mixed 的适用 GPU 范围。
  • 风险标记：KV 缓存兼容风险, 缺少测试覆盖

关联脉络

• PR #42610 Support modelopt_mixed on Ampere: 同一问题的早期尝试，被此 PR 取代（更小 diff，避免 Triton 导入时 patch）。
• PR #43914 Add clean error message for fp8 kv cache on unsupported hardware: 为此 PR 提供 KV 缓存 dtype 问题的清晰错误信息，确保用户体验。