执行摘要

• 一句话：ModelOpt NVFP4 W4A16 量化支持，使用 Marlin 内核
• 推荐动作：值得精读 ModelOptNvFp4Config.__init__ 中的分发逻辑和 ModelOptNvFp4W4A16LinearMethod 的 create_weights/process_weights_after_loading 设计，展示了如何以最小改动扩展新量化格式并兼容旧 checkpoint。后续可关注 CLI 路由和 lm_head 支持的 follow-up PR。

功能与动机

ModelOpt PR#1313 导出的 W4A16 checkpoint 无法被 vLLM 直接加载，用户需要手动转换为 compressed-tensors 格式才能使用。本 PR 使 vLLM 能够原生加载这些 checkpoint，消除额外转换开销，并且通过容忍 W4A4 checkpoint 中的 input_scale 张量为后续 CLI 路由功能铺路。

实现拆解

1. 扩展量化算法枚举：在 QUANT_ALGOS 中添加 W4A16_NVFP4，并与已有的 NVFP4 明确区分注释。
2. 修改 Config 分发逻辑：在 ModelOptNvFp4Config.__init__ 中增加 quant_method 参数，根据其值（NVFP4 或 W4A16_NVFP4）分别将 LinearMethodCls 设置为现有的 ModelOptNvFp4LinearMethod 或新增的 ModelOptNvFp4W4A16LinearMethod，不匹配时抛出异常。
3. 实现新 LinearMethod：新增 ModelOptNvFp4W4A16LinearMethod，在 create_weights 中注册 weight_packed（uint8 NVFP4）和 weight_scale_2（全局 scale）并创建占位 input_scale 以兼容 W4A4 checkpoint；在 process_weights_after_loading 中合并 fused layer 的全局 scale 并移除占位参数；在 apply 中通过 MarlinNvFp4LinearKernel 执行 GEMM。
4. 注册 weight_loader_v2：在 WEIGHT_LOADER_V2_SUPPORTED 列表中增加 ModelOptNvFp4W4A16LinearMethod，确保兼容新的权重加载器路径。
5. 添加单元测试：新增 test_modelopt_nvfp4_config_dispatches_w4a4_method 确保 NVFP4 仍路由到旧方法，新增 test_modelopt_nvfp4_config_dispatches_w4a16_method 验证 W4A16_NVFP4 路由到新方法且不是旧方法。

关键文件：

• vllm/model_executor/layers/quantization/modelopt.py（模块 量化层；类别 source；类型 core-logic；符号 ModelOptNvFp4W4A16LinearMethod, init, create_weights, process_weights_after_loading）: 核心实现：新增 W4A16 LinearMethod、修改 Config 分发逻辑、导入 Marlin 内核符号。
• tests/quantization/test_modelopt.py（模块 测试；类别 test；类型 test-coverage；符号 test_modelopt_nvfp4_config_dispatches_w4a4_method, test_modelopt_nvfp4_config_dispatches_w4a16_method）: 添加配置路由单元测试，确保 NVFP4 和 W4A16_NVFP4 正确分发到对应的 LinearMethod。
• vllm/model_executor/layers/linear.py（模块 注册表；类别 source；类型 configuration；符号 ModelOptNvFp4W4A16LinearMethod）: 将新 LinearMethod 注册到 weight_loader_v2 支持列表，确保兼容新的权重加载器。

关键符号：ModelOptNvFp4Config.init, ModelOptNvFp4W4A16LinearMethod.init, ModelOptNvFp4W4A16LinearMethod.create_weights, ModelOptNvFp4W4A16LinearMethod.process_weights_after_loading, ModelOptNvFp4W4A16LinearMethod.apply

评论区精华

关于全局 scale 精度处理的讨论：gemini-code-assist[bot] 指出，当 fused layer（如 QKV）的各 partition 全局 scale 不同时，当前代码仅取最大值并发出警告，可能导致其他 partition 反量化不准确；建议通过重新缩放 group scale 来保持精度。作者回复计划使用 weight_loader_v2 来在加载阶段处理此问题。该改进尚未在本次 PR 中完成，但已明确为后续方向。

• 全局 scale 精度处理 (correctness): 作者回复将使用 weight_loader_v2 来处理此问题，改进将在后续 PR 中纳入。当前 PR 仅保留警告。

风险与影响

• 风险：

  1. 缺乏公开 checkpoint 集成测试：目前没有公开的 W4A16 NVFP4 checkpoint 可供添加端到端集成测试，仅依靠单元测试和手动验证，回归风险存在。
  2. lm_head 量化未覆盖：ParallelLMHead 当前不经过量化 LinearMethod 分发，若 checkpoint 包含量化后的 lm_head 则无法加载。已留为后续 PR。
  3. 精度处理待完善：fused layer 的全局 scale 取最大值而非 re-scaling，可能引入精度损失。讨论中已确认将用 weight_loader_v2 改进。
  4. 对现有路径的侵入：修改了 ModelOptNvFp4Config 的构造函数签名，给 exclude_modules 添加了 None 默认值，可能影响外部调用代码。
     - 影响：对用户：可使用 ModelOpt 导出的 W4A16 checkpoint 直接加载推理，减少模型内存占用和带宽需求；体验类似于已有的 FP8 支持，降低了使用门槛。
     对系统：新增的量化方法在 forward 时复用现有的 FP4 Marlin 内核性能良好，无额外开销。
     对团队：扩展了 ModelOpt 量化方法的分发模式（quant_method 驱动 LinearMethodCls），为后续添加更多 NVFP4 变体（如 MoE 量化）提供了可复用的架构。

• 风险标记：新量化方法缺乏集成测试, lm_head 量化未覆盖, 精度处理待完善, 非公开 checkpoint 依赖

关联脉络

• PR #1313 Support NVFP4 W4A16 quantization: Model-Optimizer 仓库的关联 PR，定义了 W4A16 checkpoint 格式，本 PR 为其提供 vLLM 原生加载支持。