执行摘要

• 一句话：文档 NVFP4 GEMM 内核选择与 Marlin 回退
• 推荐动作：文档正确且必要，建议合并。无需深入代码审查，适合快速集成。

功能与动机

用户遇到 NVFP4 性能慢时没有文档解释 vLLM 选择了哪个 GEMM 内核或原因。Issue #48491 报告了 torch._scaled_mm 拒绝 M<128 的 NVFP4 GEMM，但 vLLM 实际上并不使用 torch._scaled_mm，而是在 init_nvfp4_linear_kernel 中做内核选择。此 PR 旨在文档化 vLLM 实际的行为，避免用户误解。

实现拆解

1. 在 docs/features/quantization/modelopt.md 的 "Usage" 小节中的量化算法列表后新增一个 !!! note 警示块。
2. 说明 NVFP4 检查点加载时 vLLM 自动选择 GEMM 内核，后端包括 CUTLASS、FlashInfer、Marlin 等。
3. 说明如果 GPU 不支持原生 FP4 GEMM，则回退到 weight-only W4A16 Marlin（会记录警告并可能降低吞吐量）。
4. 说明用户可以通过 --linear-backend 覆盖自动选择（替代已弃用的 VLLM_NVFP4_GEMM_BACKEND 环境变量），并列出 NVFP4 相关的几个值：cutlass、flashinfer_cutlass、flashinfer_trtllm、flashinfer_cudnn、marlin。
5. 指导读者在 Engine Arguments 页面的 KernelConfig 下查看完整列表，或运行 vllm serve --help=KernelConfig。

关键文件：

• docs/features/quantization/modelopt.md（模块 文档；类别 docs；类型 documentation）: 唯一变更文件，新增 NVFP4 GEMM 内核选择与 Marlin 回退的文档说明。

关键符号：未识别

评论区精华

Simon Mo 要求 bot 提供审阅建议，提及现有的 --linear-backend 值及用户查找位置。Harjothkhara 随后补充了 NVFP4 相关值和指向 KernelConfig 的链接。没有其他讨论或争议。

• 暂无高价值评论线程

风险与影响

• 风险：纯文档变更，无代码或行为修改，风险极低。文档内容经过验证（--linear-backend 确实存在于 vllm/config/kernel.py 中且通过 arg_utils.py 连接），描述准确。
• 影响：影响范围限于遇到 NVFP4 性能问题的用户，帮助他们理解内核选择逻辑和优化手段。文档清晰度提升，减少用户困惑和支持工作。影响程度低。
• 风险标记：纯文档变更，风险极低

关联脉络

• PR #48491 Related Issue: torch._scaled_mm rejecting NVFP4 GEMMs with M<128: 本 PR 由该 issue 引发，但实际 vLLM 不使用 torch._scaled_mm，因此文档澄清了真实行为。