执行摘要

• 一句话：移除已废弃的 Fp8OnlineLinearMethod 类
• 推荐动作：可作为 '预定清理' 的标准范例学习，了解如何安全移除已废弃的公共类。量化模块开发者尤其应关注新类属性的完整性，后续扩展时可直接修改此文件。

功能与动机

Fp8OnlineLinearMethod 的功能已由 Fp8PerTensorOnlineLinearMethod 完全取代，且已在 PR #32189 中标记为待移除。本次 PR 执行该计划，减少代码冗余和维护负担。

实现拆解

1. 删除旧类：在 vllm/model_executor/layers/quantization/fp8.py 中移除 Fp8OnlineLinearMethod 类的全部代码，包括 create_weights、process_weights_after_loading、apply 等方法，以及相关的 ModelWeightParameter 导入。
2. 更新配置引用：在 Fp8Config.get_quant_method 中将以 Fp8OnlineLinearMethod(self) 创建实例改为动态导入 Fp8PerTensorOnlineLinearMethod()，并去掉构造参数。
3. 补充新类属性：在 Fp8PerTensorOnlineLinearMethod.__init__ 中添加 block_quant=False、use_deep_gemm=False、use_marlin=False、marlin_input_dtype=None 四个属性，这些属性原属于被删除的类；并在 create_weights 和 process_weights_after_loading 中补充对 use_marlin 和 marlin_input_dtype 的处理。
4. 扩展反量化兼容性：在 quant_utils.py 的 get_and_maybe_dequant_weights 中导入 Fp8PerTensorOnlineLinearMethod，并将 isinstance 检查扩展为接受该新类。
5. 同步测试与文档：更新 tests/quantization/test_fp8.py 断言目标类名，更新 docs/training/layerwise.md 中的代码示例。

关键文件：

• vllm/model_executor/layers/quantization/fp8.py（模块 量化层；类别 source；类型 data-contract；符号 Fp8OnlineLinearMethod, create_weights, process_weights_after_loading）: 核心变更文件，删除了整个 Fp8OnlineLinearMethod 类（约 77 行），修改了 get_quant_method 中的引用路径。
• vllm/model_executor/layers/quantization/online/fp8.py（模块 量化层；类别 source；类型 data-contract）: 补充了缺失的属性，确保新类 Fp8PerTensorOnlineLinearMethod 与被删除的旧类行为一致。
• vllm/model_executor/layers/quantization/utils/quant_utils.py（模块 量化工具；类别 source；类型 data-contract）: 扩展反量化函数以支持新的在线量化方法。
• tests/quantization/test_fp8.py（模块 测试；类别 test；类型 test-coverage）: 测试断言更新，验证新类被正确使用。
• docs/training/layerwise.md（模块 文档；类别 docs；类型 documentation；符号 Fp8OnlineLinearMethod, Fp8PerTensorOnlineLinearMethod）: 文档示例更新，反映新类名称。

关键符号：Fp8Config.get_quant_method, Fp8PerTensorOnlineLinearMethod.init, Fp8PerTensorOnlineLinearMethod.create_weights, Fp8PerTensorOnlineLinearMethod.process_weights_after_loading, get_and_maybe_dequant_weights

关键源码片段

vllm/model_executor/layers/quantization/fp8.py

核心变更文件，删除了整个 Fp8OnlineLinearMethod 类（约 77 行），修改了 get_quant_method 中的引用路径。

# file: vllm/model_executor/layers/quantization/fp8.py (head)
class Fp8Config(QuantizationConfig):
    # ...
    def get_quant_method(
        self, layer: torch.nn.Module, prefix: str
    ) -> "QuantizeMethodBase | None":
        if isinstance(layer, LinearBase):
            if is_layer_skipped(
                prefix=prefix,
                ignored_layers=self.ignored_layers,
                fused_mapping=self.packed_modules_mapping,
            ):
                return UnquantizedLinearMethod()
            if not self.is_checkpoint_fp8_serialized:
                # 旧类 Fp8OnlineLinearMethod(self) 已被替换为动态导入的
                # Fp8PerTensorOnlineLinearMethod()
                from vllm.model_executor.layers.quantization.online.fp8 import (
                    Fp8PerTensorOnlineLinearMethod,
                )
                online_method = Fp8PerTensorOnlineLinearMethod()
                online_method.marlin_input_dtype = get_marlin_input_dtype(prefix)
                return online_method
            else:
                offline_method = Fp8LinearMethod(self)
                offline_method.marlin_input_dtype = get_marlin_input_dtype(prefix)
                return offline_method
        elif isinstance(layer, RoutedExperts):
            # ... 后续未改变 ...
        return None

vllm/model_executor/layers/quantization/online/fp8.py

补充了缺失的属性，确保新类 Fp8PerTensorOnlineLinearMethod 与被删除的旧类行为一致。

# file: vllm/model_executor/layers/quantization/online/fp8.py (head)
class Fp8PerTensorOnlineLinearMethod(_Fp8OnlineLinearBase):
    """Online tensorwise FP8 linear quantization."""
    def __init__(self):
        super().__init__()
        # 以下属性原属于被删除的 Fp8OnlineLinearMethod
        self.block_quant = False
        self.use_deep_gemm = False
        self.use_marlin = False
        self.marlin_input_dtype = None
        self.weight_quant_key = kFp8StaticTensorSym
        if cutlass_fp8_supported():
            self.activation_quant_key = kFp8DynamicTokenSym
        else:
            self.activation_quant_key = kFp8DynamicTensorSym
​
    def process_weights_after_loading(self, layer: Module) -> None:
        if getattr(layer, "_already_called_process_weights_after_loading", False):
            return
        layer.input_scale = None
        qweight, weight_scale = ops.scaled_fp8_quant(layer.weight, scale=None)
        replace_parameter(layer, "weight", qweight.t().data)
        replace_parameter(layer, "weight_scale", weight_scale.data)
        # 新增：传递 marlin_input_dtype 给 Marlin 内核
        if self.use_marlin and hasattr(self.fp8_linear, "marlin_input_dtype"):
            self.fp8_linear.marlin_input_dtype = self.marlin_input_dtype
        self.fp8_linear.process_weights_after_loading(layer)
        layer._already_called_process_weights_after_loading = True

vllm/model_executor/layers/quantization/utils/quant_utils.py

扩展反量化函数以支持新的在线量化方法。

# file: vllm/model_executor/layers/quantization/utils/quant_utils.py (head)
def get_and_maybe_dequant_weights(
    layer: "LinearBase", out_dtype: torch.dtype = torch.float32
):
    """Return layer's unquantized weights in [out, in] layout"""
    from vllm.model_executor.layers.linear import UnquantizedLinearMethod
    from vllm.model_executor.layers.quantization.fp8 import Fp8LinearMethod
    # 新增导入以支持新类
    from vllm.model_executor.layers.quantization.online.fp8 import (
        Fp8PerTensorOnlineLinearMethod,
    )
    # ... 不变 ...
    # Simple Fp8 case: rescale with tensor or block weight scales
    if (
        isinstance(
            layer.quant_method, (Fp8LinearMethod, Fp8PerTensorOnlineLinearMethod)
        )
        and not layer.quant_method.use_marlin
        and not layer.quant_method.use_deep_gemm
    ):
        # ... 反量化逻辑 ...

评论区精华

仅有一条来自 @sfeng33 的审批评论 'LGTM, thanks~'，无其他讨论。PR 属于预定清理，不存在设计争议。

• 暂无高价值评论线程

风险与影响

• 风险：主要风险是外部代码可能直接导入 Fp8OnlineLinearMethod，但在 vLLM 内部所有引用已清理。新类中手动拷贝的属性可能与未来代码冲突，但均为标准默认值，风险可控。整体风险较低。
• 影响：功能上完全等值替换，对用户无影响。开发上清理了 82 行废代码，降低了学习成本。测试和文档同步更新，不会引入不一致。
• 风险标记：旧类外部引用可能导致 ImportError, 新类属性需手动维护以确保与旧类一致

关联脉络

• PR #32189 Preparation for Fp8OnlineLinearMethod removal: 前置 PR，引入了 Fp8PerTensorOnlineLinearMethod 并标记旧类待移除。