执行摘要

本PR修复了Marlin FP8线性内核在使用压缩张量格式时的权重处理问题，通过确保process_weights_after_loading方法被正确调用并添加形状检查，解决了内核失败和CI测试错误，提升了FP8量化模型的推理正确性。

功能与动机

根据PR描述，MarlinFP8ScaledMMLinearKernel实现了process_weights_after_loading方法，但CompressedTensorsW8A8Fp8实例从未调用此方法，导致使用此内核时失败。这影响了CI中的tests/evals/gsm8k/test_gsm8k_correctness.py测试。PR的主要动机是修复这一bug，确保压缩张量格式下的FP8模型权重加载正确。

实现拆解

实现方案包括三个关键改动：

1. marlin.py：在process_weights_after_loading方法中，添加了对权重形状的检查，避免压缩张量格式下的重复转置。关键逻辑如下：
   

   if w_q.shape != (
       layer.input_size_per_partition,
       layer.output_size_per_partition,
   ):
       replace_parameter(layer, "weight", w_q.t())
   

2. compressed_tensors_w8a8_fp8.py：在process_weights_after_loading方法中，添加条件调用self.fp8_linear.process_weights_after_loading(layer)，将权重处理传递给FP8线性内核。
3. modelopt.py：类似地，添加相同的方法调用，确保权重处理一致性。

这些改动共同解决了权重布局标准化前的临时问题，引用了issue #33314以规划未来改进。

评论区精华

• 代码风格优化：gemini-code-assist[bot]在review中指出，replace_parameter函数已自动包装Tensor为Parameter，原代码中使用.data属性和额外Parameter创建是冗余的。建议直接传递w_q.t()，作者采纳此建议，在第二次提交中更新了代码，提升了代码简洁性和可维护性。

风险与影响

• 风险：marlin.py中的条件检查逻辑依赖特定形状假设，如果压缩张量格式变化或未来布局调整，可能引入新错误。方法调用添加需确保不影响其他量化策略的顺序或性能。
• 影响：修复了FP8量化模型使用压缩张量格式时的内核失败，直接提升了用户模型的推理正确性。CI测试的修复增强了代码稳定性，对团队开发流程有正面影响。

关联脉络

本PR与历史PR #37348（修复Qwen3.5-FP8权重加载错误）和 #37214（修复minimax模型权重加载错误）类似，都属于量化模块的bugfix，反映了仓库在FP8和压缩张量支持上的持续优化。结合issue #33314，可见未来规划对权重布局进行规范化，以减少此类临时修复。