执行摘要
本PR修复了Marlin FP8线性内核在使用压缩张量格式时的权重处理问题，通过确保process_weights_after_loading方法被正确调用并添加形状检查，解决了内核失败和CI测试错误，提升了FP8量化模型的推理正确性。
功能与动机
根据PR描述，MarlinFP8ScaledMMLinearKernel实现了process_weights_after_loading方法，但CompressedTensorsW8A8Fp8实例从未调用此方法，导致使用此内核时失败。这影响了CI中的tests/evals/gsm8k/test_gsm8k_correctness.py测试。PR的主要动机是修复这一bug，确保压缩张量格式下的FP8模型权重加载正确。
实现拆解
实现方案包括三个关键改动：
- marlin.py：在
process_weights_after_loading方法中，添加了对权重形状的检查，避免压缩张量格式下的重复转置。关键逻辑如下：
python
if w_q.shape != (
layer.input_size_per_partition,
layer.output_size_per_partition,
):
replace_parameter(layer, "weight", w_q.t())
- compressed_tensors_w8a8_fp8.py：在
process_weights_after_loading方法中，添加条件调用self.fp8_linear.process_weights_after_loading(layer)，将权重处理传递给FP8线性内核。
- modelopt.py：类似地，添加相同的方法调用，确保权重处理一致性。
这些改动共同解决了权重布局标准化前的临时问题，引用了issue #33314以规划未来改进。
评论区精华
- 代码风格优化：gemini-code-assist[bot]在review中指出，
replace_parameter函数已自动包装Tensor为Parameter，原代码中使用.data属性和额外Parameter创建是冗余的。建议直接传递w_q.t()，作者采纳此建议，在第二次提交中更新了代码，提升了代码简洁性和可维护性。
风险与影响
- 风险：marlin.py中的条件检查逻辑依赖特定形状假设，如果压缩张量格式变化或未来布局调整，可能引入新错误。方法调用添加需确保不影响其他量化策略的顺序或性能。
- 影响：修复了FP8量化模型使用压缩张量格式时的内核失败，直接提升了用户模型的推理正确性。CI测试的修复增强了代码稳定性，对团队开发流程有正面影响。
关联脉络
本PR与历史PR #37348（修复Qwen3.5-FP8权重加载错误）和 #37214（修复minimax模型权重加载错误）类似，都属于量化模块的bugfix，反映了仓库在FP8和压缩张量支持上的持续优化。结合issue #33314，可见未来规划对权重布局进行规范化，以减少此类临时修复。
参与讨论