执行摘要

本PR修复了TPU上加载Qwen3.5-FP8量化模型时的权重加载错误，通过在linear.py的weight_loader函数中添加对BlockQuantScaleParameter的处理逻辑，调整shard size和offset。变更仅影响TPU环境，解决了特定硬件下的模型兼容性问题。

功能与动机

在TPU硬件上，加载Qwen3.5-FP8模型时出现RuntimeError：start (0) + length (2048) exceeds dimension size (96)，表明量化权重分片计算有误。此错误源于linear.py的weight_loader函数在加载FP8块缩放参数时未正确调整维度。PR旨在修复此问题，确保TPU用户能正常使用Qwen3.5-FP8模型。

实现拆解

改动集中在vllm/model_executor/layers/linear.py文件中的两个weight_loader函数。关键代码如下：

if isinstance(param, BlockQuantScaleParameter):
    weight_block_size = getattr(self, "weight_block_size", None)
    shard_size, shard_offset = adjust_block_scale_shard(
        weight_block_size, shard_size, shard_offset
    )

• 新增条件检查，识别BlockQuantScaleParameter参数。
• 调用adjust_block_scale_shard函数调整分片大小和偏移，以处理FP8量化块缩放的权重加载逻辑。
  此逻辑在两处weight_loader函数中重复添加，以覆盖不同上下文中的加载场景。

评论区精华

• gemini-code-assist[bot] 指出代码重复问题：

  “Duplicating code can lead to maintenance issues... please consider extracting this logic into a shared helper function.”
  此建议未在review中获得进一步讨论，但揭示了可维护性风险。

• yaochengji 询问硬件差异：

  “do you know why there's no error for GPU?”
  jrplatin 回复：
  “for TPU, we use the v1 weight_loader but we use the weight_loader_v2 for GPU”
  澄清了错误仅影响TPU的v1路径。

风险与影响

• 风险：代码重复增加维护负担，若未来修改需同步两处逻辑；adjust_block_scale_shard函数的正确性至关重要，否则可能导致新的维度不匹配；变更针对TPU特定路径，可能缺少对其他硬件的测试覆盖。
• 影响：TPU用户加载Qwen3.5-FP8模型将不再失败，提升硬件兼容性；GPU用户不受影响，因使用独立weight_loader_v2路径；影响范围小，仅限于FP8量化Qwen模型在TPU上。

关联脉络

• PR 38152（禁用Qwen3 dual stream输入投影）：共享'qwen'标签，同涉及Qwen模型系列的性能和兼容性改进。
• PR 37214（修复minimax m2.5 nvfp4 kv scales权重加载）：同为量化权重加载的bug修复，反映了vLLM中对多种量化模型权重加载路径的持续维护。
• PR 37970（优化FP8 GEMM内核）：共享'fp8'标签，显示团队对FP8量化性能优化的关注，与当前PR共同支持量化模型生态系统。