执行摘要

该PR修复了MergedColumnParallelLinear.weight_loader_v2函数中的一个关键bug：当PerTensorScaleParameter遇到tuple类型的shard_id（如(0,1,2)）时，代码错误地硬编码shard_id=0，导致量化scale只填充到第一个槽位，其余槽位保持垃圾值（约-3.4e38）。这导致Qwen3.5模型在使用FP8静态逐张量量化时输出乱码。修复通过遍历tuple中的每个索引来正确加载scale值，解决了问题且无回归风险。

功能与动机

该PR旨在解决issue #38197中报告的问题：Qwen3.5模型（包括Dense和MoE变体）在使用FP8静态逐张量量化（compressed-tensors）时输出乱码。根本原因在于Qwen3.5引入了Gated Delta Net层，其中融合投影in_proj_qkvz将in_proj_qkv（3个分区）和in_proj_z（1个分区）合并为一个MergedColumnParallelLinear，其stacked_params_mapping定义了tuple shard_id=(0,1,2)表示scale应用于前三个分区。bug导致只有第一个分区的scale被正确加载，其余分区使用垃圾scale值，从而破坏权重数据。

实现拆解

仅修改一个文件：vllm/model_executor/layers/linear.py。

关键改动：在weight_loader_v2函数中，当处理PerTensorScaleParameter且loaded_shard_id为None或tuple时，原代码硬编码shard_id=0：

if isinstance(param, PerTensorScaleParameter):
    param.load_merged_column_weight(loaded_weight=loaded_weight, shard_id=0)

if isinstance(param, PerTensorScaleParameter):
    if isinstance(loaded_shard_id, tuple):
        for idx in loaded_shard_id:
            param.load_merged_column_weight(
                loaded_weight=loaded_weight, shard_id=idx
            )
    else:
        param.load_merged_column_weight(
            loaded_weight=loaded_weight, shard_id=0
        )

评论区精华

review讨论简洁但包含关键验证点：

• 审阅者yewentao256要求e2e测试："Could you also add e2e lm_eval result to make sure we don't hurt acc?"
• 作者提供量化结果：作者回应了Qwen3.5-9B在GSM8K任务上的lm_eval结果，显示exact_match从0.876提升到0.884，证明修复有效且无回归。
• 最终批准：审阅者确认"LGTM, thanks for the work!"

风险与影响

风险分析：

• 变更范围极小（10行改动），逻辑清晰，直接针对已知bug。
• 回归风险低：修复仅影响PerTensorScaleParameter在tuple shard_id场景下的行为，其他场景保持不变。
• 测试覆盖充分：作者验证了Qwen3.5多个模型变体（0.8B、27B、35B-A3B）和量化配置（静态/动态、逐张量/逐通道），并提供了lm_eval结果。
• 潜在未覆盖场景：如果其他模型使用类似tuple shard_id的融合投影但未被测试，可能存在影响，但鉴于变更针对性，风险较小。

影响分析：

• 用户影响：修复了Qwen3.5模型在FP8静态逐张量量化下的输出乱码问题，提升了模型可用性。
• 系统影响：仅影响权重加载逻辑，对推理性能无直接影响。
• 团队影响：解决了特定配置下的关键bug，减少了用户支持负担。

关联脉络

• 直接关联issue #38197：该PR直接修复此issue，issue提供了详细的问题描述和重现步骤。
• 与历史PR的关联：
  • PR #39054（修复Trtllm FP8 MoE权重重排内存碎片化）：同属量化相关bugfix，但解决不同问题。
  • PR #35733（支持NVFP4模型）：同属量化特性支持，涉及compressed-tensors格式，但本PR是bugfix而非新功能。
• 演进趋势：该PR反映了vLLM在支持新兴模型（如Qwen3.5）和复杂量化配置时，需要不断优化底层权重加载逻辑，以处理融合层和tuple分区等高级特性。