执行摘要
该PR修复了compressed-tensors量化中KV缓存scale变量_k_scale_float和_v_scale_float未正确设置的问题，导致使用Flashinfer attention backend的量化模型输出乱码。通过简单代码变更，确保scale值正确处理，恢复模型正常生成。
功能与动机
Flashinfer attention backend在量化路径中同时使用_k_scale和_k_scale_float变量（参考代码行L1510和L1318），但process_weights_after_loading方法未设置_float变量，导致scale值缺失。使用Qwen3-8B-MXFP4-FP8KV模型测试时，修复前输出乱码如“broadcast返回罨返回返回...”，修复后输出正确如“Kaitlyn. I am a 21 year old woman who is a”。这直接解决了量化模型输出错误的核心问题。
实现拆解
仅修改一个文件：vllm/model_executor/layers/quantization/compressed_tensors/compressed_tensors.py。在process_weights_after_loading方法中添加以下代码：
def _to_scalar(tensor: torch.Tensor) -> float:
if tensor.numel() > 1:
return tensor.max().item()
return tensor.item()
layer._k_scale_float = _to_scalar(layer.k_scale)
layer._v_scale_float = _to_scalar(layer.v_scale)
layer._q_scale_float = _to_scalar(layer.q_scale)
_to_scalar函数：将张量转换为标量float，处理多元素张量（如ATTN_HEAD策略）时取最大值。- 设置
_float变量：为attention backend提供正确的scale值。
- 模块归属：quantization/compressed_tensors子系统。
评论区精华
review讨论聚焦于代码风格优化：
- mgoin建议简化
_to_scalar函数：
nit: max works for 0D tensors too, so you could simplify like ...
- yiliu30接受并更新代码：
Good catch, updated!
讨论快速解决，无技术争议，体现了团队对代码简洁性的关注。
风险与影响
- 风险：
_to_scalar函数若逻辑错误（如错误处理多scale策略），可能提取不准确的scale值，影响量化精度。但函数简单且经过模型测试，回归风险低。变更不影响非量化路径，兼容性好。
- 影响：直接影响使用compressed-tensors量化的模型，修复后输出恢复正常，提升用户体验。对系统性能无显著影响，仅增加少量计算。
关联脉络
从同仓库近期历史PR看，PR 38707（MXFP8 XPU量化内核）与本PR同属quantization领域，涉及压缩张量方案。这表明vllm项目持续优化量化支持，尤其针对新兴硬件和模型。本PR作为bugfix，补全了量化scale处理链条，为后续量化特性演进奠定基础。
参与讨论