vllm-project/vllm · 标签视图

修复 XPU 平台在 torch.compile 模式下 all_reduce 返回全零的精度问题。

该 PR 值得精读，因为它揭示了 torch.compile 在优化 in-place 操作时可能导致的隐蔽精度问题，并展示了通过 out-of-place 操作规避编译器优化的实用技巧。关注点：条件克隆的逻辑设计（`torch.compiler.is_compiling()`）和类型提示的添加如何提升代码健壮性。

为 XPU 平台添加 fp8_gemm 的假实现以支持 torch.compile。

此 PR 值得关注其假实现的设计模式，但需注意形状处理可能存在的风险。建议阅读 `vllm/_xpu_ops.py` 文件，了解如何为自定义算子注册假实现以支持 torch.compile。

在XPU上跳过fp8e4b15格式，扩展TurboQuant测试到XPU平台。

建议阅读此PR以了解如何扩展平台抽象支持，特别是设备检测和格式选择的设计决策，适用于处理多平台兼容性场景。

在XPU平台上强制设置多进程方法为spawn，避免用户手动配置fork导致崩溃。

该PR变更简单直接，但揭示了平台特定约束的设计决策。值得关注的是review中关于强制覆盖与用户显式配置的权衡讨论，这反映了基础设施代码中用户体验与灵活性的平衡。

修复XPU平台编码器注意力中量化查询输入不支持的问题，将q_descale参数设为None。

该PR值得快速浏览，以了解XPU平台量化支持的限制及修复方式；关注`supports_quant_query_input`标志的使用，这可能在其他注意力后端中也有类似模式。

为XPU平台添加MXFP4量化算子支持，扩展低精度推理能力。

建议关注此PR作为XPU平台量化支持扩展的示例，但需注意其输入维度限制和fake实现不完整的问题。对于后续开发，应参考review建议将算子泛化为N-D支持并强化错误检查。

为 XPU 平台添加 MXFP8 量化 GEMM 内核和新压缩张量方案。

建议技术管理者关注此 PR 以了解 XPU 量化扩展策略，工程师可精读 `xpu.py` 中的内核实现，学习如何适配新平台的量化计算和设计回退机制。

扩展环境收集脚本以支持Intel XPU，优化信息分类与显示。

建议技术管理者关注此PR中包检测函数的设计，了解其潜在改进点；工程师可精读get_pkg_version()的实现，学习如何处理多包管理器适配，并注意条件输出逻辑如何优雅处理平台差异。