vllm-project/vllm · 标签视图

移除 librosa 依赖，替换为 torchaudio 及内部音频处理函数。

建议快速浏览此 PR 以了解依赖清理模式，重点关注 `vllm/transformers_utils/processors/cohere_asr.py` 中滤波器组替换的数值验证方法。对于音频处理模块的开发者，此变更展示了如何将外部依赖迁移到内部或标准库工具。

重构 CPU 亲和性与内存管理，修复性能回归并支持自动 KV 缓存大小分析。

建议技术管理者和工程师精读 `OMPProcessManager` 类的设计，理解其如何适配不同 OpenMP 库和架构；同时关注 `csrc/cpu/utils.cpp` 中的 NUMA 代码风险，并在部署前进行多架构测试。

整合 INT8 专家量化到 FP8 在线量化框架，提取公共基类并支持新 CLI 参数。

建议技术管理者和工程师精读此 PR，重点关注 `OnlineMoEMethodBase` 的设计决策，它统一了在线 MoE 量化的元设备处理流程，体现了面向对象重构的优点；同时注意 review 中讨论的除零风险和命名清晰性，这些是量化系统中的常见陷阱。

使Mamba SSU分发初始化在没有Mamba层时成为空操作。

建议工程师精读`vllm/model_executor/layers/mamba/ops/ssu_dispatch.py`中的`initialize_mamba_ssu_backend`函数变更，了解条件初始化和幂等性检查的设计，关注review中讨论的配置检查权衡。

移除 resampy 音频重采样依赖，默认改用 pyav 方法以提升性能。

该 PR 值得精读，以了解依赖清理和性能优化的实践。重点关注 `AudioResampler` 类的设计决策，以及如何处理可选依赖的运行时错误和兼容性权衡。

重构PaddleOCR-VL模型的M-RoPE位置计算，改用mm_features驱动。

该PR值得精读，关注iter_mm_grid_thw迭代器设计如何简化复杂位置计算，以及测试策略如何覆盖多模态场景，可作为类似重构的范例。

为 Keye-VL 和 Keye-1.5-VL 模型重构 M-RoPE 位置计算，切换到 mm_features 驱动。

此 PR 值得精读，特别是 `iter_mm_grid_thw` 的设计展示了如何从传统 token 处理过渡到基于元数据的多模态接口。关注视频拆分逻辑和测试用例的构造，以理解 M-RoPE 计算的关键细节。

移除KV卸载事件中的块大小字段，简化事件系统并为可变块大小分组铺路。

推荐工程师精读此PR，重点关注事件数据结构的简化设计，以及如何通过移除冗余字段提升系统扩展性；同时留意讨论中关于 `block_size` 硬编码的权衡，以便在类似场景中做出合理决策。