PR 分析报告：移除 resampy 依赖
执行摘要
本 PR 移除 resampy 音频重采样依赖，默认改用 pyav 方法，基于性能基准测试显示 pyav 在速度和质量上显著优于 resampy。变更涉及多个音频模块文件和依赖配置，简化安装并优化处理流程，但引入潜在运行时错误风险，需关注音频功能稳定性。
功能与动机
PR 的动机源于性能优化：作者在 PR body 中提供数据，表明 pyav 在音频重采样上平均耗时 10.847 ms，而 resampy 为 443.071 ms，且质量指标（如 RMSE）更优。因此，移除不必要的 resampy 依赖，以提升系统效率和简化依赖管理。
实现拆解
- 入口变更：从
vllm/multimodal/audio.py 开始，删除 resampy 的导入和 resample_audio_resampy 函数。
- 核心逻辑改造：更新
AudioResampler 类，将默认方法从 "resampy" 改为 "pyav"，并移除 "resampy" 选项，确保重采样仅支持 pyav 和 scipy。
class AudioResampler:
def __init__(self, target_sr: float | None = None, method: Literal["pyav", "scipy"] = "pyav"):
self.target_sr = target_sr
self.method = method # 默认切换到 pyav
def resample(self, audio, *, orig_sr):
if self.method == "pyav":
return resample_audio_pyav(audio, orig_sr=orig_sr, target_sr=self.target_sr)
elif self.method == "scipy":
return resample_audio_scipy(audio, orig_sr=orig_sr, target_sr=self.target_sr)
else:
raise ValueError("Invalid resampling method")
- 媒体音频调整：在
vllm/multimodal/media/audio.py 中，移除 resampy 导入，并将 load_audio_soundfile 中的重采样调用改为 resample_audio_pyav。
def load_audio_soundfile(path, *, sr=None, mono=True):
if sr is not None and sr != native_sr:
y = resample_audio_pyav(y, orig_sr=native_sr, target_sr=sr) # 直接使用 pyav
return y, int(sr)
- 依赖配置更新：修改
setup.py，从 audio extras 移除 resampy；同步清理测试要求文件（如 requirements/test/cuda.in）。
- 测试配套：运行
pytest -s -v tests/entrypoints/openai/correctness/test_transcription_api_correctness.py 验证功能正确性，测试通过确保无回归。
vllm/multimodal/audio.py
音频重采样核心逻辑文件，移除 resampy 导入和函数，更新 AudioResampler 默认方法，直接影响音频处理功能。
vllm/multimodal/media/audio.py
音频加载媒体文件的关键模块，调整重采样调用以使用 pyav，影响音频输入处理路径。
关键源码片段
vllm/multimodal/audio.py
音频重采样核心逻辑文件，移除 resampy 导入和函数，更新 AudioResampler 默认方法，直接影响音频处理功能。
class AudioResampler:
"""Resample audio data to a target sample rate."""
def __init__(
self,
target_sr: float | None = None,
method: Literal["pyav", "scipy"] = "pyav", # 变更：默认方法从 "resampy" 改为 "pyav"，并移除 "resampy" 选项
):
self.target_sr = target_sr
self.method = method
def resample(
self,
audio: npt.NDArray[np.floating],
*,
orig_sr: float,
) -> npt.NDArray[np.floating]:
if self.target_sr is None:
raise RuntimeError(
"Audio resampling is not supported when `target_sr` is not provided"
)
if math.isclose(float(orig_sr), float(self.target_sr), rel_tol=0.0, abs_tol=1e-6):
return audio
if self.method == "pyav":
return resample_audio_pyav(audio, orig_sr=orig_sr, target_sr=self.target_sr)
elif self.method == "scipy": # 变更：移除 "resampy" 分支，只保留 "pyav" 和 "scipy"
return resample_audio_scipy(audio, orig_sr=orig_sr, target_sr=self.target_sr)
else:
raise ValueError(
f"Invalid resampling method: {self.method}. "
"Supported methods are 'pyav' and 'scipy'." # 错误消息同步更新
)
vllm/multimodal/media/audio.py
音频加载媒体文件的关键模块，调整重采样调用以使用 pyav，影响音频输入处理路径。
def load_audio_soundfile(
path: BytesIO | Path | str,
*,
sr: float | None = 22050,
mono: bool = True,
) -> tuple[np.ndarray, int]:
"""Load audio via soundfile"""
with soundfile.SoundFile(path) as f:
native_sr = f.samplerate
y = f.read(dtype="float32", always_2d=False).T
if mono and y.ndim > 1:
y = np.mean(y, axis=tuple(range(y.ndim - 1)))
if sr is not None and sr != native_sr:
y = resample_audio_pyav(y, orig_sr=native_sr, target_sr=sr) # 变更：从 resampy.resample 切换到 pyav 实现
return y, int(sr)
return y, native_sr
评论区精华
review 讨论聚焦于正确性风险：
gemini-code-assist[bot] 评论："In load_audio_soundfile, the resampling logic now hardcodes resample_audio_pyav. If the av package is not installed, this will raise an error... It might be safer to use the AudioResampler class or provide a fallback to scipy."
此评论指出硬编码 pyav 可能导致运行时错误，但未在 PR 中进一步解决，反映设计权衡中性能优化与鲁棒性的冲突。
风险与影响
- 技术风险：若用户未安装 av（如省略 audio extras），音频重采样将失败；移除 resampy 可能影响依赖旧方法的代码；默认方法变更可能引入质量不一致性。
- 影响范围：用户需确保 av 可用以享受性能提升；系统减少依赖复杂度；团队维护简化，但需监控音频功能稳定性，尤其是边缘案例和多平台支持。
关联脉络
从历史 PR 看，PR 39997 将 pyav 和 soundfile 移到基础依赖，与本 PR 共同优化音频处理依赖链，显示团队在简化安装和提升性能上的持续努力。结合近期 PR 如音频模型支持（PR 39575），可看出多模态功能演进中依赖管理的系统化调整。
参与讨论