执行摘要
启用 Cohere Transcribe 模型,集成到 vLLM 支持语音识别。
PR body指出,这是对PR 35809的后续,目的是启用Cohere Transcribe模型(官方名称CohereAsrForConditionalGeneration),HF仓库为CohereLabs/cohere-transcribe-03-2026。动机是集成新模型,并利用它测试可变长度编码器输入的代码路径,此前vLLM仅支持填充长度的编码器输入,适用于Whisper但不适用于Cohere-Transcribe。
建议技术管理者和工程师精读此PR,以了解vLLM中模型集成的方法。关注注册表设计决策和测试策略,特别是如何使用标准归一器处理不同模型的输出归一化。注册表重复问题值得注意,建议在后续PR中修复以避免维护风险。
review中,gemini-code-assist[bot] 在vllm/model_executor/models/registry.py第531行评论指出,注册表中添加了CohereAsrForConditionalGeneration的配置,但存在重复条目(例如CohereASRForConditionalGeneration),可能导致维护问题。建议重构为共享配置以提高可维护性。此评论未得到回复,PR已合并,表明可能被视为低优先级或将在未来处理。
参与讨论