执行摘要

本PR修复了vLLM中score/rerank API在使用聊天模板时添加额外换行符的bug，通过参数化多模态内容分隔符实现与transformers输出的对齐。变更影响提示令牌计数和模型兼容性，已合并并更新测试，但存在参数不一致的潜在风险。

功能与动机

动机源于score/rerank结果与transformers不匹配的问题，具体表现为额外换行符导致输出偏差。PR body中明确指出“fix score/rerank result not aligned to transformers”，并通过测试图片展示修复效果，针对qwen3_vl_reranker-2B等多模态模型。

实现拆解

实现按模块拆解如下：

• chat_utils模块：在_get_full_multimodal_text_prompt和_parse_chat_message_content_parts函数中添加multimodal_content_part_separator参数，默认值换行符，用于控制内容部分连接。代码示例：
  

  multimodal_content_part_separator="\n",
  

• scoring模块：在vllm/entrypoints/pooling/scoring/utils.py的_parse_score_content调用中设置separator为空字符串，移除换行符。
• 测试更新：调整tests/entrypoints/pooling/scoring/test_cross_encoder_online_vision.py中的断言，提示令牌从108减少到107、368减少到367，反映变更影响。

评论区精华

review讨论中的核心交锋包括：

• 参数不一致问题：gemini-code-assist[bot]指出：“The separator is not applied consistently, as hardcoded newlines are still used...”，强调参数未在所有字符串连接中使用，可能导致意外行为。
• 代码风格建议：DarkLight1337建议添加类型注解以提升清晰度。
• 模型兼容性担忧：noooop在issue评论中表达了对其他模型（如jinaai/jina-reranker-m0）可能影响的担忧，作者staugust验证后确认修复适用。

风险与影响

• 风险：
  • 参数不一致可能导致某些多模态场景下行为异常，需确保所有字符串连接使用参数。
  • 兼容性需验证其他模型如nemotron-vl-reranker，可能需额外调整。
  • 测试修改基于当前行为，若参数不一致未解决，可能掩盖错误。
• 影响：
  • 用户端：score/rerank输出对齐改善，提升兼容性。
  • 系统端：提示令牌计数减少，影响计费和监控。
  • 团队端：需持续监控模型兼容性，避免回归。

关联脉络

本PR与历史PR 34539 “Generative Scoring”相关，均涉及scoring功能的多模态处理，表明前端功能的演进趋势。同时，issue评论中提及PR 38612和33647，反映有依赖或类似修复需求，但未在本分析中详述，建议关注后续协作。