执行摘要

该PR修复了RoBERTa-based embedding模型在CUDA图模式下因位置ID在padding区域累积导致的服务器崩溃问题。通过修改gpu_model_runner.py中的_preprocess函数，显式零padding区域，避免了越界访问，影响多个模型且提升稳定性，变更虽小但关键。

功能与动机

修复一个崩溃问题：当CUDA图启用时，所有RoBERTa-based模型（如BAAI/bge-m3、XLM-RoBERTa）在约max_position_embeddings / 2次请求后因位置ID累积导致越界断言失败而崩溃。根因是gpu_model_runner的persistent GPU buffer中padding区域未重置，RoBERTa模型的replace_roberta_positions函数进行in-place累积操作。引用PR body："Fix a crash that affected all RoBERTa-based embedding models... when CUDA graphs are enabled."

实现拆解

修改仅涉及一个文件vllm/v1/worker/gpu_model_runner.py，在_preprocess函数中添加以下代码：

if num_input_tokens > num_scheduled_tokens:
    self.positions.gpu[num_scheduled_tokens:num_input_tokens].zero_()

• 模块：worker子系统
• 变更：简单条件检查和零操作
• 目标：隔离CUDA图重用与模型特定逻辑

评论区精华

review中，gemini-code-assist[bot]和Isotr0py均认可修复。但在Issue评论中，有设计权衡讨论：

• Isotr0py："But seems #37884 would be a better fix which doesn't touch model runner?"
• yanghui1-arch："#37873 protects against this class of bug for models which use positions += offset inner... It's possible that the same issue will appear again in the future."
  最终方案被采纳，强调在model runner中修复以预防未来问题。

风险与影响

• 风险：低风险，变更简单且测试覆盖充分，但零padding可能影响其他依赖非零padding的模型逻辑（尽管未观察到）。
• 影响：影响所有RoBERTa-based模型在CUDA图模式下的服务，修复后避免崩溃，提升生产环境稳定性。测试显示10000次请求全通过，无性能退化。

关联脉络

此PR与历史PR #37884 直接相关，后者也修复相同bug但在模型层进行。讨论中对比了两种策略：model runner修复vs模型层修复。关联Issue #37868 报告了原始崩溃问题。整体揭示vLLM在CUDA图优化中需谨慎处理tensor重用和模型特定逻辑，未来可能需加强类似防护。