根据 PR body 描述，问题源于调度后立即更新 num_computed_tokens，但 GPU 可能尚未计算这些 token，导致 _free_encoder_inputs 可能错误地认为编码器输入可释放，从而在高并发多模态投机解码中引发缓存未命中或崩溃。
建议技术管理者关注此 PR，因为它揭示了调度器中的微妙竞态条件，强调了测试在核心路径中的重要性。工程师应精读以理解调度顺序的依赖关系，并考虑添加相关测试以确保覆盖。
Review 中，Copilot 建议添加聚焦单元测试以复现过早释放场景并验证修复，但 PR 已合并未明确添加测试；Gemini Code Assist bot 指出代码中的调试打印语句应移除以避免日志混乱和性能影响；ywang96 批准了 PR。讨论焦点是测试覆盖和代码清理，但测试建议未解决。
实现仅修改一个文件 vllm/v1/core/sched/scheduler.py。关键改动包括：从 _update_after_schedule 方法中移除条件调用 _free_encoder_inputs 的代码段，并在 update_from_output 方法中添加该调用。具体地，移除旧注释和调用，在 update_from_output 中插入“if request.has_encoder_inputs: self._free_encoder_inputs(request)”。这确保编码器输入只在 token 实际计算完成后才被释放。
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
vllm/v1/core/sched/scheduler.py |
core/scheduler | modified | 8.0 |
分析完成后，这里会展示 LLM 生成的相对完整源码片段和详细注释。
Copilot 评论建议添加聚焦的单元测试以复现过早释放场景并验证修复，强调测试的重要性。
结论：PR 已合并但未明确添加测试，建议可能未被采纳，测试覆盖仍存缺失。 · unresolved
风险包括：1. 核心调度逻辑变更可能引入回归，尤其是在高并发或复杂调度场景下；2. 缺少针对此 bug 的专用测试，可能遗漏边界情况；3. 调试打印语句在最终代码中可能未被移除，影响生产环境性能。具体到文件 vllm/v1/core/sched/scheduler.py，变更顺序可能影响其他依赖 num_computed_tokens 的逻辑。
影响范围：主要影响使用编码器输入的多模态模型（如 Exaone4_5_MTP）和投机解码工作负载。影响程度：修复了一个可能导致缓存未命中、模型输出错误或系统崩溃的 bug，提升系统稳定性和正确性，对高并发场景尤为重要。
当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。
根据 PR body 描述，问题源于调度后立即更新 num_computed_tokens，但 GPU 可能尚未计算这些 token，导致 _free_encoder_inputs 可能错误地认为编码器输入可释放，从而在高并发多模态投机解码中引发缓存未命中或崩溃。
实现仅修改一个文件 vllm/v1/core/sched/scheduler.py。关键改动包括：从 _update_after_schedule 方法中移除条件调用 _free_encoder_inputs 的代码段，并在 update_from_output 方法中添加该调用。具体地，移除旧注释和调用，在 update_from_output 中插入“if request.has_encoder_inputs: self._free_encoder_inputs(request)”。这确保编码器输入只在 token 实际计算完成后才被释放。
关键文件：
vllm/v1/core/sched/scheduler.py（模块 core/scheduler）: 核心调度器文件，修改了 _free_encoder_inputs 调用位置以修复调度顺序 bug，影响编码器输入的生命周期管理。关键符号：_update_after_schedule, update_from_output, _free_encoder_inputs
Review 中，Copilot 建议添加聚焦单元测试以复现过早释放场景并验证修复，但 PR 已合并未明确添加测试；Gemini Code Assist bot 指出代码中的调试打印语句应移除以避免日志混乱和性能影响；ywang96 批准了 PR。讨论焦点是测试覆盖和代码清理，但测试建议未解决。
参与讨论