执行摘要

该PR修复了scheduler.py中pause_generation函数的一个bug，该bug在batch中所有请求完成后导致tensor形状不匹配，引发KV-cache分配错误。通过添加is_empty()条件检查，确保batch处理一致性，并新增单元测试验证修复效果。

功能与动机

动机源于一个运行时错误：在pause_generation中，当last_batch的所有请求完成时，filter_batch会清空reqs但早期返回，tensors仍保留旧大小，随后无条件merge_batch破坏了tensor与reqs数量的不变量（len(reqs) == seq_lens.shape[0]），最终导致RuntimeError: The size of tensor a must match the size of tensor b。

实现拆解

实现分两个关键部分：

1. 核心逻辑修复：在python/sglang/srt/managers/scheduler.py的pause_generation函数中，将原本的无条件merge_batch调用替换为条件检查：
   

   if not self.last_batch.is_empty():
       if self.running_batch.is_empty():
           self.running_batch = self.last_batch
       else:
           self.running_batch.merge_batch(self.last_batch)
   

   
   这一逻辑与同文件的get_next_batch_to_run函数保持一致。

2. 单元测试新增：创建test/registered/rl/test_pause_generation_tensor_consistency.py文件，模拟ScheduleBatch的is_empty、filter_batch和merge_batch方法，验证修复后tensor的一致性。

评论区精华

在review评论中，reviewer ispobock 提出以下建议：

• "Can we follow this guide to write and register test?" —— 关注测试编写的规范性。
• "unit test can be moved to https://github.com/sgl-project/sglang/tree/main/test/registered/unit" —— 建议优化测试文件的位置。
  这些讨论侧重于测试的流程和风格，未涉及核心逻辑争议。

风险与影响

风险分析：修复逻辑简单，风险较低。但需确保条件检查在所有边缘情况下正确，例如当running_batch为空时直接赋值。新增测试覆盖了关键场景，减少了回归风险。

影响分析：该bug影响RL（强化学习）相关的调度功能，修复后提高了系统的稳定性和可靠性。用户在使用pause_generation时不会遇到运行时错误，提升了体验。

关联脉络

从历史PR看，该PR与调度模块的其他改进相关：

• PR #21490：简化flush_cache逻辑，也修改了scheduler.py。
• PR #21501：修复会话关闭时的内存泄漏，涉及schedule_batch.py。
• PR #21269：修复会话中多模态输入问题，同样涉及调度管理器。
  这表明团队在持续优化调度系统的稳定性和性能，本PR是这一系列改进中的一环。