新增 prefill 后 decode 间隔参数,防 DP 下 decode 饿死
值得精读。核心亮点是“复用已有全局同步 flag、零额外通信实现跨 rank 调度协同”的设计,对理解 SGLang DP attention 下的调度公平性问题很有帮助。建议关注两点:一是 `_should_defer_prefill()` 的计数在空转轮次下也会消耗,实际间隔效果需要实测校准;二是该开关与 `prefill_delayer` 等其他调度策略的叠加行为尚未验证,未来可能演进为统一的调度节奏控制机制。
参与讨论