extra_buffer_lazy (#27118) 已为普通解码减少 checkpoint 内存占用，但被禁止用于推测解码。本 PR 实现其 follow-up，释放的 slot 在共享 mamba 池中直接转化为 RadixCache 容量，提升缓存复用。
值得精读。重点理解 deferred slot swap 的设计：如何在 overlap 下通过 window 检测和状态记录保证正确性。对于维护 Mamba 相关模型的团队，此 PR 是减少显存浪费的关键改进。
Review 讨论较少，hanming-lu 批准时表示 'LGTM as long as CI passes'，未提出实质争议。PR body 包含详尽的正确性证明和基准数据，是决策的主要依据。
server_args.py)：移除 extra_buffer_lazy 对推测解码的全局禁止，改为仅禁止 DFLASH/DSPARK 算法，并添加 PD 分解不支持的断言。schedule_batch.py)：新增 mamba_lazy_spec_in_window 判断是否可能跨越 track 边界；新增 mamba_lazy_spec_prepare 方法，在每次推测解码迭代前预分配 spare slot 并记录写入计划，不移动指针。spec_utils.py)：修改 prepare_mamba_track_for_verify，在 lazy 模式下使用预先计划的 track_positions 调用 set_mamba_track_indices_from_reqs，避免在 forward 隔离期内突变 req 状态。batch_result_processor.py)：新增 _mamba_lazy_spec_update 方法，根据实际是否跨越边界和请求完成状态，安全地提升 pending slot、释放旧 checkpoint 或跳过缓存插入，防止并发写入损坏。test_qwen3_next_models_mtp.py)：新增 TestQwen3NextMTPLazyV2 (自动 CI) 和 TestQwen3NextMTPLazyAllocFail (手动，强制分配失败) 两个测试类，验证精度、KL 散度和极端回退路径。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
python/sglang/srt/managers/schedule_batch.py |
调度器 | modified | 8.27 |
python/sglang/srt/managers/scheduler_components/batch_result_processor.py |
结果处理器 | modified | 7.7 |
test/registered/models_e2e/test_qwen3_next_models_mtp.py |
测试 | modified | 7.33 |
python/sglang/srt/managers/schedule_batch.py
core-logic
新增 mamba_lazy_spec_prepare 和辅助函数，修改 set_mamba_track_indices_from_reqs 支持计划位置，是 lazy-spec 调度入口。
def mamba_lazy_spec_in_window(
req, mamba_track_interval: int, max_draft_tokens: int
) -> bool:
"""判断请求是否可能在下一次 verify 中跨越 track 间隔
由于 kv_committed_len 在 overlap 模式下最多滞后一个 verify 步骤，
使用 2 倍 max_draft_tokens 窗口吸收延迟。
"""
seq_len = req.kv_committed_len
window = 2 * max_draft_tokens
# 若当前区间与加窗口后的区间编号不同，则可能跨越
return seq_len // mamba_track_interval != (seq_len + window) // mamba_track_interval
def set_mamba_track_indices_from_reqs(
batch, track_positions: Optional[List[int]] = None
):
"""从请求对象构建 mamba_track_indices (权威来源)
track_positions：可选的每请求 ping-pong 位置覆盖（由 lazy spec 计划提供），
若为 None 则使用 req.mamba_next_track_idx。
"""
req_to_token_pool = batch.req_to_token_pool
all_buffers = req_to_token_pool.req_index_to_mamba_ping_pong_track_buffer_mapping[
batch.req_pool_indices
] # (bs, ping_pong_size), int64, on device
if track_positions is None:
# 默认：使用 req.mamba_next_track_idx，若为 None 则选 0 ( 首次 )
track_positions = [
req.mamba_next_track_idx if req.mamba_next_track_idx is not None else 0
for req in batch.reqs
]
idx = (
torch.tensor(track_positions, dtype=torch.int64, pin_memory=True)
.unsqueeze(1)
.to(device=all_buffers.device, non_blocking=True)
)
batch.mamba_track_indices = (
torch.gather(all_buffers, 1, idx).squeeze(1).to(torch.int64)
)
python/sglang/srt/managers/scheduler_components/batch_result_processor.py
core-logic
新增 _mamba_lazy_spec_update 方法，实现 lazy-spec 的 result 处理逻辑，包括 slot 提升和捐赠控制。
def _mamba_lazy_spec_update(
self, req: Req, batch: ScheduleBatch, i: int, crossed: bool, track_seqlen: int
) -> None:
"""Lazy + spec 后处理：处理正式交叉后的状态提升和请求结束时的捐赠判定"""
positions = batch.mamba_lazy_spec_track_positions_cpu
planned_pos = (
positions[i]
if positions is not None and i < len(positions)
else None # 无计划时保守处理
)
if req.finished():
# 跳过捐赠如果 slot 已被本步骤或后续 in-flight 写入
keep_written_by_this_step = (
crossed and planned_pos == req.mamba_next_track_idx
)
server_args = get_server_args()
other_idx = 1 - req.mamba_next_track_idx
# 重新计算 in-flight verify 的计划 (kv_committed_len 自 prepare 以来冻结，故精确 )
keep_may_be_written_in_flight = (
req.mamba_ping_pong_track_buffer[other_idx].item() == -1
and mamba_lazy_spec_in_window(
req,
server_args.mamba_track_interval,
server_args.max_speculative_num_draft_tokens,
)
)
if (
planned_pos is None
or keep_written_by_this_step
or keep_may_be_written_in_flight
):
req.mamba_lazy_is_insert = False
return
if not crossed or planned_pos is None:
return
if planned_pos != req.mamba_next_track_idx:
# 提升 pending 槽为 keep：释放旧 checkpoint，重定向指针
pool = batch.req_to_token_pool
keep_idx = req.mamba_next_track_idx
keep_val = req.mamba_ping_pong_track_buffer[keep_idx]
pool.mamba_allocator.free(keep_val.unsqueeze(0))
pool.set_mamba_ping_pong_slot(req, keep_idx, -1)
req.mamba_next_track_idx = planned_pos
# 若相等则为 in-place 回退，无需额外操作
req.mamba_last_track_seqlen = track_seqlen
当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。
核心路径变更 (schedule_batch.py, batch_result_processor.py)：lazy-spec 状态管理复杂，可能引入并发 race condition（例如 overlap 下的 slot 写入时序）。回退逻辑 (alloc failure) 覆盖不足：TestQwen3NextMTPLazyAllocFail 为手动运行，CI 中未执行。PD 分解和 DFLASH/DSPARK 的禁止点在配置层，但代码中无运行时防护。finished req 捐赠逻辑涉及 mamba_ping_pong_track_buffer 的 in-flight 写入判定，若 kv_committed_len 更新时序错误可导致缓存损坏。
影响使用 Mamba 模型并启用 extra_buffer_lazy + speculative decoding (NEXTN) 的用户。受限 pool 场景下 RadixCache 命中率显著提升，预填充延迟降低。无 pool 压力场景无负面影响。新增代码路径仅在 lazy 和 spec 同时启用时触发，默认行为不变。团队需注意：该 PR 依赖近期 extra_buffer_lazy 基础，且与 PD 分解不兼容。
当前没有检测到明确关联的 Issue 链接，后续同步到相关引用后会出现在这里。
参与讨论