#32951 [Async][Spec Decoding] Zero-bubble async scheduling + spec decoding
原始 PR · 作者 MatthewBonanni · 合并时间 2026-03-24 03:37
实现了零气泡异步调度和推测解码优化,提升推理性能约3%。
该PR值得精读,尤其是vllm/v1/worker/gpu_model_runner.py中的异步状态管理逻辑和update_num_computed_tokens_for_batch_change设计。关注点包括:乐观假设与延迟校正的权衡、GPU缓冲区优化以减少同步、以及review中讨论的代码简化路径,这些决策对高性能推理系统设计有重要参考价值。
参与讨论