执行摘要
本PR在vLLM的Responses API中添加了kv_transfer_params字段支持，使该API能够用于PD disaggregation场景，与Chat Completions API保持功能一致。变更遵循现有模式，已通过端到端测试，风险较低。
功能与动机
动机源于Issue #37422，指出Responses API缺少kv_transfer_params字段，导致无法通过该API使用PD disaggregation功能。Chat Completions API已支持此功能，因此需为Responses API添加对等支持以提升用户体验和系统一致性。
实现拆解
实现涉及三个关键文件：
- protocol.py: 在
ResponsesRequest中添加kv_transfer_params字段，并在to_sampling_params方法中将其注入SamplingParams.extra_args；在ResponsesResponse中添加对应字段，并在from_request方法中传递。
- context.py: 为
SimpleContext、ParsableContext、HarmonyContext和StreamingHarmonyContext四个context类型添加kv_transfer_params属性，在append_output方法中从RequestOutput更新，并添加guard处理多回合场景。
- serving.py: 在
responses_full_generator函数中将context.kv_transfer_params传递到响应构建中。
评论区精华
主要讨论聚焦于context.py中append_output方法内的guard条件：
Reviewer chaunceyjiang: "It seems that this if is not necessary."
作者bongwoobak: "The guard is intentional here. The Responses API supports multi-turn agentic loops... Only the first prefill turn returns valid kv_transfer_params... Without the guard, the None from a later turn would overwrite the valid value."
最终确认guard是确保多回合处理正确性的关键设计。
风险与影响
风险: 技术风险较低，因变更模式与现有Chat Completions API一致。但需注意guard逻辑在多回合场景下的正确性，避免值覆盖错误。
影响: 用户现在可通过Responses API使用PD disaggregation，扩展了应用场景；系统API功能更加完整；团队维护因模式一致而简化。
关联脉络
与此PR相关的历史PR包括#37498，后者修复了Responses API中arrival_time记录问题，两者共同完善Responses API功能。这表明vLLM项目正持续优化前端API，以支持更复杂的部署场景如PD disaggregation。
参与讨论