执行摘要
为 OpenAI Responses API 添加流式工具 / 函数调用支持。
从Issue评论中,多个用户(如loganlebanoff、Dorsivan、SaltFish11)表达了对此功能的强烈期待,表明这是提升用户体验和API完整性的重要需求。PR body中提供了测试代码示例,旨在模拟OpenAI的流式工具调用场景,确保API兼容性和功能性。
该PR值得精读,特别是_process_simple_streaming_events函数中的工具解析集成设计,展示了如何在现有流式框架中优雅地扩展新功能,同时关注测试组织和未来重构的权衡。
reviewer qandrew提出了几个关键点:
- 建议将测试逻辑移动到
tests/entrypoints/openai/responses/test_simple.py,但作者回应当前vllm serve在该文件中未启用tool-calling,同意稍后重构。 - 要求在测试中添加断言验证
tool_call_item与response.completed_event.function_tool_call的匹配,作者已处理(回复'Done.')。 - 非阻塞意见:未来可能将逻辑移到Parser中以支持更灵活的序列(如工具调用在推理之前)。讨论以友好方式结束,无重大争议。
参与讨论