执行摘要

该PR修复了SGLang OpenAI兼容API中流式请求验证错误返回状态码不一致的bug。当输入令牌超过上下文长度时，流式请求（stream=true）现在会正确返回HTTP 400，而非之前的HTTP 200附带SSE错误负载。这一变更统一了与vLLM的行为，提升了API的兼容性和一致性。实现通过预启动流式生成器来捕获验证错误，确保在HTTP响应发送前返回正确状态码。

功能与动机

根据Issue #19996，用户报告在输入令牌数超过模型上下文长度时，SGLang的/v1/chat/completions端点行为不一致：非流式请求正确返回HTTP 400，而流式请求返回HTTP 200并附带错误负载（error.code=400）。这与vLLM的行为不符，vLLM在两种情况下均返回HTTP 400。PR的目标是修复此不一致性，使流式请求在验证失败时也返回HTTP 400，从而提升API的标准化和客户端兼容性。

实现拆解

实现涉及三个关键文件，按模块拆解如下：

1. OpenAI服务器模块：

   • serving_chat.py和serving_completions.py中的_handle_streaming_request方法被修改，返回类型从StreamingResponse扩展为Union[StreamingResponse, ErrorResponse]。
   • 新增预启动逻辑：通过await generator.__anext__()触发验证，如果捕获ValueError则直接返回create_error_response（HTTP 400）。
   • 代码示例：
     

     try:
         first_chunk = await generator.__anext__()
     except ValueError as e:
         return self.create_error_response(str(e))
     

2. 流生成逻辑：

   • 在_generate_chat_stream和_generate_completion_stream方法中添加stream_started标志，初始为False。
   • 在首次yield后设置stream_started = True，确保验证错误在流开始前能通过raise传播到调用方。
   • 修改try/except块，仅在stream_started为False时重新抛出验证错误。

3. 测试模块：

   • test_request_length_validation.py新增test_input_length_longer_than_context_length_streaming测试，验证流式请求在上下文超限时抛出openai.BadRequestError（对应HTTP 400）。

评论区精华

由于review评论为空，无具体讨论内容可提炼。但提交历史显示作者通过三次提交逐步完善解决方案：

• 首次提交引入预启动生成器机制。
• 第二次提交添加测试覆盖。
• 第三次提交修复生成器内部错误吞没问题，通过stream_started标志确保验证错误正确传播。

风险与影响

• 技术风险：预启动生成器可能轻微增加流式请求的延迟，但仅在验证失败时有额外开销；修改核心错误处理路径需谨慎测试以避免回归。
• 兼容性影响：API行为从返回HTTP 200改为HTTP 400，可能破坏依赖旧行为的客户端，需在更新日志中明确说明。
• 测试覆盖：新增测试覆盖了上下文长度超限场景，但建议扩展测试以覆盖其他验证错误（如令牌数超限）。
• 性能影响：对正常流式请求影响极小，因为预启动仅涉及一次异步调用。

关联脉络

• 与Issue #19996直接关联，解决了该bug报告中描述的不一致性问题。
• 在近期历史PR中，PR #21463（迁移API端点）同样关注API表面的一致性，但本PR更专注于错误处理逻辑。
• 本PR是OpenAI兼容API维护的一部分，反映了团队对标准化和兼容性的持续投入。