执行摘要

• 一句话：通过环境变量使调度器强制流式间隔可配置，以支持准确的TTFT基准测试。
• 推荐动作：该PR值得快速浏览，以了解调度器指标收集的配置化设计。关注点：环境变量如何以零开销方式集成到常量中，以及TTFT准确性权衡的注释说明。

功能与动机

PR body明确指出，对于非流式请求（stream=False），调度器每解码50个令牌（硬编码的DEFAULT_FORCE_STREAM_INTERVAL）才强制刷新中间输出批次，此时set_first_token_time()才会运行，导致引擎的TTFT直方图（sglang:time_to_first_token_seconds）严重偏高（约50倍真实TTFT）。这使得在stream=False下进行TTFT基准测试难以解读，且目前无法在不修改源码的情况下覆盖此间隔。

实现拆解

1. 添加环境变量定义：在python/sglang/srt/environ.py的Envs类中添加SGLANG_FORCE_STREAM_INTERVAL = EnvInt(50)，并附带详细注释说明其用途和权衡。
2. 修改常量引用：在python/sglang/srt/managers/scheduler_output_processor_mixin.py中，将DEFAULT_FORCE_STREAM_INTERVAL从硬编码的50改为从环境变量读取：DEFAULT_FORCE_STREAM_INTERVAL = envs.SGLANG_FORCE_STREAM_INTERVAL.get()，并在模块导入时解析，确保运行时仍为普通int比较，无额外开销。
3. 保持向后兼容：默认值仍为50，与之前行为一致；用户可通过设置SGLANG_FORCE_STREAM_INTERVAL=1来获得准确的TTFT基准测试。
4. 无测试或文档配套改动：PR body中的检查清单显示未添加单元测试或更新文档，但变更简单且自包含，风险较低。

关键文件：

• python/sglang/srt/managers/scheduler_output_processor_mixin.py（模块 调度器；类别 source；类型 configuration；符号 DEFAULT_FORCE_STREAM_INTERVAL）: 这是调度器输出处理的核心文件，直接定义了DEFAULT_FORCE_STREAM_INTERVAL常量，其值影响TTFT指标收集频率。
• python/sglang/srt/environ.py（模块 环境配置；类别 source；类型 configuration；符号 SGLANG_FORCE_STREAM_INTERVAL）: 环境变量定义文件，新增SGLANG_FORCE_STREAM_INTERVAL配置项，扩展了系统的可调参数集。

关键符号：DEFAULT_FORCE_STREAM_INTERVAL, SGLANG_FORCE_STREAM_INTERVAL

关键源码片段

python/sglang/srt/managers/scheduler_output_processor_mixin.py

这是调度器输出处理的核心文件，直接定义了DEFAULT_FORCE_STREAM_INTERVAL常量，其值影响TTFT指标收集频率。

# How often (in decoded tokens) the scheduler force-flushes an intermediate
# output batch for non-streaming requests.
DEFAULT_FORCE_STREAM_INTERVAL = envs.SGLANG_FORCE_STREAM_INTERVAL.get()
# 此常量在调度器输出处理中用于控制非流式请求的中间输出刷新间隔。
# 通过从环境变量读取，用户可配置此值（如设为 1）以获取准确的 TTFT 基准测试结果。
# 模块导入时解析，确保运行时仍为普通 int，避免每次比较的开销。

python/sglang/srt/environ.py

环境变量定义文件，新增SGLANG_FORCE_STREAM_INTERVAL配置项，扩展了系统的可调参数集。

# For non-streaming requests, the scheduler still flushes intermediate
# output batches to the tokenizer manager every N decoded tokens so that
# `first_token_time`/TTFT can be recorded. Lower this (e.g. to 1) to get
# an accurate TTFT for benchmarking; the upstream default of 50 trades
# off some TTFT-metric accuracy for less IPC overhead.
SGLANG_FORCE_STREAM_INTERVAL = EnvInt(50)
# 此环境变量控制调度器对非流式请求的强制输出刷新间隔。
# 降低此值（如设为 1）可提高 TTFT 指标的准确性，但会增加 IPC 开销。
# 默认值 50 保持了现有行为，在准确性和性能间取得平衡。

评论区精华

Review中仅有一次批准（hnyls2002），无具体评论；PR body和代码注释已充分说明变更动机和实现细节，未出现争议或深度讨论。

• 暂无高价值评论线程

风险与影响

• 风险：
  1. 兼容性风险：默认值保持50，完全向后兼容；但若用户意外设置环境变量（如SGLANG_FORCE_STREAM_INTERVAL=0），可能影响系统行为（尽管代码未显式处理0值，但模运算可能导致频繁刷新）。
  2. 性能风险：将间隔设为1会增加IPC开销，因为调度器更频繁地刷新输出批次，但这正是为了权衡TTFT准确性，且仅影响非流式请求。
  3. 测试覆盖不足：PR未添加单元测试验证环境变量读取和间隔生效逻辑，依赖现有测试可能不充分。
• 影响：
  1. 用户影响：为需要准确TTFT基准测试的用户（如性能调优者）提供了配置能力，默认行为不变，不影响普通用户。
  2. 系统影响：仅修改调度器输出处理逻辑中的常量来源，不影响核心调度算法或数据流；环境变量在模块导入时读取，无运行时性能损失。
  3. 团队影响：简化了TTFT测试流程，无需源码补丁；但缺乏文档更新可能使新用户不知此功能。
     - 风险标记：配置项新增, 缺少测试覆盖

关联脉络

• PR #23419 [model_runner] Label forward steps in profile traces with mode and token counts: 同属可观测性改进，关注性能指标收集和追踪。
• PR #22658 PD streaming: batch notify + SSE fast path: 涉及调度器和输出处理性能优化，与本PR的TTFT指标收集相关。