执行摘要

• 一句话：调优多流 GEMM token 阈值默认值从 4096 降至 1024
• 推荐动作：可作为默认值调优的范例参考，无需深入代码审查，但可关注后续注释更新。

功能与动机

PR 正文指出，empirically 1024 是开启多流 GEMM 的更好默认值。在 disgg 设置中，该阈值对 prefill 节点禁用多流，对 decode 节点启用（因为单个 rank 处理超出 1024 请求的情况罕见）；在 aggregate 设置中，Blackwell 数据表明 1024 优于 4096。

实现拆解

在 vllm/envs.py 中将 VLLM_MULTI_STREAM_GEMM_TOKEN_THRESHOLD 的默认值从 4096 修改为 1024，并更新相关注释引用本 PR 作为经验依据。

关键文件：

• vllm/envs.py（模块 环境配置；类别 source；类型 core-logic）: 环境变量默认值的修改与注释更新，直接影响多流 GEMM 的启用条件。

关键符号：未识别

关键源码片段

vllm/envs.py

环境变量默认值的修改与注释更新，直接影响多流 GEMM 的启用条件。

# vllm/envs.py 中相关片段（修改后）
​
    VLLM_MULTI_STREAM_GEMM_TOKEN_THRESHOLD: int = 1024 # 之前为 4096
​
# 下方是运行时环境变量读取逻辑（已更新注释）
    # Token-count cutoff for multi-stream overlap of the attention input
    # GEMM with auxiliary GEMMs (e.g. fused_wqa_wkv overlapped with indexer
    # weights / kv-score projections in DeepSeek-V4). At or below this many
    # tokens the FP8 main GEMM has idle SMs to share with the bf16 aux GEMMs
    # and overlap is a 5-45% win; above it the FP8 GEMM saturates the device
    # and the cross-stream sync becomes pure overhead. Set to 0 to disable
    # the multi-stream path entirely. See #PR 41526 for the empirical result
    # for the default value of 1024 tokens.
    "VLLM_MULTI_STREAM_GEMM_TOKEN_THRESHOLD": lambda: int(
        os.getenv("VLLM_MULTI_STREAM_GEMM_TOKEN_THRESHOLD", "1024")
    ),

评论区精华

仅有一条评论：gemini-code-assist[bot] 指出注释描述（B300 crossover ~4096）与新默认值矛盾，建议更新。

• 注释与新默认值矛盾 (documentation): 开发者已在最终提交中更新注释，引用本 PR 并移除旧字段。

风险与影响

• 风险：低风险——仅修改环境变量默认值，不影响已有用户显式设置。对依赖旧默认值 4096 的用户，若其工作负载恰好被 4096 绕过，则可能引入多流开销，但 PR 数据表明 1024 在绝大多数配置下表现更好。
• 影响：直接影响 DeepSeek-V4 推理性能：在 decode 节点默认启用多流加速，在 aggregate 设置中提升吞吐（B300 DEP4 下 1024 阈值吞吐 25881.9 tok/s 优于 4096 的 未提供，但相比其他值最优）。
• 风险标记：轻微性能波动风险（极少数场景）

关联脉络

• PR #41443 [DSV4] Add knob to enable pre-attn gemm: 引入多流 GEMM 的开销，本 PR 是其阈值调优后续。