执行摘要

• 一句话：修复 top_p mask 性能问题
• 推荐动作：此 PR 为针对性的性能修复，改动量小且准确。建议相关人员了解该条件判断的引入原因，以便在 sglang 上游版本升级时同步。

功能与动机

PR title 明确指出这是一个关于 top_p mask 速度问题的修复。结合近期 PR#2102 新增了 top_p mask 支持，该功能在 Docker 环境下可能存在性能瓶颈，因此需要优化。

实现拆解

1. 修改 sglang 上游补丁：在 docker/patch/latest/sglang-top_p.patch 中，针对 tokenizer_manager.py 的 add_logprob_to_meta_info 方法，增加 meta_info.get("finish_reason") is not None 条件判断，确保仅在请求完成时进行 top_p_token_ids 的编码和传输。
2. 更新 Docker 版本号：在 docker/version.txt 中将版本从 nightly-dev-20260618a 更新为 nightly-dev-20260629a，以标记新的补丁版本。

关键文件：

• docker/patch/latest/sglang-top_p.patch（模块 补丁；类别 test；类型 performance-optimization）: 核心修复文件，修改了 sglang tokenizer_manager.py 中的条件判断，避免在请求未完成时传输 top_p token 数据，从而提升性能。
• docker/version.txt（模块 部署；类别 docs；类型 documentation）: 更新 Docker 镜像版本号，标记补丁版本。

关键符号：未识别

关键源码片段

docker/patch/latest/sglang-top_p.patch

核心修复文件，修改了 sglang tokenizer_manager.py 中的条件判断，避免在请求未完成时传输 top_p token 数据，从而提升性能。

# docker/patch/latest/sglang-top_p.patch 中的关键修改
# 原代码 :
# + if state.output_top_p_token_ids:
# 修改为 :
+ if state.output_top_p_token_ids and meta_info.get("finish_reason") is not None:
    token_ids, offsets = _encode_top_p_token_ids(state.output_top_p_token_ids)
    meta_info["top_p_token_ids"] = token_ids
    meta_info["top_p_token_offsets"] = offsets

评论区精华

无 review 讨论。

• 暂无高价值评论线程

风险与影响

• 风险：风险极低。改动仅增加了一个条件判断，逻辑简单，且与现有功能正交。若条件判断有误，可能导致某些场景下 top_p token 信息缺失，但不会引起运行时错误。
• 影响：直接影响 Docker 环境下使用 top_p mask 功能的用户，通过减少不必要的计算和网络传输提升性能。不会影响未使用 top_p mask 的场景。
• 风险标记：条件判断可能导致特定场景下数据缺失

关联脉络

• PR #2102 Support top_p mask: PR#2102 新增了 top_p mask 功能，本 PR 是对该功能的性能修复，直接关联。