执行摘要

• 一句话：消除 min_new_tokens 惩罚的每步 host sync
• 推荐动作：值得精读，因为它是消除 decode 关键路径上 host sync 的一个好例子，展示了如何用元素级操作替代布尔索引以提升 GPU 推理性能。

功能与动机

BatchedMinNewTokensPenalizer._apply 使用布尔掩码索引（logits[mask]）是数据相关的，每次激活惩罚时都会强制进行 device-to-host 同步，影响解码吞吐量。PR body 指出这是 #28218 中报告的解码吞吐量回归的贡献因素之一。

实现拆解

1. 在 _apply 方法中，将 mask = (self.len_output_tokens < self.min_new_tokens).expand_as(logits) 和 logits[mask] += self.stop_token_penalties[mask] 替换为 mask = self.len_output_tokens < self.min_new_tokens 和 logits.add_(torch.where(mask, self.stop_token_penalties, 0.0))。
2. 消除 expand_as 调用和布尔索引，改用 torch.where 进行元素级选择，避免了数据依赖的 host sync，并且避免了 -inf * 0 = nan 的问题。
3. 文件 python/sglang/srt/sampling/penaltylib/min_new_tokens.py 中仅修改了 _apply 方法，改动量很小（+5/-2）。未包含相关测试文件的变更。

关键文件：

• python/sglang/srt/sampling/penaltylib/min_new_tokens.py（模块 采样惩罚；类别 source；类型 core-logic；符号 _apply）: 核心修改文件，优化了解码关键路径上的 host sync 问题。

关键符号：_apply

评论区精华

无 review 评论，提交者自行合并。作者在 PR body 中解释了替换的理由和收益，并触发了相关测试的重跑。

• 暂无高价值评论线程

风险与影响

• 风险：风险极低：该变更是局部优化，保持语义等价（torch.where 和布尔索引在数值上等效），且避免了 -inf * 0 = nan 的潜在问题。已运行的测试（registered/unit/sampling/test_penaltylib.py）通过，但另一个测试（registered/sampling/test_penalty.py）失败（可能与基础设施有关而非本 PR 导致）。缺少对 min_tokens 场景的针对性性能基准测试。
• 影响：影响范围仅限于使用 min_new_tokens 惩罚的解码路径。对于包含 min_tokens > 0 请求的工作负载，可消除每个 decode 步骤的 host sync，提升吞吐量。对不使用该惩罚的请求无影响。
• 风险标记：缺少性能基准测试覆盖

关联脉络

• PR #28218 [Bug] Blackwell throughput regressions after #26380: 本 PR 旨在部分修复 #28218 中报告的解码吞吐量回归问题。