执行摘要

• 一句话：基准测试过滤非整数token ID，并增加解码端指标
• 推荐动作：建议精读，特别是新增的解码端指标逻辑，可作为类似观测扩展的参考。同时 review 中的建议值得采纳，以提高鲁棒性。

功能与动机

PR 描述指出需要过滤非整数 token ID 以避免潜在问题，并需要在解码侧添加 bootstrap 和 alloc 指标的观测以匹配已有的预填充侧指标。

实现拆解

1. 过滤非整数 token ID：在 python/sglang/benchmark/datasets/common.py 的 get_available_tokens 函数中，将原本的 list(tokenizer.get_vocab().values()) 改为列表推导式，只保留类型为 int 的 token ID，防止非整数值（如字符串）混入基准测试。
2. 添加解码端 bootstrap/alloc 指标：在 python/sglang/srt/observability/req_time_stats.py 的 set_decode_transfer_queue_entry_time 方法中，新增条件：当 self.enable_metrics 为 True 且 self.bootstrap_done_time > 0 时，计算 bootstrap 耗时（bootstrap_done_time - decode_prealloc_queue_entry_time）和 alloc 耗时（当前时间 - bootstrap_done_time），并通过 self.metrics_collector.observe_kv_transfer_bootstrap 上报。
3. 更新 playground 脚本中的路径示例：在 scripts/playground/replay_request_dump.py 的文档字符串中更新了文件夹路径和文件路径的示例，以反映最新的数据存放位置。

关键文件：

• python/sglang/srt/observability/req_time_stats.py（模块 观测；类别 source；类型 core-logic；符号 set_decode_transfer_queue_entry_time）: 核心变更文件，添加了解码端的 bootstrap 和 alloc 指标观测，完善了 KV transfer 延迟监控。
• python/sglang/benchmark/datasets/common.py（模块 基准测试；类别 source；类型 core-logic；符号 get_available_tokens）: 基准测试数据集核心函数，过滤非整数 token ID，防止潜在问题。
• scripts/playground/replay_request_dump.py（模块 脚本；类别 other；类型 maintenance）: 更新了文档中的示例路径，属于非功能性变更。

关键符号：get_available_tokens, set_decode_transfer_queue_entry_time

评论区精华

Review 评论由 gemini-code-assist[bot] 提出：

• 在 common.py 中，检查 isinstance(token_id, int) 可能过于严格，因为某些 tokenizer 可能返回 numpy 整数类型（如 np.int64），建议改为 isinstance(token_id, (int, np.integer))。

• 在 req_time_stats.py 中，建议增加对 self.decode_prealloc_queue_entry_time > 0 的检查，以避免在预分配入口时间未被记录时报告错误的超大指标，保持与预填充侧逻辑的一致性。
  这些评论未得到作者回复，状态为未解决。

• 类型检查是否应包含 numpy 整数 (correctness): 未得到作者回复，状态未解决。但实际 numpy 整数继承自 int，当前实现可能已经安全。

• 增加 decode_prealloc_queue_entry_time 有效性检查 (correctness): 未得到作者回复，状态未解决。

风险与影响

• 风险：
  1. 性能风险：新增的解码端指标计算涉及条件判断和少量算术运算，影响极小。
  2. 兼容性风险：过滤掉非整数 token ID 可能导致某些 tokenizer 的 token ID 被误过滤（如 numpy 整数），但根据 review 评论，当前的 isinstance(token_id, int) 对于 numpy 整数也会返回 True（因为 numpy 整数继承自 int），实际上安全。
  3. 功能风险：解码端指标新增代码在 set_decode_transfer_queue_entry_time 中，若 self.decode_prealloc_queue_entry_time 未设置（为 0 或 None），则计算 bootstrap 耗时可能产生负值或异常值，虽然已有 self.bootstrap_done_time > 0 的检查，但建议按 review 建议增加 self.decode_prealloc_queue_entry_time > 0 的检查。
     - 影响：影响范围较小，主要涉及基准测试数据集生成和观测指标收集。对用户无直接感知；对系统来说，解码端的 bootstrap/alloc 指标现在可以完整监控，有助于性能分析。团队在调试 KV transfer 相关问题时能获得更全面的数据。
     - 风险标记：缺少对 numpy 整数类型的兼容, 缺少 decode_prealloc_queue_entry_time 有效性检查

关联脉络

• 暂无明显关联 PR