标签列表
聚合结果
原始 PR · 作者 taneem-ibrahim · 合并时间 2026-09-15 21:21
Pooling 基准修复：度量完整响应体并支持 bytes_only
值得精读的小型 bugfix。它清晰展示了异步 HTTP 客户端中“延迟测量点”与“响应体消费”之间常见的陷阱，`iter_any()` 增量消费避免内存膨胀的做法有借鉴价值；`bytes_only` 无 metadata 时回退客户端估算的取舍也可作为后续协议设计的参考。适合 benchmark 工具维护者和性能团队阅读。
Rust bench CLI 对齐 Python，新增一致性测试
值得精读。核心看点不是参数本身，而是“双端快照 + 双向白名单”的一致性测试设计：`python_only_allowlist_is_not_stale` 防白名单陈旧、`python_only_entries_exist_in_snapshot` 防白名单悬空，配合 Python 侧自动生成快照，形成低成本、可持续的跨语言 CLI 契约守护模式，可借鉴到其他双实现入口。`parse_spec_decode_metrics` 的“先取 metric 名再判 `_total`”也是处理 Prometheus 文本格式的教科书写法。
原始 PR · 作者 tlrmchlsmth · 合并时间 2026-08-19 10:52
vllm-bench 启动依赖请求接入就绪超时重试
值得精读。这是一个典型的“review 驱动重构”案例：第一版直接把就绪探测提前，被 AI 审查发现合成 probe 的载荷代表性问题后，第二版改为让启动依赖请求自带重试，方案更稳。重点学习 `retry_with_timeout` 的泛型封装（`FnMut` + `Future` 的写法）、零超时语义设计，以及“保留原位探测以保证载荷真实”的取舍逻辑。
原始 PR · 作者 JaredforReal · 合并时间 2026-08-06 18:31
throughput 复用 serve 数据集分发，删除 215 行 if-else
对 benchmark 工具维护者值得精读：`_to_serve_args` 适配器加共享分发模式可作为 CLI 复用范例，而 review 中未解决的 ASR、prefix-repetition、custom-audio 兼容性缺口建议在后续 PR 补齐（优先 prefix_repetition 的 `None` 默认值与 ASR 白名单）。普通用户无需关注。
新增延迟指标文档，澄清 TTFT/ITL/TPOT 口径
值得一读的文档型 PR：如果你使用 `vllm bench serve` 或需要对照其他推理框架的延迟指标，本小节是绕不开的参考。值得关注的设计决策：①全文强调"用测量点和公式而非指标名比较"，是处理 benchmark 术语不一致的正解；②TPOT 公式明确排除首 token、ITL 不产生零时长 gap，澄清了规格解码下的常见误解；③双主题 SVG 配图把抽象定义可视化的做法值得在文档中推广。缺点是 PR body 缺动机描述，合并信息全部依赖文档自身，后续维护者需自行补读上下文。
原始 PR · 作者 sducouedic · 合并时间 2026-04-24 06:48
为 bench serve 可视化参数添加文档
建议合并，文档补全对用户友好。参数解析方式的变化（逗号分隔）是合理的改进，但应确保在发布说明中提及此 breaking change。代码改动量小且经过评审，正确性有保障。