Prhub

vllm-project/vllm · 标签视图

标签列表

聚合结果

test 相关 PR

2026-06-04
2026-06-03

支持推理模型基准测试的思考模式

该 PR 值得精读,特别是对负责基准测试和推理性能分析的工程师。其设计简洁、聚焦,通过最小的 CLI 改动解决了一个实际的基准测试盲区。建议关注后续是否扩展支持更多数据集。

缺陷修复 重要性 5.17 洞察度 4.00

对 gfx90a 跳过 FP8 reload 测试

建议精读 `_fp8_reload_unsupported()` 的实现,作为处理平台特定测试跳过的良好范例——它展示了如何在不修改全局平台 API(如 `supports_fp8()`)的前提下,通过本地化函数解决特定硬件的测试问题。

缺陷修复 重要性 3.66 洞察度 2.00

修复稀疏NCCL权重传输测试构造

本 PR 为常规 bugfix,变更简单直接,值得快速合并以恢复 CI 稳定性。可关注后续对 `NCCLWeightTransferEngine` 构造签名的进一步演进。

#42187 [ModelRunnerV2] Avoid pipeline parallel bubbles

原始 PR · 作者 njhill · 合并时间 2026-06-03 05:02

性能优化 重要性 9.36 洞察度 7.00

重构PP调度避免气泡,吞吐最高提升3倍

此 PR 是 ModelRunnerV2 的重要性能里程碑,强烈建议精读。重点关注 `PPHandler` 的延迟消费与专用通信器设计,这是一种解耦同步通信的通用模式。同时关注 CPU mirror 与 GPU 状态一致性维护策略。建议在后续 PR 中增加更多极端场景测试(如高并发出错恢复)。

2026-06-02
功能 重要性 7.69 洞察度 5.00

在基准测试中支持客户端侧图像编码

值得精读,特别是如何复用 `vllm.multimodal.utils` 中的工具实现客户端编码,以及如何在不破坏现有行为的前提下逐步添加特性。设计决策清晰,适合作为多模态基准测试扩展的参考。