Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47
后台正在同步并分析最近 PR,页面会自动刷新并逐步显示最新结果。

PR 列表

更多筛选
2026-07-27
功能 重要性 6.60 洞察度 4.00

暴露 stream_interval 作为请求级采样参数

此 PR 设计简洁,clamp 模式值得在其他请求级参数中借鉴。建议阅读 `vllm/v1/engine/output_processor.py` 中的 clamp 逻辑和测试用例,以理解安全边界的设计思路。

功能 重要性 5.40 洞察度 4.00

XPU 启用 QK Norm + RoPE 融合编译 pass

值得精读并合并。设计清晰且安全:将条件从 `is_cuda_alike` 扩展到 `is_cuda_alike or is_xpu`,同时将两个 pass 一起移入,保持了平台间的对称性。基准测试数据扎实,证明了性能收益和精度无损。

缺陷修复 重要性 4.82 洞察度 4.00

AMD CI 全局 GPU 内存清理改为 opt-in

建议 AMD CI 维护人员确认相关测试是否已正确设置 `VLLM_TEST_CLEAN_GPU_MEMORY=1`。此 PR 提供了合理的设计决策,值得阅读。

基础设施 重要性 5.47 洞察度 4.00

缩减 ROCm V1 attention 测试耗时

建议阅读,特别是 collection-time 参数验证的设计,可推广到其他需要根据运行时能力跳过测试的场景。

功能 重要性 8.59 洞察度 8.00

为 MoRIIO 添加异构 TP/DP 并行路由支持

值得精读。该 PR 展示了在异构并行环境下如何优雅地解决 KV 传输路由问题,特别是死锁预防和负载均衡的设计。对于了解 MoRIIO 内部机制和分布式推断性能优化的开发者而言,其中的 `_eager_handshake_all_dp_ranks` 和 `_next_flex_tp_rank` 实现具有较高学习价值。建议关注配套的 RFC #46107 和相关 PR #46115、#47495 以获取完整上下文。

参与讨论