#49376 [Docs] Document NVFP4 GEMM kernel selection and Marlin weight-only fallback
原始 PR · 作者 harjothkhara · 合并时间 2026-07-27 11:53
文档 NVFP4 GEMM 内核选择与 Marlin 回退
文档正确且必要,建议合并。无需深入代码审查,适合快速集成。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 harjothkhara · 合并时间 2026-07-27 11:53
文档 NVFP4 GEMM 内核选择与 Marlin 回退
文档正确且必要,建议合并。无需深入代码审查,适合快速集成。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 11:31
AMD CI 原生测试数据集改用本地缓存路径
可直接合并,变更简单且经过审核。可作为 CI 基础设施缓存隔离的参考做法。
暴露 stream_interval 作为请求级采样参数
此 PR 设计简洁,clamp 模式值得在其他请求级参数中借鉴。建议阅读 `vllm/v1/engine/output_processor.py` 中的 clamp 逻辑和测试用例,以理解安全边界的设计思路。
原始 PR · 作者 chaojun-zhang · 合并时间 2026-07-27 11:22
XPU 启用 QK Norm + RoPE 融合编译 pass
值得精读并合并。设计清晰且安全:将条件从 `is_cuda_alike` 扩展到 `is_cuda_alike or is_xpu`,同时将两个 pass 一起移入,保持了平台间的对称性。基准测试数据扎实,证明了性能收益和精度无损。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 11:19
AMD CI 全局 GPU 内存清理改为 opt-in
建议 AMD CI 维护人员确认相关测试是否已正确设置 `VLLM_TEST_CLEAN_GPU_MEMORY=1`。此 PR 提供了合理的设计决策,值得阅读。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 11:12
缩减 ROCm V1 attention 测试耗时
建议阅读,特别是 collection-time 参数验证的设计,可推广到其他需要根据运行时能力跳过测试的场景。
修复 MRV2 mamba_hybrid.py 中 GPU-CPU 同步错误
值得合并,改动简洁且正确。开发者可学习 `fill_` 在避免同步上的应用。
原始 PR · 作者 edwinlim0919 · 合并时间 2026-07-27 10:10
为 MoRIIO 添加异构 TP/DP 并行路由支持
值得精读。该 PR 展示了在异构并行环境下如何优雅地解决 KV 传输路由问题,特别是死锁预防和负载均衡的设计。对于了解 MoRIIO 内部机制和分布式推断性能优化的开发者而言,其中的 `_eager_handshake_all_dp_ranks` 和 `_next_flex_tp_rank` 实现具有较高学习价值。建议关注配套的 RFC #46107 和相关 PR #46115、#47495 以获取完整上下文。
参与讨论