Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-08-20 17:15 同步状态:空闲 下次计划:2026-08-20 18:15

PR 列表

更多筛选
2026-05-29

#43136 [ROCm] Bump ROCm to 7.2.3

原始 PR · 作者 micah-wil · 合并时间 2026-05-29 00:42

基础设施 重要性 3.79 洞察度 3.00

ROCm 7.2.3 升级,移除 profiler hotfix

值得快速审阅并通过,该 PR 是常规的平台依赖升级,逻辑清晰、改动集中,且经过充分验证。

功能 重要性 8.05 洞察度 5.00

为Intel XPU添加W4A16 INT4 MoE支持

值得精读,尤其是WNA16 oracle的可扩展设计(通过枚举和优先队列选择后端)以及XPUExpertsWNA16如何以最小改动集成到现有FusedMoE框架。关注`_process_weights_xpu`的布局转换逻辑和`apply`中的assert条件设计。

2026-05-28
缺陷修复 重要性 7.51 洞察度 6.00

修复 Ray DP 多 API-server 场景因端口分配导致挂起的 bug

值得精读以理解不同后端对地址分配机制的限制。设计清晰:后续若增加新后端,需类似评估其对延迟分配的兼容性。测试设计精巧,避免 GPU 依赖,可重复运行。

性能优化 重要性 4.37 洞察度 6.00

移除 Mamba SSD 内核死参数,TTFT 降低 17%

建议仔细审查以确保所有内核的 `seqlen` 参数均已移除,并考虑在类似内核中检查其他可能引发重编译的整型参数。

缺陷修复 重要性 7.59 洞察度 6.00

修复 DP 引擎结果仅取首个的 Bug,增加聚合检查

该 PR 值得精读,特别是其系统性地将“只取第一个”的不安全模式改为显式聚合检查,并通过错误类型丰富诊断信息。对于分布式系统中一致性和错误可见性的设计有借鉴意义。建议阅读 `client.rs` 中的 `is_sleeping` 和 `reset_prefix_cache` 实现,以及测试中的 mock 模式。

参与讨论