Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-08-21 20:44 同步状态:空闲 下次计划:2026-08-21 21:44

PR 列表

更多筛选
2026-05-28

#43727 [MoE] Remove inplace fused experts mechanism

原始 PR · 作者 zyongye · 合并时间 2026-05-28 11:00

重构 重要性 8.20 洞察度 6.00

移除已失效的 inplace MoE 融合专家机制

建议阅读此 PR,以了解如何在大型代码库中安全、系统地删除被版本约束废弃的死代码。特别值得关注的是 torch custom op 输出别名输入的约束如何驱动架构决策,以及如何通过测试和 CI 验证大规模接口变更的正确性。

缺陷修复 重要性 6.08 洞察度 5.00

修复 RunAI streamer 张量缓冲区重用导致的数据损坏

值得快速合并到 v0.22.0 milestone。代码量小、逻辑清晰、测试覆盖良好。可作为「流式迭代器内存安全」的经典案例。

功能 重要性 9.00 洞察度 6.00

为 Rust 前端引入轻量级 mock engine 基准测试

值得所有 Rust 前端开发者精读。其架构设计(actor 模式分离 IO 与状态、ZMQ 多 socket 管理、优雅关闭处理)是 vLLM Rust 前端通信框架的缩影。`utility_response` 的实现简洁地展示了如何处理多样化的引擎控制信令。新引入的集成测试亦可作为编写 protocol 级测试的参考样板。

功能 重要性 7.12 洞察度 6.00

支持 ModelRunnerV2 混合模型的 kernel block size

值得精读。重点关注 `init_attn_backend` 的重构思路(分离 group 发现与 cg support)以及 `BlockTables` 中 `kernel_block_sizes` 的集成方式。设计决策(generator vs list、numpy vs list 回退)的权衡过程也值得借鉴。后续 PR 将基于此继续完善混合模型支持。

#43599 [Bugfix][Kernel] TRTLLM NVFP4 MoE chunking

原始 PR · 作者 amitz-nv · 合并时间 2026-05-28 08:36

缺陷修复 重要性 7.81 洞察度 6.00

修复 TRTLLM NVFP4 MoE 内核大批量 token 下的 CUDA grid 溢出

建议阅读 `trtllm_nvfp4_moe.py` 中的 chunking 实现,特别是 `_calc_max_supported_tokens` 的公式推导,它展示了如何根据 CUDA grid 限制逆向计算安全 token 数。此外,设计上选择仅在 TRTLLM NVFP4 内核启用 chunking 并在其他实现中移除未使用的 `supports_chunking`,体现了清晰的职责分离。此 PR 的测试方法也值得参考:通过对比极大数据配置下的运行和精度来验证修复。

#43740 Add @AndreasKaratzas to CODEOWNERS

原始 PR · 作者 AndreasKaratzas · 合并时间 2026-05-28 07:14

基础设施 重要性 3.11 洞察度 1.00

将 AndreasKaratzas 加入 CODEOWNERS

可直接合入,无需精读。这是一个标准的管理操作,体现了社区对贡献者的认可。

缺陷修复 重要性 7.43 洞察度 8.00

修复 Qwen3-VL/Omni 在 torch.compile 下的精度退化

该 PR 值得精读,因为它揭示了一个常见的 torch.compile 陷阱:profile 阶段与 serving 阶段的输入结构不一致会导致编译图特化错误。设计上通过固定返回 tensor 而非 None 来保持图结构稳定的模式值得借鉴。合并前建议考虑的 device/dtype 问题可在后续 PR 中加固。

缺陷修复 重要性 6.05 洞察度 5.00

修复DFlash前瞻槽位分配以解决崩溃

此PR虽然改动量小,但涉及投机解码与调度器交互的关键逻辑,值得精读。特别是`effective_lookahead_tokens`的条件演进和DFlash特殊需求的论证,可作为类似bug修复的参考。

参与讨论