A high-throughput and memory-efficient inference and serving engine for LLMs
作者 Bortlesboat · 合并时间 2026-04-15 01:36
修复ROCm平台AiterFlashAttentionImpl中attn_type检查与后端不一致的问题，防止跨注意力错误计算。
该PR值得快速浏览，重点关注attn_type检查的逻辑对齐和错误信息的改进。对于关注ROCm平台注意力后端实现的开发者，这是一个重要的防御性修复，展示了后端契约与实现类保持一致的重要性。
作者 fulvius31 · 合并时间 2026-04-15 01:17
将TorchInductor缓存目录嵌套在AOT编译目录下，实现自包含缓存树。
该PR实现简洁，但涉及编译缓存的核心路径变更，建议相关开发者精读。特别关注环境变量设置的持久性需求与上下文管理器建议之间的权衡，以及目录创建错误处理的决策。
作者 Rohan138 · 合并时间 2026-04-15 01:10
修复ROCm平台不支持gpt_oss_mxfp4量化方法的问题。
该PR变更简单直接，无需精读代码。值得关注的是PR作者提出的设计问题：平台级支持列表是否是最佳设计？这反映了vLLM中平台抽象和量化支持机制的潜在改进点。建议相关架构师关注此问题，考虑是否应重构为量化方法自声明支持平台。
作者 markmc · 合并时间 2026-04-15 00:53
移除调度器统计中未使用的编码器缓存使用率字段，清理无用代码。
该PR变更简单直接，适合快速浏览以了解代码清理决策。值得关注的是团队对未使用代码的处理原则：优先移除而非保留，强调指标应面向用户设计。
作者 micah-wil · 合并时间 2026-04-15 00:14
修复ROCm平台下量化测试条件，确保DeepGEMM相关测试正确跳过。
该PR变更简单直接，无需深入精读。值得关注的是项目正逐步统一使用current_platform.is_cuda()替代torch.cuda.is_available()进行平台检测，这反映了对多平台支持基础设施的持续改进。
作者 netanel-haber · 合并时间 2026-04-14 23:11
修复use_existing_torch.py脚本无法递归处理嵌套requirements文件夹的问题。
该PR变更简单直接，适合快速浏览以了解requirements文件夹结构调整带来的影响。值得关注的是递归glob模式的使用方式，以及如何保持向后兼容性。
作者 Lucaskabela · 合并时间 2026-04-14 22:52
分离测量多模态编码器与语言模型骨干编译时间，提升性能监控精度。
建议多模态模型开发者和性能优化工程师精读此 PR，关注 CompilationTimes 设计、条件日志输出和基准测试重构模式，以学习如何扩展监控指标并应用到其他性能追踪场景。
作者 whx-sjtu · 合并时间 2026-04-14 21:55
将MOE相关层的基类从CustomOp替换为PluggableLayer，推进架构标准化。
该PR作为架构演进的一部分，值得核心开发者关注其设计决策，特别是关于`FusedMoE`中`forward`方法显式化的处理，以及`FusedMoEModularMethod`类被暂时搁置的权衡。这为理解vLLM从CustomOp向PluggableLayer迁移的模式提供了具体案例。
参与讨论