A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-04-25 10:59
修复 EAGLE3 测试中缺失 trust_remote_code 属性错误
建议合并，修复简单直接，经过 approve。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-04-25 10:21
修复 ROCm 上 SiluMul+FP8 融合测试因重构而中断
值得精读，特别是了解在重构后如何联动调整测试代码的实践。关注点：平台区分（fnuz vs 非 fnuz）、猴子补丁技巧、操作列表与编译传递的对应关系。
增加 Qwen2-VL 测试的 num_logprobs 参数以兼容 torch 2.12
建议合并。虽然未深入根因，但作为测试配置调整已足够。后续可跟踪 torch 2.12 相关 issue 以根本解决。
原始 PR · 作者 yewentao256 · 合并时间 2026-04-25 07:28
移除四个文件中的无用死代码
该 PR 是标准代码清理，值得快速合并。建议开发者关注其移除参数的决策逻辑，可借鉴其模式用于类似清理。
原始 PR · 作者 Lucaskabela · 合并时间 2026-04-25 07:25
修复 TORCH_COMPILE_DISABLE 环境变量未被 vLLM 配置层尊重的问题
该 PR 是典型的“上游依赖行为变更引发下游适配”场景，值得关注。虽然变更量小，但体现了对上游 PyTorch 变化的快速响应和正确性判断。`TORCH_COMPILE_DISABLE` 环境变量检查的实现方式（严格匹配 `== "1"`）是很好的实践，值得在其他类似环境变量处理中推广。建议合并。
原始 PR · 作者 ignaciosica · 合并时间 2026-04-25 07:13
新增 seq_lens_cpu_upper_bound 参数修复 MLA 注意力测试
建议开发者精读以了解 CommonAttentionMetadata 的构造演进方向。同时可借此机会清理已弃用的 `_seq_lens_cpu` 参数，避免未来断裂。
修复 EPLB 路由副本选择偏差
值得精读。该 PR 展示了一个典型的负载均衡边界问题及其巧妙解决方案—— Knuth 乘法哈希。对于关注 MoE 推理优化的工程师，代码注释清晰，测试设计有针对性，是学习 Triton kernel 开发和负载均衡策略的好范例。
修复 RMSNorm 测试中残差张量形状不匹配问题
值得精读，这是一个典型的内存越界导致 flaky 测试的案例。PR 作者提供了详细的复现脚本和根因分析，对理解 CUDA 内存分配和测试编写有借鉴意义。建议阅读 PR body 中的复现脚本以加深理解。
参与讨论