A high-throughput and memory-efficient inference and serving engine for LLMs
作者 AndreasKaratzas · 合并时间 2026-03-27 02:33
修复 ROCm 测试容器中 GPU 架构检测，避免 JIT 编译所有架构，提升测试效率。
对于从事 CI/CD 或 ROCm 集成的工程师，此 PR 值得一读以了解如何优化环境变量管理以激活自动检测逻辑。重点关注环境变量覆盖的策略和脚本稳定性的改进点，如避免 grep 命令的风险。
作者 AndreasKaratzas · 合并时间 2026-03-27 01:44
为ROCm测试环境添加uv pip compile工作流以生成锁文件。
建议ROCm和CI相关工程师精读此PR，重点关注排除列表的设计决策、验证步骤的实现，以及未来uv工具更新的优化可能。对于其他开发者，可快速浏览以了解vLLM依赖管理流程的演变。
作者 jennyyyyzhen · 合并时间 2026-03-27 01:33
修复ROCM后端在混合模型下KV缓存非连续内存访问错误，避免注意力输出NaN。
该PR值得精读，尤其关注Triton内核中处理非连续内存的通用模式。设计决策亮点：采用传递stride而非仅第一维stride，以预防未来其他维度非连续导致的静默错误。建议团队审查其他类似内核是否存在相同假设，并优先修复shuffle路径问题。
作者 AndreasKaratzas · 合并时间 2026-03-27 00:51
在AMD MI355 GPU上添加Qwen3.5模型评估测试的CI条目。
对于关心ROCm CI测试或Qwen模型的工程师，此PR值得快速浏览以了解测试配置；对于其他人员，无需深入阅读。
作者 AndreasKaratzas · 合并时间 2026-03-27 00:46
修复 conch 内核在 3D 输入下的崩溃，通过重塑为 2D 以适应 GEMM 操作。
此 PR 值得快速 review 和合并，因为它是简单 bugfix；建议关注重塑逻辑是否正确处理各种输入形状，并参考 machete 内核的实现以确保一致性。
作者 divakar-amd · 合并时间 2026-03-27 00:40
添加Mamba模型前缀缓存输出一致性测试，确保APC开启与关闭时结果相同。
此PR值得工程师精读，特别是关注测试设计如何平衡资源消耗和正确性验证。值得关注的点包括：使用logprobs而非原始输出避免flakiness、处理内存清理的测试顺序调整、以及与大模型使用相关的权衡讨论。
作者 tjtanaa · 合并时间 2026-03-27 00:32
为ROCm启用Nightly Docker镜像和Wheel发布，扩展vLLM的持续集成流水线。
建议技术管理者和CI工程师精读此PR，重点关注缓存策略的设计和配置管理的演进。值得关注的设计决策包括移除脆性配置提取、统一缓存键生成，以及nightly发布流程的自动化实现，这些对于理解vLLM的CI/CD基础设施优化具有参考价值。
作者 AndreasKaratzas · 合并时间 2026-03-27 00:26
修复ROCm测试中AITER状态泄露，避免跨测试环境污染导致结果不一致。
该PR值得快速浏览，关注如何通过集成状态重置到标准清理函数（`cleanup_dist_env_and_memory`）来优雅处理测试间环境污染问题，这对编写健壮测试有参考价值，但变更逻辑简单，无需深入分析。
参与讨论