A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 divakar-amd · 合并时间 2026-06-27 12:38
修复 ROCm 上 MLA RoPE 融合测试的浮点精度失败
值得快速浏览以了解 ROCm 上 fp16 数值不一致的典型解决方案。不涉及系统架构变更，测试改动清晰。
集成 HPC-Ops FP8 MoE 后端，适配 Hopper GPU
值得精读，特别是模块化 MoE 后端的注册机制和兼容层设计（`_supports_*` 模式）。对于使用 H20/H200 的用户，建议在 FP8 模型上评估性能后考虑启用。注意该后端依赖外部库，部署时需确保环境安装正确。
原始 PR · 作者 divakar-amd · 合并时间 2026-06-27 10:45
修复 ROCm DeepEP MoE 测试的 buffer 重用和精度检查
值得精读，特别是跨平台精度验证的设计模式（宽松 vs 严格）、测试工具函数提取以及 buffer 重用突破平台限制的策略。关注 `check_accuracy` 在测试工具箱中的价值。
原始 PR · 作者 divakar-amd · 合并时间 2026-06-27 10:44
放松 ROCm 融合层归一化量化测试的 ULP 容忍度
值得精读。PR 展示了处理跨平台精度问题的规范方法：分析根因（归约顺序）、定义 ULP 测量工具、在测试中设置平台特定容忍边界，并保持主要路径严格。其提取的 `bf16_ulp_distance` 和 `fp8_ulp_distance` 可作为后续 ROCm 测试中的公共组件。
原始 PR · 作者 weizhoublue · 合并时间 2026-06-27 10:43
修复 Docker 共享构建缓存竞态条件
值得合并，属低风险基础设施改进。建议精读 `Dockerfile` 中 cargo 缓存部分，理解 BuildKit 缓存共享语义。
添加 ROCm LTO 编译器不匹配的构建错误提示
值得快速合并的构建可靠性改进。代码虽小但解决了社区用户频繁遇到的耗时问题，并体现了良好的“fail fast”设计原则。
原始 PR · 作者 cleonard530 · 合并时间 2026-06-27 10:42
更新 FA3 构建标签实现 torch ABI 稳定
该 PR 是长期稳定性工程的第一步，变更简单直接，已通过 CI。建议合并，但需要关注后续在 vllm-project/flash-attention 仓库中的 ABI 稳定化进展。
支持实时模型解码步嵌入收集
值得精读，特别是区分实时与非实时嵌入收集的设计、以及通过 dummy_inputs_embeds 解耦 CUDA 图捕获与编码器执行的方法。对理解 vLLM V2 多模态流程有参考价值。
参与讨论