A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 fxmarty-amd · 合并时间 2026-06-24 02:25
修复AMD OCP MX测试分派并改进W-MXFP4模拟
建议 ROCm 和量化模块的维护者仔细阅读本 PR 的核心逻辑变更，特别是 `_fp8_quantize_dequantize` 的引入和 `input_scale` 传递方式的调整。测试覆盖的增强值得肯定。后续应跟踪遗留的 TODO 和注释修复（#46142 相关 Issue）。整体变更设计清晰，可以加速 AMD 平台对 OCP MX 量化模型的支持。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-06-24 02:11
修复 ROCm NIXL 测试的 head_size 和 Mamba 同步问题
值得精读，特别是 head_dim 契约的防御性处理和 ROCm 同步的添加理由。变更设计清晰，测试覆盖充分。对于维护 ROCm 或 KV 传输的工程师有参考价值。
为 MiniMax M3 添加 SM100 MSA 索引器后端，BF16/FP8 索引缓存
建议阅读，尤其是 Cudagraph 安全共享 buffer 的设计模式（避免 Python 值跨 eager/capture 边界）和 FP8 索引的测试策略（构造严格单调值保证数值确定性）。对于关注大模型推理加速和量化部署的团队有较高参考价值。
原始 PR · 作者 Priyjain-amd · 合并时间 2026-06-24 00:56
修复非量化 GPT-OSS 检查点权重加载 KeyError
值得合并。修复明确，风险低。建议后续添加测试覆盖未量化 GPT-OSS 权重加载路径。
原始 PR · 作者 fxmarty-amd · 合并时间 2026-06-24 00:35
跳过 ROCm 不支持的 NVFP4 测试用例
值得合并，修复 CI 噪声。保持后续关注，待 ROCm 支持 NVFP4 后应移除跳过逻辑。
原始 PR · 作者 divakar-amd · 合并时间 2026-06-24 00:34
修复 AMD FNUZ 平台 FP8 量化测试范围错误
建议合并。这是对 CI 测试的正确性修复，改动小且经过 reviewer 审核，应快速合入以恢复 ROCm CI 稳定性。
原始 PR · 作者 taneem-ibrahim · 合并时间 2026-06-23 23:59
新增 Qwen3 强制对齐在线 /pooling 示例脚本
建议用户浏览此 PR 作为在线 /pooling 请求的参考实现，特别是如何结合音频与参考文本进行 token 分类任务。
修复 MoE WNA16 加载时 tp_size 属性缺失
此 PR 修复清晰且必要，无复杂设计决策。建议精读以了解 `RoutedExperts` 和 MoE 量化加载的数据结构差异，对其他 MoE 加载器具有参考价值。
参与讨论