标签列表
聚合结果
原始 PR · 作者 LiuYinfeng01 · 合并时间 2026-07-30 14:22
为 AMD MI300/MI350 添加 AITER FP8 ViT 注意力
值得精读，特别是 `vllm/_aiter_ops.py` 中的自定义 op 注册模式和 `mm_encoder_attention.py` 中后端子分发技巧，为未来添加更多 AMD 加速算子提供参考。测试和基准测试齐全，适合作为新硬件集成示例。
原始 PR · 作者 jiacao-amd · 合并时间 2026-07-29 00:34
提前缓存 AITER e8m0 权重标量 fp32 转换
值得精读，尤其是对 vLLM 的权重加载钩子 `process_weights_after_loading` 的使用展示了如何优雅地将重复计算从热路径移除。对于从事 ROCm 性能优化或量化推理的开发者有直接参考价值。
拆分SKIP_TENSORS角色，修复bias过早触发层处理
推荐精读。该 PR 虽改动行数少，但展示了如何通过分离数据契约解决隐式语义耦合。`meta.py` 中的常量注释和 `test_reload.py` 中的模拟测试值得学习——用轻量级构造类复现复杂加载顺序，验证核心假设。对从事量化、模型加载相关开发的工程师有直接参考价值。
启用 H100 上 FA3 FP8 注意力测试覆盖
值得合入，作为测试覆盖补强和小型 dtype 处理学习点。建议关注后续 CI 运行结果，验证 H200 上的实际通过情况。
原始 PR · 作者 MatthewBonanni · 合并时间 2026-07-11 03:24
修复 FlashMLA fp8 KV cache 崩溃（clamp num_sm_parts）
值得合并的 bugfix，但读者无需精读。可通过阅读关联 issue（#47935）和 FlashMLA PR #14 了解技术细节。
修复 BF16 模型使用 turboquant 时 FP8 转换失败
此 PR 为典型的 bugfix，变更量小且讨论清晰，值得关注如何通过中间类型转换解决类型兼容性问题。对于维护量化后端的人员有参考价值。
修复ROCm平台ModelOpt FP8权重格式不兼容问题
值得阅读。该PR演示了如何利用平台抽象层（`current_platform`）和现有工具函数实现跨平台FP8 dtype兼容，是一个简洁的跨平台修复范例。建议关注其他ModelOpt方法是否需类似修复。
修复 TRT-LLM FP8 MoE 缺失 OAI SwiGLU 参数导致 MXFP8 模型错误
值得精读，尤其是 trtllm_fp8_moe.py 中参数构建和 kernel 调用传递模式，展示了如何在量化后端中安全地“plumb”新参数以支持更复杂激活函数。设计决策（仅支持 uninterleaved 布局、使用 None 默认值保持向后兼容）可作为类似参数传递的参考。