标签列表
聚合结果
Marlin 支持 CT block FP8 的 scale 命名兼容
值得精读。这是一个典型的数据契约兼容修复，展示了如何在共享内核抽象上兼容不同量化框架的 scale 命名差异。重点关注 `_block_scale_name` 的探测逻辑、`process_weights_after_loading` 与原属性名写回的配合，以及测试参数化如何覆盖 auto 与强制 Marlin 两条路径；同时可结合 #52182 与 #52908 理解前向修复与回退方案之间的取舍。
为 CT WNA16 MoE 开启 Humming 后端，支持子字节位宽
值得精读。重点关注三类设计决策：用 Fraction + ceil 处理 sub-byte 打包维度、Humming 支持判定如何与权重 key 数据契约结合、以及 torch.dtype 与 ScalarType 统一字符串化的处理方式。同时值得学习 review 中从 mock 测试演进到 e2e 测试的过程。
原始 PR · 作者 xuebwang-amd · 合并时间 2026-08-20 00:29
修复 OCP MX MoE 模拟静默跳过 mxfp6 激活量化
值得精读。该 PR 是典型的“数据契约脱节”修复：上层映射表用了 dispatcher 不认识的键，导致功能静默失效。可借鉴两个设计决策：一是把映射提取为模块级纯函数以支持低成本单元测试；二是对未知 scheme 显式抛 NotImplementedError，让未来新增 scheme 立即暴露而非再次静默。建议同步查看 `moe_kernel_quantize_input` 的分发实现，理解键的契约来源。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-08-19 23:20
ROCm Triton 量化路径新增 UE8M0 scale 打包支持
值得精读：一是“float32 中间计算 + 位运算打包 UE8M0”的两阶段思路，对理解 UE8M0 编码（float32 指数位提取、4 字节对齐、strided copy）很有价值；二是 Triton/C++ 双路径分叉的设备守卫模式，可作为平台差异化 kernel 实现的参考。对 ROCm/XPU 平台维护者尤其建议细看。评审中关于 `view` 保持维度与 `copy_` 非连续语义的交锋也值得留意，作者对 tensor 内存布局的理解是正确的。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-08-19 23:19
扩展 ROCm 融合 MoE 与 FP8/FP4 测试，修复分布式失败传播。
值得精读，尤其是跨后端保留标量缩放 ABI 的设计（0-D 张量在 Triton 启动边界转指针）和分布式测试失败传播模式，对多平台 CI 测试框架设计有借鉴意义。
恢复 int8 分组 WNA16 MoE 支持
此 PR 值得精读，因为它涉及一个关键的回归修复，并揭示了重构中容易丢失的小修复。建议关注其缺失的测试覆盖，并考虑为类似场景添加回归测试。
为 CUDA 依赖新增 InstantTensor 包并更新锁文件
该 PR 属于常规依赖维护，值得快速了解，但不建议深入复习。值得关注的是其对未来 InstantTensor 加载器支持的前置意义，可留意后续是否会有相关功能 PR。同时，维护者应确保 InstantTensor 与现有 Torch 版本兼容，并在未来启用加载器时做好充分的测试。
跳过 prefix-cache 覆盖项的 mm 张量广播，多模态 TTFT 显著下降
值得精读。该 PR 展示了一个典型的「基于前缀缓存状态做数据传输裁剪」的设计模式：通过 `num_computed_tokens` 判断数据是否必然不会被消费，从而在广播前剥离。重点关注 `strip_covered_mm_data` 的 M-RoPE 特判（`keep_on_cpu`）以及调度器如何传递 `uses_mrope`。同时建议结合 PR#52827 阅读，理解 `keep_on_cpu` 字段语义。对于 v1 runner 的 preemption 场景，若有后续演进可关注是否需要恢复该路径。