标签列表
聚合结果
原始 PR · 作者 gau-nernst · 合并时间 2026-08-28 16:32
修复 Kimi-K3 低延迟 GEMM 回退初始化失败
值得精读，尤其是测试重构部分，展示了如何避免 mock 掩盖真实路径。核心修复虽小，但体现了对继承初始化正确性的关注。
修复 K3 DSpark 96 头配置解析失败
值得精读，特别是对于处理 MLA 配置继承和校验逻辑的开发者。本 PR 演示了如何通过选择正确的基类来解决配置校验问题。
原始 PR · 作者 xiaohuguo2023 · 合并时间 2026-08-27 01:47
K3 FP8 MLA prefill 支持非 16 整除小头数，长上下文不再 OOM
值得精读。这是 ROCm MLA FP8 推理栈中「kernel 对齐要求」与「真实模型头数」矛盾的典型案例，展示了如何用 replicate-pad/slice-back 以少量拷贝换取 asm kernel 的启用，以及如何通过统一 helper 避免 metadata 与 forward 宽度漂移。关注 `get_fp8_prefill_num_heads` 的设计、workspace 化输出 scratch 的做法，以及 review 中关于 `num_real_heads` in-kernel 支持的后续展望。
原始 PR · 作者 gau-nernst · 合并时间 2026-08-04 08:18
FlashKDA 迁移至 PyTorch stable ABI
值得精读。该 PR 是 vLLM 项目推动 PyTorch stable ABI 迁移的缩影，展示了如何在 CMake 中迁移自定义 kernel 扩展。关注点在于 `STABLE_TORCH_LIBRARY` 宏的用法、`TORCH_TARGET_VERSION` 的声明方式，以及如何配合 ABI 审计脚本。设计决策上，保留 `USE_CUDA` 条件编译以兼容其他 GPU 后端，体现了可扩展性。
K3 DSpark 草稿模型启用 all-reduce 与 RMSNorm 融合
值得精读 dspark_mla.py 的 forward 改造，它是‘延迟 all-reduce、融合进下一个 Norm’这一高性能模式的简洁示例；同时可关注 vllm/models/common/ops 目录的演进。建议在后续 PR 中补充该融合路径的数值对齐测试，减少对人工评估的依赖。
Kimi K3 Rust 前端：渲染/解析/结构标签