修复P2P KV offload多轮fetch竞态条件
值得精读。该PR展示了如何通过引入显式轮次标识(round_seq)将共享状态的竞态转化为确定性隔离,是协议设计与状态机重构的经典案例。review中的讨论——尤其是从序列化fetch到round_seq隔离、从枚举到布尔标志的简化——反映了重要的设计取舍过程。建议关注协议扩展的兼容性处理、状态隔离的粒度选择以及测试的多场景覆盖。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复P2P KV offload多轮fetch竞态条件
值得精读。该PR展示了如何通过引入显式轮次标识(round_seq)将共享状态的竞态转化为确定性隔离,是协议设计与状态机重构的经典案例。review中的讨论——尤其是从序列化fetch到round_seq隔离、从枚举到布尔标志的简化——反映了重要的设计取舍过程。建议关注协议扩展的兼容性处理、状态隔离的粒度选择以及测试的多场景覆盖。
预热 runner 拥有的 Triton 内核,消除首请求 JIT 编译延迟
推荐精读,尤其关注 `do_not_specialize` 的使用和基于 runner 真实表预热的思路。这两个设计决策可推广到其他 Triton kernel 预热。同时建议在发布前监控 `jit_monitor` 输出,确保无残留 JIT。
修复 Mamba 块 span 在 DCP 下被错误缩放
建议精读。此 PR 虽小,但修复了一个关键的缓存一致性问题,设计决策(仅在 AttentionSpec 时缩放)值得借鉴。测试覆盖完整,包括 alignment 和 store reachable 验证。
修复 RMSNorm kernel 的 batch invariance 漏洞:固定 block size
值得精读。虽然改动量仅 190 行,但 PR 展示了如何通过深思熟虑的测试参数化暴露隐藏的浮点并行问题,并系统性地修复同类 kernel。对于关注推理确定性的团队是重要参考。
将 30+ 个未运行的测试文件接入 CI 任务
值得精读。该 PR 展现了系统性审计 CI 测试覆盖的方法,可作为 CI 维护的参考。尤其关注 `kernels.yaml` 中 catch-all job 的设计模式(使用 `--ignore` 排除已有 job 的文件),以及如何安全地将长期未运行的测试接入 CI。
修复 Kimi K3 子包缺失 __init__.py 导致的问题
可直接合并。建议日后在新增子包时使用 `python -m build` 验证 wheel 完整性。
支持 NIXL 异构 P/D 块大小,消除混合模型限制
该 PR 值得精读,特别是 `_map_block_ids_for_block_size_ratio` 的设计和描述符几何不变量测试框架。关注 head-sharded 拒绝的 future 工作方向。
原始 PR · 作者 liangel-02 · 合并时间 2026-07-28 21:26
为 FlexAttention 添加可选的 epilogue hook
值得精读。该 PR 展示了一种优雅的扩展机制,以最小侵入性为 FlexAttention 添加了后处理能力,设计模式值得借鉴。但需注意性能融合问题,建议未来考虑将常见变换(如 attention sink)直接编译进内核。
参与讨论