AGENTS.md 添加安全文档引导
此 PR 仅作文档补充,无需精读代码。但作为安全治理的基础设施优化,值得维护者确认链接正确性后合并。
A high-throughput and memory-efficient inference and serving engine for LLMs
AGENTS.md 添加安全文档引导
此 PR 仅作文档补充,无需精读代码。但作为安全治理的基础设施优化,值得维护者确认链接正确性后合并。
原始 PR · 作者 zhenwei-intel · 合并时间 2026-06-22 20:55
XPU Dockerfile 升级 nixl 至 v1.2.0
建议快速合入。变更清晰、范围小、风险低,属于常规依赖升级。值得关注的是未来 nixl 版本更新是否需同步调整其他硬件平台的 Dockerfile。
为 CPU WNA16 添加 RVV 微 GEMM 内核,加速 2.4-3.2x
值得精读。设计上清晰地分离了 ISA 枚举、微 GEMM 内核、C++ 分发、Python 前端,层次分明。RVV 内核实现中 Mx8 tile 和 K 展开的策略可推广到其他量化场景。代码注释丰富,适合作为为特定 ISA 添加微内核的参考。
原始 PR · 作者 zxd1997066 · 合并时间 2026-06-22 19:30
跳过 Intel GPU nightly CI 中失败的 spec decode 测试
该 PR 为临时性 CI 调整,可直接合并。建议关联一个 Issue 以跟踪该测试的修复状态,避免长期跳过。
拒绝维度大于隐藏层大小的 Matryoshka 请求
值得精读,展示了如何为 Matryoshka 嵌入参数添加上界检查,设计清晰,测试完善。
禁用 gfx942 上的 TileLang MHC 路径
**建议阅读**:本 PR 是典型的正确性保护修复,代码逻辑清晰,适合作为平台条件编译的参考模式。 **值得关注的设计决策**:采用装饰器函数 `_has_tilelang_mhc` 集中管理平台兼容性逻辑,避免散落在各个 kernel 分支中;区分 CUDA 和 ROCm 平台,并为未来按 kernel 粒度控制预留可能。 **建议跟进**:后续可参考作者在 issue 中的 kernel 级分析,按需重新启用 `mhc_post_tilelang` 和 `hc_head_fused_kernel_tilelang` 在 gfx942 上的使用,以恢复部分性能。
原始 PR · 作者 athrael-soju · 合并时间 2026-06-22 17:25
修复 ColQwen3.5 检索投影偏置与双向注意力问题
值得精读,尤其是 `config.py` 的数据契约设计和注意力类型处理。对多模态检索模型维护者有参考价值。
原始 PR · 作者 sunnweiwei · 合并时间 2026-06-22 16:53
修复异步推测解码 accepted 计数竞态
推荐精读。该 PR 展示了异步推测解码中一个微妙的竞态条件及其修复过程,涉及 GPU D2H 拷贝、input batch 行重排、cudagraph 元数据生命周期等深层机制。对于从事 speculative decoding、cudagraph 或 async scheduling 开发的工程师有重要参考价值。
参与讨论