重组 examples 目录为场景化分类
建议开发者和文档编写者关注新的示例目录结构,后续添加示例时应参考此分类。对于已部署的文档站点,需检查所有示例链接并更新。此 PR 体现了以用户使用场景为中心的设计思路,值得在项目其他部分推广。
A high-throughput and memory-efficient inference and serving engine for LLMs
重组 examples 目录为场景化分类
建议开发者和文档编写者关注新的示例目录结构,后续添加示例时应参考此分类。对于已部署的文档站点,需检查所有示例链接并更新。此 PR 体现了以用户使用场景为中心的设计思路,值得在项目其他部分推广。
Docker 安装 libcublas-dev 修复 FlashInfer JIT 编译
建议精读:该 PR 是一个典型的基础设施修复,展示了 Dockerfile 中依赖包选择对运行时 JIT 编译的影响。值得关注 review 中关于注释位置的问题,确保构建稳定性。
为 DeepSeek V4 共享专家添加激活 clamp 限制
建议精读该 PR,特别是 CUDA kernel 的模板化 clamp 扩展方式,以及 Python 层 `CustomOp` 的注册模式。该设计模式可供其他需要数值 clamp 的激活函数参考。
移除 Qwen3-VL 无效的 deepstack 边界检查
值得快速合并的 bugfix,变更简洁明确。但建议确认调用方是否总能保证 num_tokens 合法,或考虑添加防御性断言以避免静默 bug。
共享 TQ 去量化缓冲区并消除 float16_copy
值得精读,展示了注意力后端中从逐层缓冲区到全局 WorkSpace 管理的演进,以及 Triton 核函数级别的优化技巧。对于关注推理引擎性能优化的工程师有参考价值。
ViT 编码器注意力 FP8 量化加速
建议精读。特别是 FP8 缩放策略的设计(动态 vs 静态)、自动保存机制以及 Triton kernel 的 stride-aware 实现。对于需要优化多模态流水线的工程师具有直接参考价值。
原始 PR · 作者 ojhaanshika · 合并时间 2026-04-27 13:15
新增 Cutlass W4A16 内核端到端集成测试
建议所有涉及量化内核的开发者阅读此 PR,尤其是测试结构:使用参数化分离单元测试与端到端测试,通过 fixture 统一设置环境变量。CI 集成方式也值得推广。
原始 PR · 作者 Dao007forever · 合并时间 2026-04-27 12:33
修复 SWA 运行时准入与启动池大小计算不一致导致调度死锁
建议仔细阅读此 PR,尤其是单真源设计(singlesource of truth)在 admission 与 pool sizing 间的应用。值得关注的设计决策:将 cap 逻辑置于 manager 内部而非 coordinator 层,避免了 #39866/#40027 中的准入与分配分裂问题。代码实现简洁,注释清晰,适合作为 KV cache 准入逻辑的学习参考。
参与讨论