提取短卷积状态后端,统一 ZAYA1 和 LFM2 状态管理
**值得精读**。该 PR 展示了如何优雅地解耦模型与状态管理,是注意力后端架构的良好扩展案例。重点关注 `ShortConvAttnBackend` 的索引解析策略、`ShortConvHybridAttnBackend` 的包装模式,以及如何通过 `init_forward_metadata` 避免每层重复计算。
SGLang is a high-performance serving framework for large language models and multimodal models.
提取短卷积状态后端,统一 ZAYA1 和 LFM2 状态管理
**值得精读**。该 PR 展示了如何优雅地解耦模型与状态管理,是注意力后端架构的良好扩展案例。重点关注 `ShortConvAttnBackend` 的索引解析策略、`ShortConvHybridAttnBackend` 的包装模式,以及如何通过 `init_forward_metadata` 避免每层重复计算。
原始 PR · 作者 iridiumine · 合并时间 2026-07-02 09:26
修复 MambaPool.clear_slots NPU OOM
值得精读,展示了一个典型的针对硬件特性的内存优化案例。尤其适合关注跨平台 GPU 编程或显存敏感型推理服务的开发者学习。
原始 PR · 作者 JustinTong0323 · 合并时间 2026-07-02 09:19
修复失败基线晋升为比较基准的 bug
值得精读,尤其是对于需要维护自动化回归测试的团队。该 PR 展示了一个微妙的 bug(基线晋升掩盖回归)及其简洁修复,以及测试如何精准覆盖边界。设计决策关注点:用两行代码解决根本问题,保持向后兼容,测试覆盖所有场景。
升级AMD ROCm Docker中Mooncake并启用多协议
该PR值得关注,特别是对AMD平台部署PD Disaggregation的团队,其多协议运行时选择的设计思路清晰,可参考。
原始 PR · 作者 JustinTong0323 · 合并时间 2026-07-02 08:26
修复夜间精度测试因融合后端变化导致的失败
值得合入,是典型的测试基础设施修复案例。PR body 中的根因分析和验证方法值得参考。
原始 PR · 作者 merrymercy · 合并时间 2026-07-02 06:31
添加防御性 getattr 禁令并优化 dataclasses 规则
值得合并,作为代码风格和质量控制的补充。建议开发者在 AI 辅助中注意新规则,避免过度使用 `getattr`。可考虑后续添加 CI 检查(如 ruff 规则)来自动化此类风格问题。
原始 PR · 作者 merrymercy · 合并时间 2026-07-02 05:52
为 pranjalssh 添加 CI 权限
简单常见的权限变更,无特别需要精读的设计决策。
原始 PR · 作者 minosfuture · 合并时间 2026-07-02 05:02
提取 VMM 可复用的跨进程句柄共享帮助函数
建议精读 `export_shareable_handles` 和 `release_mappings` 的实现,前者展示了 FABRIC->POSIX 优雅降级和全 rank 一致性保证,后者演示了 partial undo 模式。此 PR 是 CUDA driver API 封装的良好范例。
参与讨论