#27796 [PD] Fix ZMQ stale socket reconnection in PD disaggregation
原始 PR · 作者 ShangmingCai · 合并时间 2026-06-11 19:51
修复 PD 分解中 ZMQ 陈旧套接字重连问题
建议精读,尤其是锁设计和 socket 生命周期管理。该 PR 展示了分布式系统中连接清理的最佳实践,但 mooncake 端的线程安全问题值得后续修复。
SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 ShangmingCai · 合并时间 2026-06-11 19:51
修复 PD 分解中 ZMQ 陈旧套接字重连问题
建议精读,尤其是锁设计和 socket 生命周期管理。该 PR 展示了分布式系统中连接清理的最佳实践,但 mooncake 端的线程安全问题值得后续修复。
原始 PR · 作者 alphabetc1 · 合并时间 2026-06-11 19:50
将 HiSparse 分配器类移至独立文件
本 PR 适合作为代码重构的范例阅读:如何在不改变行为的前提下通过机械移动拆分文件,并利用 `git blame -C -C -C` 保持代码历史可追溯。团队应关注 codex bot 提出的导入风险,但鉴于当前 HiSparse 的使用场景受限,该决策可接受。
修复 EPD 中 ZMQ 连接失效后不断重试导致端口冲突
值得精读。该 PR 展示了 ZMQ 连接管理的几个最佳实践:通过 monitor socket 主动检测断连而非依赖超时;使用 RECONNECT_IVL=-1 接管重连控制;TCP keepalive 的三层参数配置。希望深入 ZMQ 编程或维护分离部署系统的工程师应关注。
移动 sigmoid gate mul 测试文件位置以修复 lint
可快速合并,无需精读代码。
移除 MoE prefill CUDA graph 禁用保护
该 PR 是清晰的 bugfix,移除了一个意外的 guard。值得关注其背后的 IMA 问题(#27712)的后续修复。对于受影响的用户,建议在社区跟踪 IMA 问题的进展。
原始 PR · 作者 luoroger37 · 合并时间 2026-06-11 18:25
修复 SWA 分配器分页释放时映射残留导致 double-free
建议精读 `_expand_to_full_pages` 的实现和 `free_swa` 的变更逻辑,这是一个典型的分配器 bug 修复,体现了分页分配语义与逐 token 映射之间的不匹配问题,设计值得学习。
融合 sigmoid 和乘法为一个 Triton kernel,降低 AMD GPU 延迟
本 PR 是一个针对 AMD GPU 的精准性能优化,内核实现简洁清晰,测试配套完整。值得关注的设计要点是:使用 `_is_hip` 条件编译避免影响 CUDA 路径;Triton kernel 内部提升精度至 float32 的做法。适合作为 Triton kernel 融合模式的入门参考。
AMD HIP 启用 GDN QKV 融合拆分核
建议合入。改动简洁、风险低、收益明确。可作为 AMD GPU 上 Triton kernel 启用策略的参考案例。
参与讨论