实现 Elastic EP 失败进程恢复与动态重新加入
值得精读,特别是对分布式系统和容错机制感兴趣的开发者。该 PR 展示了如何在不阻塞在线服务的前提下恢复失败节点,设计上的权衡(如同步与异步、性能与可靠性)具有教育意义。但需注意当前实现依赖 Mooncake 库的内部语义,通用性受限;性能优化留给后续 PR。
SGLang is a high-performance serving framework for large language models and multimodal models.
实现 Elastic EP 失败进程恢复与动态重新加入
值得精读,特别是对分布式系统和容错机制感兴趣的开发者。该 PR 展示了如何在不阻塞在线服务的前提下恢复失败节点,设计上的权衡(如同步与异步、性能与可靠性)具有教育意义。但需注意当前实现依赖 Mooncake 库的内部语义,通用性受限;性能优化留给后续 PR。
原始 PR · 作者 yaya159456 · 合并时间 2026-04-28 14:40
修复 Eagle 模式下 draft 与 target 张量文件路径冲突
值得合并,修复明确、改动小且有测试(虽无自动化测试但手动验证可行)。设计决策上,将角色判断放在模型 runner 层而非 hook 层是合理的,保持了 hook 接口的纯净。文档配套同步值得赞扬。
修复 cookbook 中 CLI 参数 --model 改为 --model-path
值得合并,但无需精读。推荐关注类似文档的一致性检查。
移除测试和注释中的 'smoke' 措辞
该 PR 属于纯代码清理,不涉及功能变更,适合在代码审查中快速过目。对于追求代码术语一致性的项目,这是一个可取的实践。建议关注 gemini-code-assist 提出的不一致问题,确保后续修复。
添加 Xiaomi MiMo-V2.5-Pro 模型 day0 支持
值得精读:PR 展示了如何在不破坏向后兼容的前提下对已有模型架构进行重命名和扩展,特别是保留旧类名作为别名、处理 fused QKV 检查点加载等设计模式值得参考。
Flashinfer router gemm 支持 sm103
值得合并,改动小而明确。建议关注后续 flashinfer 版本更新,确保兼容性。
原始 PR · 作者 chenkaiyue · 合并时间 2026-04-28 09:50
MooncakeStore warmup 增加重试机制
建议维护者和部署者关注此 PR,它解决了实际生产中发现的稳定性问题。设计上对竞态条件的处理方式值得借鉴——通过有限重试+明确异常退出,在保证鲁棒性的同时避免了无限阻塞。同时,提前收集可观测信息(如 TP rank)是良好的运维实践。
DeepSeek-V4 cookbook 启用 DeepGemm warmup
建议快速合并,此 PR 是文档/配置跟进,无技术风险。可精读第二个修复提交,了解如何修复遗漏引用错误。
参与讨论