SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 merrymercy · 合并时间 2026-06-07 17:48
为 GroupCoordinator 新增 all_to_all_single 通信操作
建议精读此 PR 以了解 sglang 中如何扩展分布式通信原语。设计决策上，采用自定义算子注册 + 私有方法分离的模式值得关注。建议后续考虑添加 NPU/XPU 兼容性处理，并补充对应测试。
原始 PR · 作者 merrymercy · 合并时间 2026-06-07 17:46
移除 TRTLLM target-verify 中 query length 的强制覆盖
建议合并，变更简单且逻辑正确。
修复PP下is_fully_idle忽略在途微批次
该PR值得精读，特别是调度器idle-gating逻辑的细节和PP下竞态条件的分析。修复方案简洁，测试设计精妙，适合作为类似竞争条件修复的参考。
在脚本化测试开始前完成服务器预热
该 PR 展示了如何通过驱动调度器循环来确保测试环境清洁，值得测试基础设施和调度器相关开发者精读。`_drive_engine_through_warmup` 中的两轮 quiesce 逻辑是对 PP 异步特性的巧妙应对。讨论中关于 `hasattr` 的取舍也体现了对调度器事件循环初始化的深入理解。
降低 HiCache PP KL 测试并发避免 OOM
简单有效的修复，值得合并。建议后续考虑更可靠的 OOM 处理机制或动态并发控制。
提取 draft kv_indices 尺寸计算到 spec_utils 消除重复
值得精读：展示了如何通过提取共享公式来消除一类隐蔽的缓冲区溢出 bug，是防御性编程的良好实践。未来添加新 EAGLE 后端时应强制使用这两个 helper。
优化 spec_utils 导入，消除循环依赖
值得快速合并。该 PR 是典型的导入重构，解决了循环导入问题，使依赖关系更清晰。建议关注后续是否有由于导入顺序变化引发的潜在问题，但基本无风险。
预计算 Ideogram4 去噪元数据移除逐步开销
该 PR 是一个典型的“移动不变计算出循环”的优化案例，代码量小、逻辑清晰、profile 证据充分，适合作为性能优化参考。建议精读 `_prepare_denoising_loop` 和 `_run_denoising_step` 的对比，理解如何通过预计算消除逐步开销。
参与讨论