在 CI 中添加 GB300 硬件测试套件并迁移 4-GPU 配置
值得精读,特别是 `test_numa_utils.py` 的重构模式和 `slash_command_handler.py` 中字段传递的设计。展示了如何在不入侵业务代码的前提下扩展 CI 硬件覆盖。对于需要新增 CI runner 的开发者有参考价值。
SGLang is a high-performance serving framework for large language models and multimodal models.
在 CI 中添加 GB300 硬件测试套件并迁移 4-GPU 配置
值得精读,特别是 `test_numa_utils.py` 的重构模式和 `slash_command_handler.py` 中字段传递的设计。展示了如何在不入侵业务代码的前提下扩展 CI 硬件覆盖。对于需要新增 CI runner 的开发者有参考价值。
引入 pp_sync 机制修复 HiCache + PP 崩溃
本 PR 核心设计值得精读,特别是 `_pp_sync` 的设计:利用 `isend/recv` 避免全局 barrier,减少同步开销。关注 `writing_check` 中 ack 队列消费的同步策略,这是一个典型的分布式状态一致性问题。如果团队计划支持 HiCache + PP + L3,建议以此 PR 为基础进行扩展。
注册 #27338 到 pr_fix_toggle 逆向开关
该 PR 变更简单明了,建议合并。对于关注 EAGLE speculative decoding 和 CUDA graph 稳定性的开发者,可了解该 revert 机制及其对应 PR #27338 的修复内容。
修复 fa3 EAGLE draft-decode page_table scatter OOB
值得合并与精读。本 PR 修复了一个隐蔽的静默内存损坏 bug,展示了 cuda-graph 元数据构造中一个微妙的维度不匹配问题。建议关注:1) `cache_loc` 切片与 `page_size == 1` 分支的对齐设计;2) 始终启用断言作为安全网的做法;3) revert 开关的注册方式,这是一种低成本 A/B 调试基础设施。
原始 PR · 作者 EduardDurech · 合并时间 2026-06-06 15:04
新增 Apertus2509 工具调用与推理块解析器
该 PR 设计思路清晰,遵循了现有解析器框架的扩展模式,是添加新模型格式的良好范例。建议阅读 `apertus2509_detector.py` 和 `reasoning_parser.py` 的源码,了解如何集成 tool call 与 reasoning 解析。对于需要支持相似自定义格式的开发者,该 PR 提供了可复用的模式。
原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-06-06 14:30
清理 trtllm_mla backend 中冗余的 init_mha_chunk_metadata 方法
可直接合并,改动清晰、风险低。但建议作者简单说明为何原冗余定义中参数不一致,以便他人理解历史背景。
原始 PR · 作者 hanming-lu · 合并时间 2026-06-06 14:26
调大 KL 散度阈值修复测试 flaky
变更简单直接,无需精读。可作为测试稳定性维护的参考案例。
优化 Gemma4 H200 MoE 与 extend attention 性能
推荐精读。尤其注意 kernel dedup 设计方法和 BF16 精度分析。对于 Gemma4 部署有直接收益;对编写数值稳定的 Triton kernel 有参考价值。
参与讨论