修复 CI main 分支导入和测试断言问题
建议快速合并以恢复 CI 健康状态。该 PR 可作为示例:展示如何在引入新 API 后及时更新相关模块的导入,以及如何因生产代码变更而修正测试断言。
SGLang is a high-performance serving framework for large language models and multimodal models.
修复 CI main 分支导入和测试断言问题
建议快速合并以恢复 CI 健康状态。该 PR 可作为示例:展示如何在引入新 API 后及时更新相关模块的导入,以及如何因生产代码变更而修正测试断言。
修复 qwen3.5 未导入 get_server_args
该 PR 是紧急导入修复,技术价值较低。但建议关注:①相似问题是否在其他模型文件中存在;②#24651 的 PR 审查是否漏检了导入。可以精读 #24651 的合并情况。
添加 Inkling per-commit 端到端服务器测试
该 PR 展示了如何为复杂模型设计快速端到端 CI 测试,值得借鉴在测试中启动服务器、配置特定参数、覆盖多模态等做法。但测试本身较为简单,没有深入验证数值正确性。建议后续可以增加对输出的结构验证和更广泛的多模态场景。
原始 PR · 作者 vedularaghu · 合并时间 2026-07-22 23:25
修复 streaming 中 partial JSON 解析断言异常
建议合入此 PR。它是一个典型的小型防御性修复,虽简单但有效防止了特定输入导致的请求中断。阅读 `_partial_json_loads` 的异常处理结构可获得防御性编程启发。
原始 PR · 作者 vedularaghu · 合并时间 2026-07-22 23:24
修复 eos_token_id 为 None 时 min_new_tokens 崩溃
建议合入,属于明确的边界 bug 修复,代码简洁,风险低。可快速合入。
AMD AITER MoE 专家掩码缓存优化
推荐合并。该 PR 是典型的微小性能优化,改动清晰且经过内部验证,无副作用。Approver 已批准,可直接合并。
原始 PR · 作者 hubertlu-tw · 合并时间 2026-07-22 22:33
AMD 融合 AllReduce-RMSNorm 量化内核
值得精读。该 PR 展示了如何在框架中优雅地引入厂商特定融合内核:通过惰性门控、分层回退、元组数据契约和清晰的测试策略,值得其他平台优化参考。建议关注 `layernorm.py` 中的 `_forward_with_allreduce_fusion_quant_per_group` 回退链设计,以及 `qwen3_5.py` 中 `_select_fused_ar_input_for_linear` 的元组类型分发逻辑。
修复 Inkling JIT 内核迁移后的导入路径
推荐合并。该 PR 是此前 JIT 内核迁移工作(#32045)的补丁,修复了一个阻止 Inkling 模型启动的回归缺陷。变更简洁、验证充分,值得快速跟进。
参与讨论