Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-06-07 13:37 同步状态:空闲 下次计划:2026-06-07 14:37

PR 列表

更多筛选
2026-04-09
重构 重要性 5.00 洞察度 4.00

统一prefill-only模型测试目录结构,提升代码维护性和CI覆盖。

建议精读以了解测试组织最佳实践,特别是如何按功能模块(如prefill-only vs input-embedding)划分测试目录。重点关注`test_score_engine.py`和`test_score_api.py`的设计,它们展示了不同API层(引擎vs HTTP)的测试策略和验证方法。

#22414 [diffusion] feat: support FLUX.2-small-decoder

原始 PR · 作者 mickqian · 合并时间 2026-04-09 15:53

功能 重要性 5.00 洞察度 4.00

支持 FLUX.2 小解码器的 VAE 配置,扩展扩散模型组件兼容性。

对于从事扩散模型或多模态生成的工程师,建议精读 VAE 配置的扩展设计,了解如何通过添加可选字段来优雅支持模型变体。文档变更也值得关注,以理解组件兼容性矩阵的更新模式和用户指引。

测试 重要性 4.00 洞察度 3.00

为MemoryPoolConfigurator添加CPU单元测试,验证内存池配置逻辑。

建议开发者阅读此PR以了解内存池配置的测试方法,特别是模拟技术的使用和多种配置路径的验证策略。

重构 重要性 7.00 洞察度 6.00

引入内存池配置器类层次,统一接口并修复hybrid SWA内存计算问题。

该PR值得精读,特别是关注MemoryPoolConfigurator的类层次设计、统一coeff+bias接口的决策,以及hybrid SWA cell size修复的逻辑,这些对于理解SGLang内存管理演进有重要价值。

修复 LazyValue 类缺失代理方法导致的 Qwen3 MoE 专家权重访问异常。

该 PR 值得精读,因为它展示了如何通过增强通用工具类来修复特定场景下的运行时错误,同时保持了设计的简洁性和向后兼容性。关注 `LazyValue` 类的代理模式实现,以及讨论中关于异常传播的权衡决策。

测试 重要性 5.00 洞察度 5.00

为AMD MI30x/MI35x添加GLM-5.1-FP8模型的夜间准确性与性能基准测试。

该PR值得精读以了解AMD硬件测试集成模式;关注测试设计中的配置一致性和代码可维护性;review中提到的硬编码路径和零除问题建议后续修复;可参考GLM-5测试模式作为模板。

功能 重要性 5.00 洞察度 4.00

新增对称内存调试模式,打印通信操作中未注册张量的堆栈跟踪。

建议开发者在调试分布式内存问题时精读pynccl_allocator.py中的debug_check_symmetric_mempool函数,关注其去重机制和堆栈跟踪生成方式,这对于理解对称内存池管理有价值。

缺陷修复 重要性 5.00 洞察度 6.00

修复AMD ROCm平台多模态扩散测试崩溃,通过回退到SDPA解决FA3不支持问题。

该PR值得精读,特别是对于关注跨平台兼容性和注意力后端分发机制的工程师。关键设计决策包括:1. 在FA3支持检测中添加平台无关的防护,避免硬编码CUDA依赖;2. 在ROCm后端选择器中显式处理FA3不支持情况,保持逻辑清晰。建议关注HaiShaw提出的长期修复方向,了解团队对ROCm平台FlashAttention支持的规划。

参与讨论