sgl-project/sglang · 标签视图

在 sglang 导入时尽早应用 transformers monkey-patches，彻底修复 CI 中因 Hugging Face API 调用导致的 429 速率限制问题。

推荐所有维护者和涉及 Hugging Face 集成的开发者精读此 PR，重点关注 `apply_all()` 中的设计权衡（急切 vs 惰性补丁、前端兼容性处理）和导入重构模式（文件重命名以避免模块膨胀），这些决策在管理第三方依赖升级和跨模块一致性方面具有参考价值。

回退AMD GPU上的MXFP4量化模型支持，修复CI依赖安装失败。

该PR值得精读，以理解依赖版本不匹配如何导致功能回退的典型案例。关注点包括：1) petit.py中配置类的重构如何简化代码结构，2) petit_utils.py中的错误处理设计如何优雅降级，3) 配置文件的联动调整确保系统一致性。对于基础设施团队，可借鉴CI依赖管理的最佳实践。

新增 Petit MXFP4 量化方案，支持 AMD CDNA2/CDNA3 GPU 运行 FP4 量化模型。

建议精读以了解量化管道集成设计，重点关注 `petit_mxfp4.py` 中的配置类实现和 `petit_utils.py` 中的兼容性检查逻辑，这些体现了 AMD 平台扩展和第三方内核集成的权衡。

将 transformers 升级至 5.5.3 并重构 hf_transformers_utils 为子包，解决兼容性问题。

建议技术管理者和工程师精读此 PR，特别是 `compat.py` 中的补丁设计和 `tokenizer.py` 中的 TokenizersBackend 处理策略，这些展示了在依赖升级中的兼容性保障技巧。

修复 Docker 镜像中 runai-model-streamer 依赖缺失和目录创建错误。

此 PR 值得快速审阅，重点关注 Dockerfile 中的依赖添加和目录修复逻辑。对于长期维护，建议后续在 `pyproject.toml` 中统一管理 `runai-model-streamer` 依赖以避免冗余。

更新Ascend NPU文档以匹配最新代码，修正模型名称和依赖版本。

该PR为常规文档维护，无需精读代码。值得关注的点是：1. 文档版本更新反映了NPU平台依赖的演进，可帮助了解硬件支持状态。2. review中关于安装指令优化的讨论，可作为编写Dockerfile或脚本的参考。建议NPU相关开发者浏览变更，确保本地环境与文档一致。

修复CI中flashinfer-jit-cache在CUDA版本不匹配时未重新安装的问题。

该PR变更简单明确，适合快速浏览以了解CI环境管理细节。值得关注的点：1. 如何从包版本字符串中提取CUDA后缀的sed技巧。2. CI缓存管理中的版本匹配策略，可作为类似场景的参考。

回滚CUDA 13.0升级，恢复CI默认CUDA版本为12.9以解决内核测试问题。

该PR值得基础设施团队精读，关注CI环境配置的复杂性和CUDA升级的障碍。建议未来在升级前加强测试覆盖和环境验证。