sgl-project/sglang · 标签视图

引入LTX-2两阶段设备管理器，优化内存使用和LoRA切换性能。

该PR值得精读，尤其是`LTX2TwoStageDeviceManager`类的实现，展示了针对多阶段模型的内存与性能优化设计。关注其模式自动选择策略（基于GPU内存）、CPU快照机制以及review中讨论的代码安全性改进点，这些对理解高性能推理系统的设备管理有较高参考价值。

为扩散模型NVFP4量化添加FlashInfer TRTLLM后端，提升性能并作为稳定性后备。

该PR值得精读，尤其是`modelopt_quant.py`中的权重处理逻辑和`cuda.py`中的后端选择机制，它们展示了如何在量化核心路径中集成第三方高性能kernel并保持向后兼容。关注FlashInfer shuffle操作的设计决策，以及环境变量缓存清理（cache_clear）的运用，这些对类似功能扩展有借鉴价值。

在 AMD ROCm 平台上跳过 ModelOpt FP8 和 NVFP4 量化测试，修复 CI 失败。

该 PR 变更简单直接，适合快速了解如何通过平台检测调整测试覆盖。值得关注的设计决策是选择在测试配置层而非运行时处理硬件不兼容问题，这降低了核心代码复杂度，但可能牺牲测试完整性。建议结合 review 中的讨论，思考未来如何更精细地管理跨平台测试策略。

修复 ModelOpt B200 diffusion CI 覆盖，优化权重文件选择和 artifact 保存。

建议工程团队精读 `transformer_load_utils.py` 中的 `_prefer_mixed_safetensors_files` 函数，理解其设计权衡：在遇到混合和非混合文件共存时，优先选择混合版本以避免重复张量名问题。同时，关注测试 artifact 保存机制，确保在 CI 中正确配置环境变量以利用此功能。

修复扩散模型 CI 自动分区逻辑，支持多配置文件并防止空套件。

对于负责 CI 基础设施或扩散测试的工程师，建议精读以了解动态配置解析的设计。关注 `resolve_case_config_path` 函数和 `validate_suite_case_coverage` 验证逻辑，这些是防止 CI 回归的关键设计决策。

更新扩散模型文档，新增API示例、环境变量和平台支持信息。

建议工程师和用户阅读更新后的文档，以了解扩散功能的新API、配置选项和平台支持，重点关注API示例和环境变量部分。

更新 diffusion benchmark/profile 技能，强制使用 native SGLang backend 并添加 --no-torch-compile 选项。

建议精读 `bench_diffusion_denoise.py` 的变更，特别是 `build_sglang_cmd` 和 `run_benchmark_once` 函数，以理解 native backend 验证机制；同时关注文档更新，确保正确使用 diffusion skills 进行 benchmark 和测试。

分离GPU测试用例并新增NPU专用测试运行器，修复NPU CI因下载GPU模型而失败的问题。

建议团队在合并前验证CI自动分区功能是否受影响，并检查所有导入路径是否已正确更新。对于学习价值，此PR展示了如何通过分离平台特定逻辑来优化CI流程，适合关注测试架构和跨平台兼容性的工程师参考。