SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 yctseng0211 · 合并时间 2026-04-11 13:47
为ROCm平台VAE解码启用MIOpen自动调优，提升34%解码速度。
该PR值得精读，特别是对于关注AMD平台性能优化和扩散模型加速的工程师。关键设计决策包括：1) 通过环境变量控制优化，保持向后兼容性；2) 将优化集成到现有的平台特定VAE优化方法中，遵循了模块化设计。建议关注review中关于全局标志的讨论，以理解潜在的性能影响边界。
融合RMSNorm与FP8每令牌量化，优化GLM-4.7-FP8在AMD平台的推理性能。
建议工程师精读此PR，关注融合内核的设计决策（如使用`group_size=0`实现每令牌量化）和quant_format处理逻辑（避免与现有fp8组量化路径冲突）。对于优化AMD平台性能或FP8量化的开发者，可学习aiter库的集成方式和性能分析技巧。同时，注意review中未解决的早期返回风险，建议后续修复。
清理Ngram模块中无状态的`batchMatch`死代码。
此PR值得快速浏览以了解代码清理情况，但无需深入精读。技术管理者可关注死代码移除对代码质量的影响，工程师可确认无遗留引用。
将list_external_corpora API返回值扩展为包含语料库token计数的字典。
建议关注此PR的设计决策，如使用制表符分隔符避免corpus ID中的逗号问题，以及从C++到HTTP的全栈一致性更新。对于从事Ngram模块或API开发的工程师值得精读，以理解外部语料库管理的演进方向。
修复CPU测试因导入路径变更导致的NotImplementedError，恢复使用原生CPU实现。
这是一个简单的修复PR，无需深入精读。值得关注的是它揭示了测试环境对硬件依赖的敏感性，以及导入路径选择对跨平台兼容性的影响。
修复HiSparse解码侧设备缓冲区预算和逻辑池准入控制问题。
建议HiSparse模块的开发者精读此PR，关注设备缓冲区预算和逻辑池约束的设计决策。review中提到的预算计算保守性问题值得后续跟踪，可能需要在未来PR中进一步优化。
统一懒文本积累并直接使用增量数据流，提升 tokenizer 流式处理性能。
建议技术管理者和工程师精读此 PR，特别是 ReqState 的变更和 _handle_batch_output 中的 delta 使用，以理解懒积累设计模式和性能优化技巧。关注测试更新以确保正确性。
重构调度器指标统计逻辑，统一池相关字段赋值并修复四舍五入一致性。
该PR值得精读，特别是对于关注代码质量和可维护性的工程师。关注点包括：1. update_scheduler_stats方法如何统一处理不同池统计字段。2. round(..., 2)的引入如何修复四舍五入不一致问题。3. 如何通过单一方法调用替换多个重复块，这是典型的DRY原则应用。
参与讨论