将工具解析器单元测试移动至 tests/tool_parsers 目录,分离单元测试与集成测试。
建议工程师快速浏览此 PR 以了解测试目录结构调整,但无需深入分析代码逻辑。重点关注 test_granite4_tool_parser.py 中流式测试的潜在问题,可在后续 PR 中修复。
A high-throughput and memory-efficient inference and serving engine for LLMs
将工具解析器单元测试移动至 tests/tool_parsers 目录,分离单元测试与集成测试。
建议工程师快速浏览此 PR 以了解测试目录结构调整,但无需深入分析代码逻辑。重点关注 test_granite4_tool_parser.py 中流式测试的潜在问题,可在后续 PR 中修复。
bge-m3 插件统一使用 `embed&token_classify` 任务处理所有 pooling 请求,简化代码并弃用多任务支持。
此 PR 值得精读,展示了如何在服务限制下重构插件逻辑,学习设计权衡和简化策略,对于工程师理解多任务弃用背景有价值。
修复 AudioFlamingo3 和 MusicFlamingo 模型实现,对齐 Hugging Face 参考行为并支持 RoTE 处理。
建议技术管理者和工程师精读此 PR,重点关注 MusicFlamingo 独立实现的设计决策(如 RoTE 集成和 prompt 扩展机制),以及如何通过测试确保 HF 对等性。同时,关注风险分析中提及的兼容性问题,评估 transformers 版本升级计划。
原始 PR · 作者 WoosukKwon · 合并时间 2026-03-23 07:30
启用 Model Runner V2 的 pipeline parallelism CUDA 图测试。
对于大多数工程师,此 PR 不值得精读,除非关注 CI 配置、测试策略或 Model Runner V2 的演进。管理者可关注测试启用的时机和背后的依赖 PR #35162,以了解更大功能线。
为V2模型runner的流水线并行添加piecewise CUDA graph支持,显著提升推理性能。
此PR值得精读,特别是对于从事CUDA graph优化或流水线并行开发的工程师。关注以下设计决策: - 如何通过持久缓冲管理中间张量以支持图形重放。 - `num_reqs`调整作为临时解决方案的权衡。 - PP-aware的图形捕获实现细节,可作为处理分布式场景的范例。
原始 PR · 作者 WoosukKwon · 合并时间 2026-03-23 03:28
回滚 #34854 变更,使用 FP64 提高 Gumbel 噪声数值稳定性,牺牲大 batch 随机采样性能。
建议精读,特别是 tl_rand64 的实现和性能数据,以理解 Triton 内核中精度与性能的权衡,以及如何通过代码简化提升可读性。
修复 MXFP4 量化层中 LoRA 测试的维度暴露问题。
建议工程师关注此 PR 以了解 MXFP4 量化层中维度暴露的模式,对于处理类似量化或 LoRA 集成的开发有价值。变更简单,无需深入精读,但可作为量化模块维护的参考案例。
原始 PR · 作者 WoosukKwon · 合并时间 2026-03-23 02:47
跳过 PW CUDA 图的隐藏状态分配以优化内存使用。
对于从事 CUDA 图优化或 MRV2 开发的工程师,建议精读此 PR 以了解内存优化技巧。关键设计决策在于区分 PW 和 full CUDA 图的处理路径,值得借鉴。
参与讨论