A high-throughput and memory-efficient inference and serving engine for LLMs
作者 shen-shanshan · 合并时间 2026-04-14 16:49
扩展ViT全CUDA图支持到Qwen3-VL视频推理，提升多模态编码性能。
建议技术管理者和工程师精读此PR，以理解CUDA图在多模态编码中的扩展设计。重点关注`get_input_modality`方法实现、`max_frames_per_batch`参数处理，以及review中讨论的权衡决策（如缓存移除和命名更改），这些对类似性能优化和协议设计具有借鉴意义。同时，关注后续PR中混合输入支持的演进。
作者 noooop · 合并时间 2026-04-14 16:29
将 pooling 入口点的阻塞预处理和后处理卸载到线程池以减少延迟回归。
建议工程师精读此 PR，重点关注线程池如何集成到 serving 基类中，以及 make_async 的使用方式。设计决策值得学习，尤其是如何平衡同步和异步处理以优化性能，同时注意 review 中提到的 bug 修复点。
作者 lalit10 · 合并时间 2026-04-14 16:11
Ernie-4.5 VL模型的M-RoPE位置计算从基于token扫描重构为使用mm_features数据契约。
建议工程师精读此PR，关注如何通过`iter_mm_grid_thw`辅助方法将复杂token扫描逻辑抽象为清晰的数据迭代器，以及多模态数据契约（`mm_features`）在设计中的应用。对于涉及位置编码或模型重构的任务，这是一个值得借鉴的设计决策示例。
作者 markmc · 合并时间 2026-04-14 16:00
引入PrefillStats替换旧缓存令牌统计字段，修复调度器preemption下的metrics错误。
该PR值得精读，特别是调度器如何跟踪首次prefill stats的设计决策，以及review中关于metrics计算和错误处理的深度讨论，为类似场景提供了权衡案例。
作者 noobHappylife · 合并时间 2026-04-14 13:28
修复Responses API流式处理中多自动工具调用参数错误合并的问题。
建议工程师精读此PR，关注流式事件处理中的状态管理和错误处理设计，特别是_process_simple_streaming_events函数的变更。对于技术管理者，可作为bugfix的范例，展示如何在重构背景下简化变更和测试驱动修复。
作者 KimuGenie · 合并时间 2026-04-14 12:44
修复Gemma4工具解析器将裸`null`错误转换为字符串`"null"`的问题。
该PR值得快速审阅，重点关注： 1. `_parse_gemma4_value`函数中空值处理的设计决策（支持多种表示形式）。 2. 测试用例的完整性，确保字符串`"null"`与裸`null`的区分正确。
作者 sfeng33 · 合并时间 2026-04-14 12:39
重构Chat完成流生成器，统一使用Parser.parse_delta处理自动工具和推理流。
推荐工程师精读此PR以了解解析器框架在流式处理中的集成方式。特别关注重构策略和未解决的reasoning delta问题，这可能在相关解析器代码中需要后续修复。
作者 chaunceyjiang · 合并时间 2026-04-14 11:16
修复MiniMaxM2Parser构造函数缺少tools参数导致的TypeError。
该PR值得快速浏览以了解MiniMaxM2Parser的参数传递修复。重点关注： 1. 构造函数签名变更如何保持向后兼容 2. review中提到的工具对象类型不匹配问题，这是需要后续关注的技术债 3. 与相关工具解析器（MinimaxM2ToolParser）的协作模式
参与讨论