#43463 [Frontend] Expose logprob_token_ids on Python OpenAI endpoints
原始 PR · 作者 langzhao-netizen · 合并时间 2026-07-14 05:40
在 OpenAI 端点暴露 logprob_token_ids 支持
值得精读,尤其是协议层字段添加、验证器编写和采样参数传递的模式。这是 vLLM 前端扩展规范化的良好示例。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 langzhao-netizen · 合并时间 2026-07-14 05:40
在 OpenAI 端点暴露 logprob_token_ids 支持
值得精读,尤其是协议层字段添加、验证器编写和采样参数传递的模式。这是 vLLM 前端扩展规范化的良好示例。
添加 BertForMaskedLM 模型支持
该 PR 实现清晰,适合作为新模型集成的模板。权重映射和命名处理的细节值得关注。建议阅读 bert.py 中的 BertForMaskedLM 类实现和对应的测试。
原始 PR · 作者 wenpengw-nv · 合并时间 2026-07-14 04:43
修复 Qwen3-VL MoE 缺少 model_config 属性
该 PR 虽然改动极小,但解决了编码器 CUDA Graph 场景下的崩溃问题,建议合并。值得关注的是一行修复背后涉及的继承设计问题:MoE 子类跳过了父类 init,未来若父类新增初始化逻辑,可能再次遗漏。
Mamba/SWA 共享前缀缓存保留优化
值得精读。PR 展示了如何在不改变上层接口的情况下,通过扩展内部数据结构(Request.shared_prefix_boundary)和统一分块停止条件,将 Marconi 缓存与稀疏 retention 策略优雅融合。`_mamba_block_aligned_split` 的重写是理解 vLLM 调度器核心逻辑的绝佳范例。建议关注 Mooncake 连接器的后续统一适配以及跨组共享前缀边界的精确性校验。
为 Qwen Eagle3 添加滑动窗口注意力支持
建议精读,这是一个清晰的特性扩展示例:通过配置驱动的 per-layer 滑动窗口支持,展示了如何在不破坏现有架构的前提下,为投机解码模型添加新能力。值得关注的是参数传递路径:从 Eagle3 特定层 → 通用 DecoderLayer → Attention 层。
原始 PR · 作者 pavanimajety · 合并时间 2026-07-14 02:46
为 TokenSpeed MLA 后端添加 DCP 与 Eagle 支持
建议有 Blackwell 后端开发需求的团队精读。PR 展示了 DCP 与投机解码在 MLA 后端上的集成方案,特别是 FlashInfer 后端的兼容性设计决策(XQA 回退、supports_dcp_with_varlen 控制)。Review 中的讨论对理解 DCP 下 causal mask 的正确性很有价值。测试用例是良好的合约验证示例。
跳过 ROCm 失败测试
该 PR 仅用于临时解除 CI 阻塞,不值得精读。但关联的 Issue #48510 和修复 PR #48179 值得关注,因为它们涉及 ROCm 上 Workspace 增长分配的深层问题。
修复推理-工具边界缓冲丢失问题
建议前端及解析器模块的开发者阅读此 PR,学习流式转换中 flush 设计的选择,以及如何通过真实解析器组合编写可靠的回归测试。修复方法本身简洁且安全,值得在类似跨引擎边界中推广。
参与讨论