修复Gemma4流式解析器无通道输出分类不一致
推荐精读,特别是`adjust_initial_state_from_prompt`的修改逻辑。展示了如何通过精确的预初始化条件修复状态机不一致。对于了解Gemma4解析器工作原理的开发者很有价值。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复Gemma4流式解析器无通道输出分类不一致
推荐精读,特别是`adjust_initial_state_from_prompt`的修改逻辑。展示了如何通过精确的预初始化条件修复状态机不一致。对于了解Gemma4解析器工作原理的开发者很有价值。
修复 KV 缓存卸载时 per-token-head 量化数据截断
建议精读。此 PR 修复了一个难以发现的静默数据损坏 bug,展示了对量化和内存布局细节的深刻理解。重构方式(内联缩放到独立属性)提供了良好的代码复用性和可测试性,值得参考。
原始 PR · 作者 tomerg-nvidia · 合并时间 2026-07-14 21:03
阻止双向模式下 P 读取 D 端过期 KV blocks
值得精读,尤其是时钟同步策略、安全裕度设计以及如何在不引入过多配置项的情况下保证正确性。对于分布式 KV 传输贡献者,本 PR 展示了以最小侵入性解决数据一致性问题的方法。
原始 PR · 作者 gangula-karthik · 合并时间 2026-07-14 20:09
LlavaNextVideo 新增 LoRA 支持(含视觉塔与连接器)
该 PR 值得精读,尤其是 `get_num_mm_encoder_tokens` 和 `get_num_mm_connector_tokens` 的实现方式——通过存储网格长度来反推各阶段 token 数量,为其他具有空间池化的多模态模型(如 LLaVA-NeXT、LLaVA-Onevision)的 LoRA 支持提供了可复用的设计模式。
原始 PR · 作者 jperezdealgaba · 合并时间 2026-07-14 19:08
修复并发竞态绕过稀疏张量安全检查
值得精读,展示了将全局状态并发访问串行化的典型模式。对于处理 PyTorch 等库的进程级标志的团队有参考价值。
原始 PR · 作者 afierka-intel · 合并时间 2026-07-14 18:32
重命名环境变量 VLLM_TRITON_ATTN_USE_TD 为 VLLM_TRITON_USE_TD
建议尽快合并,因为多个下游 PR 依赖此变量注册。值得关注的是弃用策略的设计,参考了此前 `HOST_IP` 的处理方式。
移除 CPU 卸载测试中 HMA 模型的 KV 事件限制
此 PR 值得一看,因为它演示了如何随着底层依赖的演进(如 #37688)清理过时的测试防护。同时,其变更模式对理解测试条件的演进有参考价值。
原始 PR · 作者 zxd1997066 · 合并时间 2026-07-14 16:50
Intel GPU CI 集成滑窗测试
该 PR 属于常规 CI 维护,值得快速合并。建议关注跳过的用例 `test_sliding_window_retrieval[True-1-5-google/gemma-3-1b-it]` 在未来是否得到修复并重新启用。
参与讨论