A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 ricky-chaoju · 合并时间 2026-06-05 16:47
支持 Rust 前端 include_reasoning=false
该 PR 是 Rust 前端特征补齐的关键一步，代码设计清晰，特别是在防止信息泄露方面考虑周全。建议 Rust 前端开发者精读，尤其是流式响应中元数据抑制的实现模式。也可作为参考，了解如何安全地隐藏敏感内容而不留下旁路。
修复 Tekken tokenizer 测试预期值
可直接合并，属于常规的测试同步更新。
原始 PR · 作者 UranusSeven · 合并时间 2026-06-05 15:43
修复 dummy run 中 query_start_loc 填充不足
值得快速合入，但建议补充单元测试覆盖 dummy run 的 query_start_loc 填充行为，防止回归。
修复 test_invocations 因新版 openai SDK 的不稳定失败
值得快速合并的 bugfix。虽改动简单，但解决了因外部依赖升级引起的测试不稳定问题，提升了 CI 可靠性。
修复 Rust 前端增量解码器 UTF-8 边界崩溃
建议立即合并，此修复解决了一个严重的生产环境稳定性问题，代码改动小且风险低。
修复 wait_for_completion 文档字符串
可直接合并，无需深入审查。该 PR 展示了社区对文档准确性的关注，值得鼓励。
使用 workspace manager 替换 ROCm 稀疏索引器动态分配
建议相关开发者仔细阅读，尤其是 workspace manager 的使用模式，以及如何在不影响 `torch.compile` 的情况下预留内存。对于 ROCm 稀疏索引器的维护者，这是一次重要的对齐。
原始 PR · 作者 hanlin12-AMD · 合并时间 2026-06-05 14:45
集成 Aiter hipBLASLt GEMM 在线调优与测试
推荐 ROCm 相关开发者精读。该 PR 展示了如何在 vLLM 内核选择系统中集成第三方库 kernel 的模式：通过 `is_supported`/`can_implement` 门控、`process_weights_after_loading` 预处理权重、`apply_scaled_mm` 执行计算。环境变量组合条件检查的设计值得借鉴（平台检查 + 多个 flag 组合）。fake impl 的维度正确性对 torch.compile 至关重要。
参与讨论