vllm-project/vllm

Rust 前端 generate 端点支持 SSE 流式

建议仔细阅读 generate.rs 中的 generate_chunk_stream 和 generate_sse_stream 实现，特别是 asynk_strim_attr 宏的使用、错误用道的设计以及与 completions 端点的相似性。这些实现在后续其他 Rust 路由中可复用。

修复并稳定 ROCm 上 EAGLE3 测试

该 PR 值得精读，尤其是断言语义的调整和 EP 条件判断的设计，展示了如何在测试中平衡严格性与实用性。建议未来审视是否有其他 speculative decoding 测试需要类似处理。

优化 DSv4 稀疏 FP8 KV 缓存压缩器内核

值得阅读，该 PR 展示了如何通过细致的内核调优（线程映射、寄存器张量、向量化加载）在牺牲少量代码可读性的情况下换取数倍性能提升。对关注高性能 GPU kernel 开发的工程师有启发。

新增 JetBrains Mellum v2 代码生成模型支持

该 PR 结构清晰、改动集中，适合作为新模型支持的标准参考。建议简要浏览实现文件，了解 vLLM 添加新模型时需修改的注册点（registry.py、configs/__init__.py、config.py）。

优化 FP8 矩阵乘法绕过 padding，提升 20% 性能

该 PR 值得维护者精读，展示了一种优雅的 padding 绕过优化模式：通过检查对齐条件选择不同执行路径，并在 `torch.compile` 下使用 `torch.cond` 保持可编译性。同时，review 中的建议进一步优化了完全对齐的情况，体现了合作改进的价值。

修复XPU上测试音频视频的间歇失败

值得合并。该 PR 修复了 XPU 特定的 CI flake，变更简单且经过审核。对于维护者，建议关注测试 fixture 作用域与隔离性的权衡，但当前方案是合理的。无需深入精读。

修复 Bailing MoE 模型中 partial_rotary_factor 计算错误

值得精读，以了解模型配置优先级处理的常见模式。关注点是：优先使用显式字段（rotary_dim），其次使用派生字段（partial_rotary_factor），最后使用默认回退（head_dim）。该模式可推广到其他模型实现。

新增 InternLM2 模型的 Rust 工具调用解析器

建议阅读本 PR 以学习如何系统地将 Python 工具解析器移植到 Rust，特别关注共享配置的演进式扩展、有意行为差异的文档化方法，以及如何使用 `winnow` 组合子实现灵活的 JSON 字段解析。