vllm-project/vllm

为 Kimi K3 和 DeepSeek V4 添加 MI355 ROCm DSpark 投机解码评估覆盖。

这是一个常规的 CI 测试配置添加 PR，风险较低，主要价值在于提升测试覆盖。PR 作者已提供在目标硬件（MI355）上通过评估的证据，且配置结构清晰。建议快速审查重点：1) 确认 `lm_eval.yaml` 中 AMD 镜像任务的依赖和超时设置合理；2) 检查新 YAML 配置文件中的关键参数（如阈值、环境变量）与现有 NVIDIA 配置或已知工作配置是否一致。适合作为低风险、高价值的维护性变更合入。

为DeepSeek-V4-Flash-Vision-Exp多模态模型添加完整的推理支持，涵盖视觉编码、多模态处理、注意力适配与MoE路由。

本PR是一个里程碑级别的变更，引入了完整的多模态模型支持，涉及多个核心模块的协同修改。建议精读以下关键部分：1) 多模态预处理中的哨兵令牌设计；2) 注意力后端中图像可见性内核的实现；3) MoE路由器对图像令牌的适配。这些设计决策展示了如何在不破坏现有架构的前提下扩展新功能，值得借鉴。

回滚因不稳定性而回滚的 Quark W8A8 MoE 量化测试定义。

**建议精读**。虽然这是一个简单的回退操作，但其背后的原因——“一个旨在改进的 PR 如何引入了测试不稳定性”——对于所有编写测试的工程师都具有警示意义。值得思考如何设计更健壮的集成测试，避免因实现细节变更（如使用 `load_model_without_vllm_runner` 代替 `vllm_runner`）而意外引入不稳定性。此 PR 是很好的实践案例。

将构建依赖的 CUTLASS 库从 v4.4.2 升级到 v4.7.1，以支持 C 扩展所需的新特性。

此 PR 值得精读，但重点应放在评估升级的潜在影响而非代码本身。代码变更简单明了（一行版本字符串），但决策背后的技术理由（支持 C 扩展）以及升级是否引入其他变更（如行为差异、性能影响）更值得关注。建议维护者合并前，确认该升级是否已通过关键性能测试（如 attention kernel 跑分），并考虑在合并说明中注明升级原因，以便未来追踪。

为五个触发 griffe 警告的函数补全返回类型注解，消除文档构建警告。

这是一个典型的维护性 PR，旨在提升代码质量而非解决紧急问题。它值得快速审阅以确认注解的正确性，但不需要进行深度技术审查。对于关心代码类型完整性和文档规范性的团队成员，可以关注其如何处理可选依赖的类型导入以及清理冗余文档的方法，作为未来贡献的参考。

修复 CohereASR 流式转录使用统计中音频令牌估算的单位错误和子采样遗漏，导致 prompt_tokens 被夸大 5 个数量级。

这是一个质量很高的 bugfix PR，强烈建议精读。核心变更是一个小范围但至关重要的计算逻辑修复，直接解决了影响用户可见统计的严重错误。讨论中关于 `ceil/floor` 对齐、数据源一致性和错误处理风格的交流非常有价值，体现了对代码健壮性和一致性的关注。测试设计（使用具体数值断言）也值得借鉴。

统一 NIXL KV 传输接口使用 int32 索引，消除冗余类型转换并提升性能。

此 PR 值得精读。它不仅是一个简单的性能优化，更展示了对跨模块数据类型一致性的系统性思考。作者与审核者之间关于“为何要改卸载层”的讨论，清晰地揭示了数据从产生到消耗的完整链路，是理解 vLLM KV 管理内部架构的良好案例。对于从事高性能数据传输、RDMA 集成或分布式系统优化的工程师，此 PR 中的优化策略（从源头匹配下游 API 要求）和代码走查过程具有直接的借鉴意义。

修复多模态处理器缓存哈希受无关模态选项干扰，导致不必要缓存失效的性能问题。

该 PR 值得精读。它清晰地展示了一个实际生产性能问题的发现、分析与修复过程。实现方案简洁有效，通过条件判断和过滤实现了哈希因子的模态作用域隔离，平衡了正确性与缓存效率（对未知模态采取保守策略）。关键的设计决策是引入 `_HF_MODALITY_PROCESSOR_KWARGS` 映射表和在循环内动态构建 `hash_factors`，这种模式对于处理类似“作用域”或“上下文相关”的配置应用有参考价值。