vllm-project/vllm

为AMD MI300 ROCm平台新增Triton W4A16 GEMM内核，支持INT4权重量化推理，提升性能。

该PR值得精读，特别是内核设计和review反馈。关注点包括：Triton JIT内核实现细节、权重处理与压缩张量集成、RDA检测和调优策略。对于内核开发和平台优化有借鉴价值。

添加FireRedLID语音语言识别模型支持，扩展vLLM多模态能力。

建议工程师精读此PR，了解如何集成新的编码器-解码器音频模型，以及代码重构的最佳实践。重点关注共享组件提取、review中的优化讨论和示例添加，以学习vLLM模型扩展模式。

移动PyTorch 2.10的FxGraphCachePickler.dumps补丁至通用位置，修复torch.compile缓存问题。

建议技术管理者和工程师精读此PR，关注其idempotent补丁实现和版本门控设计，这对于处理跨平台兼容性和依赖管理有借鉴价值。

将LogitsProcessor和词汇并行嵌入层从CustomOp迁移到PluggableLayer框架。

建议技术管理者关注此PR作为架构演进的一部分，了解PluggableLayer的引入背景。工程师可精读VocabParallelEmbedding的forward方法变更，理解从CustomOp到PluggableLayer的接口适配模式。

修复V1 dummy run将NaN写入KV缓存null block的bug，避免DP+EP部署中的精度回归。

该PR值得精读，尤其关注slot mapping初始化和dummy run交互的设计缺陷。建议工程师：1. 理解`_get_slot_mappings`中填充区域处理逻辑；2. 查看#25954以了解重构历史；3. 考虑为dummy run添加单元测试，避免类似bug。

优化Nemotron Nano VL模型的像素重排操作，减少内存复制提升性能。

该PR展示了针对视觉模型张量操作的经典性能优化技巧，值得视觉模型开发者和性能优化工程师精读。重点关注：1）如何通过合并维度操作减少内存复制；2）view与reshape的正确使用场景；3）动态分辨率处理函数的简化模式。

引入LayerName不透明类型优化自定义操作符编译时间，避免字符串常量导致的重复编译。

建议精读 `vllm/utils/torch_utils.py` 中的 LayerName 实现，了解如何利用 PyTorch 不透明类型优化编译；同时关注编译融合模式中的条件逻辑设计，这对处理版本差异和性能调优有参考价值。

支持带前缀的非标准GGUF量化类型，如UD-IQ1_S，扩展模型加载兼容性。

该PR值得精读，特别是is_nonstandard_gguf_quant_type函数的设计，展示了如何通过后缀验证灵活扩展类型识别，同时保持向后兼容性。关注点：1. 使用rsplit而非split确保处理多层前缀；2. 警告日志记录非标准类型，便于问题追踪；3. 测试用例全面覆盖各种前缀场景。