#48876 [Model] Add Inkling compressed-tensors dynamic FP8 support
原始 PR · 作者 krishnateja95 · 合并时间 2026-07-29 10:27
动态 FP8 checkpoint w2 权重尺度加载支持
值得精读。该 PR 展示了如何在不改变原有架构的前提下,通过一个简洁的分支处理来适配特殊的权重尺度格式,是增量式扩展的范本。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 krishnateja95 · 合并时间 2026-07-29 10:27
动态 FP8 checkpoint w2 权重尺度加载支持
值得精读。该 PR 展示了如何在不改变原有架构的前提下,通过一个简洁的分支处理来适配特殊的权重尺度格式,是增量式扩展的范本。
允许评论触发的 CI 绕过 pipeline 分支过滤器
可以合并,这是一次必要且简单的修复。值得关注的是 comment-based CI 工作流的演进,后续可能有更多功能扩展。
引入评论命令触发 Buildkite CI
该 PR 是 CI 流程的显著改进,安全设计细致(精确命令、权限控制、只检出默认分支),并配有完整测试。建议 CI 团队和架构师精读 `run_ci_command.py` 中的授权逻辑与 Buildkite 交互设计。
修复 dummy run 通过陈旧 block table 行写入 mamba 状态
建议深入阅读此 PR,它展示了如何定位和修复数据损坏的典型思路:从源头和重放路径双重修复。对于涉及 cudagraph 和 speculative decoding 的开发者尤其有价值。后续可关注 follow-up:将零填充 gating 在混合模型上以减少不必要的开销。
修复混合模型 wake_up 时 kv_cache 列表元素 zero_ 崩溃
值得精读。该 PR 展示了如何识别因 kv_cache 存储结构差异导致的运行时 bug,并用最小的改动(+10/-3 源码,+56 测试)解决实际 customer 问题。测试设计模式(mock + descriptor 绑定实例方法)值得借鉴。
原始 PR · 作者 divakar-amd · 合并时间 2026-07-29 08:12
修复 NIXL DP+EP 测试端口冲突
建议合并。这是一个小的测试修复,逻辑清晰,已验证通过。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-29 07:58
ROCm 音频流式测试稳定性修复
值得合并,变更简单明确,无副作用。
原始 PR · 作者 fxmarty-amd · 合并时间 2026-07-29 07:57
修复 MXFP8 MoE 后端选择与 alpha/beta 硬编码
建议精读此 PR,它展示了如何通过 `is_supported_config` 实现后端准入检查,以及如何将平台特定的回退逻辑融入统一选择框架。这种模式值得在支持多后端的量化模块中推广。
参与讨论