Prhub

radixark/miles · 标签视图

标签列表

聚合结果

mxfluxquantization 相关 PR

2026-07-31

#2014 fix: quantize non-interleaved DSA indexer wk

原始 PR · 作者 xiuhu17 · 合并时间 2026-07-31 11:03

缺陷修复 重要性 6.25 洞察度 5.00

按 indexer_rope_interleave 条件量化 DSA indexer wk

值得精读:它展示了对历史修复的回溯修正,以及基于下游引擎(SGLang)参数布局做条件化量化的设计模式。建议结合 #1928 一起阅读,理解 DSA indexer 在 interleaved/非 interleaved 下的差异;同时关注 `indexer_rope_interleave` 配置在模型转换链路中的传递可靠性。

2026-07-30

#1935 Use TransformerEngine for MXFP8 quantization

原始 PR · 作者 zianglih · 合并时间 2026-07-30 03:39

重构 重要性 7.58 洞察度 5.00

MXFP8 量化器统一为 TransformerEngine 适配

值得精读 1 个文件:`miles/utils/mxfp8.py`。其设计决策(lazy 导入、TE 32 行对齐补零后裁剪回紧凑布局、rowwise-only 模式)很好地展示了如何在第三方量化器之上保持稳定的 checkpoint 契约。若团队后续要引入其他量化后端,这个适配层模式可以直接复用。不建议作为架构级参考,因为改动面小且无 review 讨论。