arXivDaily arXiv每日学术速递 周一至周五更新

大厂专区

2026-07-13 至 2026-07-13 共收录 2
2607.09385 2026-07-13 cs.DC cs.AI cs.PF 新提交

STEEL: Sparsity-Aware Fused Attention for Energy-Efficient Long-Sequence Inference on AMD's XDNA NPU

STEEL:用于在AMD的XDNA NPU上进行节能长序列推理的稀疏感知融合注意力

Victor J. B. Jung, Gagandeep Singh, Joseph Melber, Kristof Denolf, Francesco Conti, Luca Benini

机构 * AMD Research and Advanced Development (RAD)(AMD研究与先进开发) Integrated Systems Laboratory (IIS)(集成系统实验室) ETH Zürich(苏黎世联邦理工学院) Department of Electrical, Electronic and Information Engineering (DEI)(电气电子信息工程系) University of Bologna(博洛尼亚大学)

AI总结 研究针对笔记本级SoC上节能推理,提出STEEL这一针对类似XDNA的NPU的FlashAttention开源实现,通过引入预填充注意力数据流公式化及稀疏感知流水线布局,降低能耗与延迟,相比CPU和GPU有显著性能提升。

Comments Accepted at IEEE COINS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08779 2026-07-13 cs.LG cs.AI 新提交

Signed Symmetric Quantization for Few-Bit Integers

用于少比特整数的带符号对称量化

Ian Colbert, Eashan Dash, Pablo Monteagudo-Lago, Juan Amboage, Srinidhi N, Giuseppe Franco, Nicholas J. Fraser, Arun Ramachandran

机构 * AMD(超威半导体公司)

AI总结 研究少比特整数量化问题,提出带符号对称量化方法,通过有原则的符号选择规则放置额外可表示值,保持对称量化运行时特征,理论分析其在量化误差上有条件最优,实证验证在模型上有效果提升。

详情

展开后加载摘要…

URL PDF HTML 收藏