HTAM: Hierarchical Transition-Attended Memory for Operator Optimization
HTAM: 用于算子优化的层次化过渡注意力记忆
机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; Zhongguancun Academy(中关村学院) ; Renmin University of China(中国人民大学)
AI总结 提出HTAM框架,通过构建层次化过渡图(HTG)组织粗粒度全局方向和细粒度局部策略,解决LLM在GPU算子优化中粒度不匹配问题,显著提升正确率和加速比。
Comments 24 pages, 5 figures