MAR: Efficient Large Language Models via Module-aware Architecture Refinement
MAR:通过模块感知架构优化实现高效的大型语言模型
机构 * Department of CSE, Southern University of Science and Technology(南方科技大学计算机科学与工程系) ; School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院) ; National Engineering Laboratory for Big Data Analytics, Xi’an Jiaotong University(西安交通大学大数据分析国家工程实验室) ; Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系) ; ACS Laboratory, Huawei Technologies Co., Ltd.(华为技术有限公司ACS实验室)
AI总结 本文提出MAR框架,结合状态空间模型和激活稀疏化,降低LLM的能耗并提升性能,同时设计ATMN和SBDS解决SNN与SSM整合问题,实验表明其在受限资源下性能优异且能超越同等或更大规模的高效模型。
Comments Accepted by ICASSP 2026. 5 pages, 5 figures