Neuron-Aware Data Selection In Instruction Tuning For Large Language Models
面向神经元的数据选择用于大语言模型的指令微调
机构 * NLP ; CT Lab, Department of Computer and Information Science, University of Macau(计算机与信息科学系,澳门大学CT实验室) ; Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology(深圳先进技术大学人工智能研究院) ; Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究所) ; Provable Responsible AI and Data Analytics Lab, KAUST(可证明责任AI与数据分析实验室,卡尔斯兰大学) ; National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
专题命中 逻辑推理 :reasoning(abstract);logical reasoning(abstract);分类 cs.CL
AI总结 本文提出NAIT框架,通过分析神经元激活模式相似性选择高效指令微调数据,提升大语言模型特定或通用能力,实验证明其在多种任务中优于其他方法。