ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation
ParamMute:抑制知识关键的前馈神经网络以实现忠实的检索增强生成
机构 * School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院) ; Department of Computer Science and Technology, Institute for AI, Tsinghua University, China(清华大学人工智能研究院计算机科学与技术系) ; Microsoft Research Asia, Beijing, China(微软亚洲研究院) ; Language Technologies Institute, Carnegie Mellon University, United States(卡内基梅隆大学语言技术研究所)
专题命中 检索器与排序 :RAG(summary_cn,abstract);retrieval-augmented generation(title,abstract);分类 cs.CL、cs.AI
AI总结 研究RAG中LLMs不忠实生成问题,提出ParamMute框架抑制相关FFNs激活并校准模型,通过CoFaithfulQA基准评估,显著提升忠实性,减少对参数记忆依赖,为提高LLM在RAG中的可信度提供新方向。
Comments 26 pages, 7 figures, 7 tables