语言大模型 / LLM

ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation

ParamMute：抑制知识关键的前馈神经网络以实现忠实的检索增强生成

Pengcheng Huang, Zhenghao Liu, Yukun Yan, Haiyan Zhao, Xiaoyuan Yi, Hao Chen, Zhiyuan Liu, Maosong Sun, Tong Xiao, Ge Yu, Chenyan Xiong

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Institute for AI, Tsinghua University, China（清华大学人工智能研究院计算机科学与技术系） ； Microsoft Research Asia, Beijing, China（微软亚洲研究院） ； Language Technologies Institute, Carnegie Mellon University, United States（卡内基梅隆大学语言技术研究所） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究RAG中LLMs不忠实生成问题，提出ParamMute框架抑制相关FFNs激活并校准模型，通过CoFaithfulQA基准评估，显著提升忠实性，减少对参数记忆依赖，为提高LLM在RAG中的可信度提供新方向。

Comments 26 pages, 7 figures, 7 tables

Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench

通过PredicateLongBench理解长上下文任务的难度轴

Siddhartha Jain, Ameya Velingker

机构 * NVIDIA 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究针对大语言模型长上下文能力评估不足，提出PredicateLongBench基准，通过识别满足谓词的最长连续子序列压力测试长上下文推理，探索多个难度轴，用两种生成管道实验，发现前沿模型在难度提升时表现不佳，助于理解能力局限。

ResonatorLM: Causal Resonant Field Mixing for Efficient Long-Context Language Modeling

ResonatorLM：用于高效长上下文语言模型的因果共振场混合

Archie Chaudhury

机构 * Axionic Labs（轴子实验室） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对Transformer等模型处理长上下文效率低的问题，提出ResonatorLM机制，将令牌序列视为潜场，用阻尼谐振器因果函数替代注意力点积，在传统架构上实现并测试，取得训练和预填充加速、高解码速度及准确率提升等成果。

Comments 8 Pages. Accepted at ICANN 2026

Prompt Compression via Activation Aggregation

通过激活聚合进行提示压缩

Thibaud Ardoin, Semira Einsele, Evis Bregu, Gerhard Wunder

机构 * Freie Universität Berlin（柏林自由大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨能否将指令提示的任务相关信息压缩成单个激活向量注入模型，利用中间层激活的学习加权和实现了这一点，压缩向量保留关键信息且准确率下降小，还揭示了语言模型激活空间的结构。

RepLLM: Toward Automatically Reproducing Network Research Results

RepLLM：迈向自动重现网络研究结果

Yining Jiang, Yunxin Xu, Wenyun Xu, Yufan Zhu, Rui Liu, Tangtang He, Haiying Huang, Letian Zhu, Qingyu Song, Qiang Su, Lizhao You, Lu Tang, Wanjian Feng, Yuchao Zhang, Linghe Kong, Qiao Xiang, Jiwu Shu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对计算机网络研究结果重现难题，RepLLM提出端到端多智能体框架，通过四个智能体协作及共享内存机制确保一致性，借助特定推理和调试方法解决问题，相比现有框架表现更优，能高效重现基准且减少令牌消耗。

Comments SIGCOMM'26(19 pages, 6 figures, 6 tables)

Threshold Differential Attention for Sink-Free, Ultra-Sparse, and Non-Dispersive Language Modeling

阈值差分注意力：用于无汇、超稀疏和非分散语言建模

Xingyue Huang, Xueying Ding, Mingxuan Ju, Yozen Liu, Neil Shah, Tong Zhao

机构 * University of Oxford（牛津大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Snap Inc 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.LG

AI总结 本文提出阈值差分注意力机制，解决长上下文下的注意力汇问题，实现超稀疏和鲁棒性提升，无需投影方法或标准注意力的噪声积累。

Journal ref ACL 2026

Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

记住重要时刻：用于长期任务智能体的主动记忆智能体

Yifan Wu, Lizhu Zhang, Yuhang Zhou, Mingyi Wang, Bo Peng, Serena Li, Xiangjun Fan, Zhuokai Zhao

机构 * Meta AI 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究长期任务中智能体决策时行为状态衰减问题，提出用主动记忆智能体并行干预，更新记忆库并决定是否提醒。该方法在多个基准测试中提升了智能体性能，消融实验证明其优势，还训练模型实现部分迁移。

From Application-Layer Simulation to Native Meta-Architecture: Structural Tension as an Endogenous Driver for Heterogeneous AI Evolution

从应用层模拟到原生元架构：结构张力作为异构人工智能进化的内生驱动因素

Heting Mao

机构 * Shanghai Lixin University of Accounting and Finance（上海立信会计金融大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型无状态需应用层模拟的问题，提出理论框架，引入结构张力、离线循环回路、推理时可塑性三种机制，使模型实例能演化出不同拓扑结构，构成异构智能生态，重新定位治理为架构智能主要标准。

Comments 17 pages, 1 equation, no figures

Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents

令牌流防火墙：持久人工智能代理的语义运行时审计

Puji Wang, Yingchen Zhang, Ruqing Zhang, Jiafeng Guo, Xueqi Cheng

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学北京校区） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对持久人工智能代理不安全内容传播问题，提出TokenWall运行时防御框架，通过对令牌流进行语义审计及相关操作，实现安全-效用权衡，实验显示其有效降低攻击成功率，保持高良性通过率且增加延迟少。

What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents

保留什么，遗忘什么：大语言模型和智能体中内存压缩的率失真视角

Ashwin Gerard Colaco, Nada Lahjouji

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型和智能体内存压缩问题，提出基于率失真视角统一分类各层方法，构建七轴分类法并转移机制，还针对相关问题未被测量及缺乏统一基准的情况，转化为提案、实验、原则并梳理开放问题。

Conversational Retrieval and On-the-Fly Knowledge Modeling of Historical Penitentiary Repression Records

历史监狱镇压记录的对话检索与实时知识建模

Paula Font Solà, Adrià Molina Rodríguez, Josep Lladós

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 针对历史数字图书馆管理，提出支持实时知识建模的文档分析系统，通过图结构存储事实，经专业交互实现跨源检索，可处理复杂查询，生成更丰富全面信息。

Comments Accepted at ICDAR2026

Vision-Language Memory for Spatial Reasoning

用于空间推理的视觉语言记忆

Zuntao Liu, Yi Du, Taimeng Fu, Shaoshu Su, Cherie Ho, Chen Wang

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 研究针对当前视觉语言模型在视频空间推理中未达人类水平的问题，提出VLM²，通过双记忆模块，即工作记忆和情景记忆，实现固定成本下的高效空间推理，在多基准测试中取得最优性能，推动视觉空间智能发展。

Comments Accepted to European Conference on Computer Vision (ECCV), 2026