语言大模型 / LLM

Addressable Recall Compaction for Long Context-Window Control in AI Agents

用于人工智能代理中长上下文窗口控制的可寻址召回压缩

Thang Dang, Yuma Ichikawa, Sakina Fatima, Koichi Shirahata

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长时程语言模型代理上下文窗口超界问题，提出ARC框架，将存档与活动上下文分离，以ID可寻址日志存储工具观察结果，压缩时替换旧观察结果。实验表明该方法能提高信息保留和服务效率。

Comments 20 pages, 2 figures

RSMeM: Knowledge-Enhanced Memory Evolution for Remote Sensing Agents with Systematic Evaluation

RSMeM：用于遥感智能体的知识增强记忆进化及系统评估

Bingxian Wu, Yu Zhang, Zonghao Guo, Tang Liu, Chen Qian, Yuxiang Lu, Xingbo Du, Yanghao Li, Yidan Zhang, Chi Chen, Ling Yao, Maosong Sun

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有遥感智能体问题，提出RSMeM机制，通过分层知识基础和失败感知经验提炼两个组件，迭代吸收领域知识转化为执行经验，经实验验证能提升工具使用性能和答案质量，具有强大知识密度。

Comments Accepted to ACL 2026 Main. Code: https://github.com/AI9Stars/RSMeM

Gemma 4 Technical Report

Gemma 4技术报告

Gemma Team, Sherif El Abd, Vaibhav Aggarwal, Robin Algayres, Alek Andreev, Olivier Bachem, Ian Ballantyne, Cormac Brick, Victor Cărbune, Michelle Casbon, Mayank Chaturvedi, Aditya Chawla, Victor Cotruta, Alice Coucke, Phil Culliton, Robert Dadashi, Lucas Dixon, Mohamed Elhawaty, Utku Evci, Clément Farabet, Johan Ferret, Filippo Galgani, Sertan Girgin, Jean-Bastien Grill, Maarten Grootendorst, Jiaxian Guo, Cassidy Hardin, Yanzhang He, Steven M. Hernandez, Omri Homburger, Léonard Hussenot, Juyeong Ji, Armand Joulin, Aishwarya Kamath, Parnian Kassraie, Olivier Lacombe, Preethi Lahoti, Gaël Liu, Gus Martins, Luciano Martins, Tatiana Matejovicova, Ramona Merhej, Nikola Momchev, Sneha Mondal, Ryan Mullins, Sindhu Raghuram Panyam, Shreya Pathak, Sarah Perrin, André Susano Pinto, Etienne Pot, Angéline Pouget, Alexandre Ramé, Sabela Ramos, Douglas Reid, David Rim, Morgane Rivière, Karsten Roth, Louis Rouillard, Omar Sanseviero, Pier Giuseppe Sessa, Shane Settle, Danila Sinopalnikov, Sara Smoot, Piotr Stanczyk, Andreas Steiner, Lawrence Stewart, Ilya Tolstikhin, Michael Tschannen, Anton Tsitsulin, Nino Vieillard, Renjie Wu, Pingmei Xu, Haichuan Yang, Edouard Yvinec, Biao Zhang, Li Zhang, Joe Zou, Nicolas Aagnes, Abdelrahman Abdelhamed, Jakub Adamek, Shivani Agrawal, Shubham Agrawal, Ibrahim Alabdulmohsin, Jean Baptiste Alayrac, Uri Alon, Chandramouli Amarnath, Ankesh Anand, Chrysovalantis Anastasiou, Setareh Ariafar, François-Xavier Aubet, Kyriakos Axiotis, Federico Barbero, Joelle Barral, Alexei Bendebury, Urs Bergmann, Stanley Bileschi, Kat Black, Mathieu Blondel, Sebastian Borgeaud, Arthur Bražinskas, Ryan Burnell, Robert Busa-Fekete, Mu Cai, Daniele Calandriello, Glenn Cameron, Charlotte Caucheteux, Rahma Chaabouni, Garima Chadha, Jetha Chan, Blake Jianhang Chen, Jesse Chen, Lin Chen, Xu Chen, Derek Cheng, Tzu-hsiang Chien, Nikolai Chinaev, Yi Chou, Zhaohui Chu, Benjamin Coleman, Pooja Consul, Sam Conway-Rahman, Scott Crowell, Dylan Cutler, Vivek Dani, Samira Daruki, Anil Das, Daniel Deutsch, Nishanth Dikkala, Li Ding, Qiuhan Ding, Shenil Dodhia, Konstantin Donhauser, Tulsee Doshi, Anca Dragan, Alex Druinsky, Sahil Dua, Zoltan Egyed, Danielle Eisenbud, Daniel Eppens, Cindy Fan, Bahare Fatemi, Yassir Fathullah, Vlad Feinberg, Milen Ferev, Sebastian Flennerhag, Takumi Fujimoto, João Gabriel Oliveira, Isaac Galatzer-Levy, João Gante, Simon Geisler, Soham Ghosal, Antonious M. Girgis, Tamara von Glehn, Alec Go, Alhaad Gokhale, Alex Grills, Yiming Gu, Mayank Gupta, Pramod Gupta, Guru Guruganesh, Raia Hadsell, Hamza Harkous, Jitendra Harlalka, Demis Hassabis, Anja Hauth, Joe Heyward, Arian Hosseini, Chih-Yang Hsia, I-Hung Hsu, Xiaopeng Huang, Yangsibo Huang, Kevin Hui, Adrian Hutter, Te I, Fotis Iliopoulos, Advait Jain, Ganesh Jawahar, Ziwei Ji, Qilin Jin, Melvin Johnson, Kandarp Joshi, Arun Kandoor, Wang-Cheng Kang, Koray Kavukcuoglu, Mehran Kazemi, Kathleen Kenealy, Amr Khalifa, Phoebe Kirk, Ivan Korotkov, Suraj Kothawade, Vitaly Kovalev, Neel Kovelamudi, Adam Kraft, Ravin Kumar, Vivek Kumar, Harish Kuppam, Justin Lannin, Chen-Yu Lee, Seungji Lee, Dmitry Lepikhin, Alon Levkovitch, Dongdong Li, Qiujia Li, Valentin Liévin, Ethan Lin, Ziqian Lin, Casper Liu, Tianlin Liu, Tianqi Liu, Xin Liu, Ivan Lobov, Mayank Lunayach, Min Ma, Gagan Madan, Andrii Maksai, Eric Malmi, Michal Matuszak, Daniel McDuff, Gaurav Menghani, Maciej Mikuła, Daniil Mirylenka, Karolis Misiunas, Vedant Misra, Andreea Mitran, Kareem Mohamed, Maksim Mukha, Eric Noland, James O'Donnell, Brendan O'Donoghue, Kate Olszewska, Bernett Orlando, Wanqiong Pan, Rina Panigrahy, Unnati Parekh, Nicolas Perez-Nieves, Chunjong Park, Eric Paskie, Liqian Peng, Bryce Petrini, Slav Petrov, Jonas Pfeiffer, Bilal Piot, Martyna Plomecka, Siim Poder, Octavio Ponce, Arijit Pramanik, David Racz, Anish Rajan, Michelle Ramanovich, Anand Rao, Marvin Ritter, Vitor Rodrigues, Evan Rosen, Mikołaj Rybiński, Noveen Sachdeva, Michaël E. Sander, Rohit Sathyanarayana, Sagar Savla, Samuel Schmidgall, Tal Schuster, George Scrivener, Benoit Seguin, Andrew Sellergren, Aliaksei Severyn, Izhak Shafran, Dhruv Shah, Bobak Shahriari, Yuan Shangguan, Ashish Shenoy, Pradeep Shenoy, Rakesh Shivanna, Pauline Sho, Lucas Spangher, Wojciech Stokowiec, Tim Strother, Yao Su, Yinghao Sun, Mukund Sundararajan, Andrea Tacchetti, Mor Hazan Taege, Pouya Tafti, Jean Tarbouriech, Chetan Tekur, Shantanu Thakoor, Rahul Thapa, Madeleine Traverse, Lenart Treven, Tao Tu, Chien Te Tung, Çağlar Ünlü, Petar Veličković, Malini Pooni Venkat, Sagar Gubbi Venkatesh, Vidya Venkiteswaran, Francesco Visin, Alex Vitvitskyi, Kiran Vodrahalli, Weiyi Wang, Xin Wang, Tris Warkentin, Jan Wassenberg, John Wieting, Cindy Wu, Lechao Xiao, Hao Xu, Yuhui Xu, Fuzhao Xue, Arun Yadav, Jun Yan, Antoine Yang, Lin Yang, Ming-Hsuan Yang, Ziyu Ying, Jae Hyeon Yoo, Morteza Zadimoghaddam, Sajjad Zafar, Fred Zhang, Jiageng Zhang, Jianyi Zhang, Xiaofan Zhang, Chao Zhao, David Zhou, Chen Zou

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 介绍新一代Gemma 4开源多模态语言模型，通过密集和专家混合架构提升计算效率与推理能力，提出统一无编码器架构，集成思考模式，改进多方面性能，在多基准测试中有显著提升。

Comments 17 pages, 2 figures, technical report, updated

CMI-Mem: Toward Generalizable Long-Term Memory Management via CMI-Augmented Reinforcement Learning

CMI-Mem：通过CMI增强的强化学习实现可泛化的长期内存管理

Yubo Wang, Qiuyu Zhao, Zenghui Sun, Shichao Dong, Jinsong Lan, Xiaoyong Zhu, Haoyang Li, Bo Zheng, Lei Chen

机构 * Alibaba Group（阿里巴巴集团） ； HKUST（香港科技大学） ； PolyU（香港理工大学） ； HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有内存管理器模型局限，提出基于强化学习的CMI-Mem模型，结合下游问答正确性与内在条件互信息CMI作为混合奖励，可评估新输入信息，补充而非取代问答基础，实现可泛化的长期内存管理。

ZifaMem: Structured Memory for Persona, Preference, and Emotional Continuity in AI Companions

ZifaMem：人工智能伴侣中用于人物形象、偏好和情感连续性的结构化记忆

Jingzhe Fang, Guozhi Xu, Yunfan Cui, Xiaochen Yang, Zhangyu Hua

机构 * ZifaCorp（紫发公司） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对人工智能伴侣情感连续性问题，提出结构化记忆系统ZifaMem，通过组织对话形成多种记忆模型。实验表明其能提升情商得分、改善人物形象基础等，多种记忆系统均有改善，且ZifaMem与Mem0在主要偏好端点统计等效，相关工具已开源。

Parallel Decoder Transformer: Planner-Conditioned Latent Coordination for Model-Intrinsic Parallel Generation

并行解码器Transformer：规划引导的潜在协调用于同步并行解码

Logan Robbins

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 并行解码器Transformer通过规划引导的潜在协调机制，实现模型内部的同步并行解码，提升多任务生成效率。

Comments Note: Updated to reflect revised architecture

Recursive Harness Self-Improvement

递归工具自我改进

Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Matei Zaharia, Yujin Tang

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究在模型-工具协同进化中，通过递归工具自我改进（RHI）优化用户构建工具，以提高执行轨迹质量和智能体性能。RHI将工具表示为提示级规范，经成对反馈迭代改进，在多任务中提升了低推理能力智能体性能，降低推理成本。

Comments This work addresses the first half of the model-harness coevolution loop

Learn to Memorize: Scalable Continual Learning in Semiparametric Models with Mixture-of-Neighbors Induction Memory

学习记忆：基于邻居混合归纳记忆的半参数模型中的可扩展持续学习

Guangyue Peng, Tao Ge, Wen Luo, Wei Li, Houfeng Wang

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； Microsoft（微软公司） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究半参数语言模型中记忆缺乏学习能力的问题，提出将非参数记忆重新概念化为可学习的邻居混合归纳记忆（MoNIM），融入模型信息流，经实验验证其能提升半参数语言模型的可扩展性和持续学习性能。

Comments 15 pages, 5 figures

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 28517-28531, Vienna, Austria. Association for Computational Linguistics, 2025

xHC: Expanded Hyper-Connections

xHC：扩展超连接

Xiangdong Zhang, Xiaohan Qin, Sunan Zou, Tuo Dai, Xiaoming Shi, Huaijin Wu, Yebin Yang, Zhuo Xia, Shaofeng Zhang, Lin Yao, Yuliang Liu, Yu Cheng, Junchi Yan

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Dots Studio, Xiaohongshu Inc.（小红书公司点点工作室） ； University of Science and Technology of China（中国科学技术大学） ； School of CS, Peking University（北京大学计算机科学学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对超连接（HC）扩展残差流时的性能瓶颈，提出xHC方法，结合时间特征增强与稀疏残差流架构，实现超越N = 4的有效扩展，在MoE模型上有下游改进，还介绍xHC - Flash减少内存流量，让大N残差流扩展用于语言模型预训练更有效实用。

Comments Technical report. Project page: https://github.com/aHapBean/xHC

MemoHarness: Agent Harnesses That Learn from Experience

MemoHarness：从经验中学习的智能体控制层

Yue Huang, Wenjie Wang, Han Bao, Yuchen Ma, Xiaonan Luo, Yi Nian, Haomin Zhuang, Zheyuan Liu, Yue Zhao, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对智能体控制层设计影响行为但改进方法窄且多重用单一全局控制层的问题，提出自适应框架MemoHarness，通过分解控制层、存储经验并检索应用，在多基准测试中优于固定控制层，证明执行经验可构建更具适应性的控制层。

MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations

MemOps：在长期对话中对生命周期内存操作进行基准测试

Xixuan Hao, Zeyu Zhang, Zehao Lin, Yihang Sun, Ziliang Guo, Xichong Zhang, Yuxuan Liang, Feiyu Xiong, Zhiyu Li

机构 * MemTensor (Shanghai) Technology Co., Ltd.（墨天轮（上海）科技有限公司） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Renmin University of China（中国人民大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长期对话中内存操作评估，引入MemOps基准测试，将对话内存视为操作生命周期，通过可控管道嵌入操作并评估，揭示了当前系统内存操作的问题，推动评估从答案评分转向操作级诊断。

Memory-Conditioned Tool Calling for Camera-First Visual Agents

用于相机优先视觉智能体的内存条件工具调用

Xiaofan Wu, Xi Zeng, Miaoxia Chen, Peishan Chen, Shuyan Li, Jiyun Yao, Hanyong Zhong, Jiahao Zhu

机构 * Chance AI（机遇人工智能公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究在相机优先视觉智能体中个人视觉记忆对工具选择等的影响，采用三层视觉记忆调节大语言模型工具调用循环，通过对800张图像与合成内存块实验发现，移除三层内存块会降低工具查询相关性和端到端效用。

Comments 13 pages, 3 figures, 4 tables. Equal contribution: Xiaofan Wu, Xi Zeng. Corresponding author: xiaofan@chance.vision

Surprise as a Signal for Plasticity and Metacognition

惊喜作为可塑性和元认知的信号

Louis Mouchon

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出预测误差信号可作为可塑性门控和元认知基础，在冻结编码器上实现持续学习与视觉语言模型自适应，实验证明其有效性。

Revocable Learned State via Process Sidecars

通过过程侧边栏实现可撤销的学习记忆

John Sweeney

机构 * Sideplane AI 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出过程侧边栏方法，通过两系数编辑族修正安全训练后的记忆方向，实现记忆撤销，理论证明其二阶精度优于任务算术编辑。

Comments 23 pages, 2 figures, 6 tables

MemDelta: Controlled Baselines and Hidden Confounds in Agent Memory Evaluation

MemDelta：智能体记忆评估中的受控基线和隐藏混杂因素

Kuan Wang

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出MemDelta控制评估协议，通过逐一改变组件发现RAG与全上下文基线排名因模型而异，嵌入模型切换可翻转结论，智能体自记忆不如基本检索，建议固定嵌入模型并分层报告。

Comments 13 pages, 2 figures

Scaling Textual Gradients via Sampling-Based Momentum

通过采样基于动量的方法扩展文本梯度

Zixin Ding, Junyuan Hong, Zhan Shi, Jiachen T. Wang, Zinan Lin, Li Yin, Meng Liu, Zhangyang Wang, Yuxin Chen

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TSGD-M方法，通过动量采样重新加权更新，解决文本梯度下降扩展训练数据时的稳定性问题，并在六个基准测试中取得一致提升。

Journal ref CAIS '26: Proceedings of the ACM Conference on AI and Agentic Systems, 2026

Structure Before Collapse: Transient semantic geometry in next-token prediction

坍塌前的结构：下一词预测中的瞬态语义几何

Yize Zhao, Isabel Papadimitriou, Christos Thrampoulidis

机构 * The University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究下一词预测语言模型在独热标签训练下如何学习语义结构，发现早期训练出现语义聚类但最终会过渡到对称态，通过Gram矩阵分析提出改进模型。

Memory Makes the Difference: Evaluating How Different Memory Roles Shape Conversational Agents

记忆决定差异：评估不同记忆角色如何塑造对话代理

Yuxin Wang, Paul Thomas, Zhiwei Yu, Yuan Gao, Saeed Hassanpour, Soroush Vosoughi, Robert Sim, Nick Craswell

机构 * Dartmouth College（达特茅斯学院） ； Microsoft（微软公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出对话记忆细粒度分类法，通过用户中心评估框架，揭示不同类型记忆（如澄清记忆、无关记忆）对RAG对话系统响应准确性、个性化及主题相关性的差异化影响。

Towards Version-aware Operations and Transaction Memories for Multi-layer MeMo

面向多层MeMo的版本感知操作与事务记忆

Peiran Li

机构 * Freie Universität Berlin（柏林自由大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出版本感知操作层，将替换、回滚等高级操作编译为MeMo原生原语调用，通过版本CMM和事务CMM支持知识更新，减少重训练需求。

Comments Accepted by MeMo Workshop on Mechanistic Interpretability & Neuro-symbolic Approaches by-design, Rome (Italy), 24/6/2026

Energy-Based Transformers as Predictors of Reading Difficulty

基于能量的Transformer作为阅读难度预测器

Jakub Dotlacil, Ece Takmaz

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出基于能量的Transformer模型中的能量度量作为阅读时间预测器，在三个语料库上显著优于惊奇度，并在关系从句处理中捕捉主/宾语不对称，可能统一多个互补度量。

SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers

SpotAttention: 面向预训练长上下文Transformer的即插即用块稀疏路由

Huzama Ahmad, Se-Young Yun

机构 * KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出SpotAttention，一种轻量级选择器，通过KL蒸馏学习估计注意力分布，实现块稀疏路由，在长上下文任务中匹配密集注意力精度并显著加速解码。

Comments 24 pages, 10 figures, 9 tables

Learning the ARTS of Search for Automated Discovery

学习搜索的艺术以实现自动发现

Gurusha Juneja, Arnav Kumar Jain, Deepak Nathani, William Yang Wang, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Université de Montréal and Mila- Quebec AI Institute（蒙特利尔大学和Mila-魁北克人工智能研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ARTS方法，利用推理语言模型在假设与实验空间中迭代搜索，通过测试时训练解决上下文长度问题，在22个任务上优于现有算法，相对提升超15.3%。

Collaborative Human-Agent Protocol (CHAP)

协作式人机协议 (CHAP)

Arsalan Shahid, Gordon Suttie, Philip Black

机构 * Brightbeam AI 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 提出CHAP协议，通过结构化事件记录（差异、理由、哈希）和可组合配置文件，解决多人类多智能体协作中人类判断信号丢失的问题。

Dual Dimensionality for Local and Global Attention

局部与全局注意力的双重维度

Zhiyuan Wang, Xuan Luo, Sirui Zeng, Xifeng Yan

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 提出距离自适应表示（DAR），对局部上下文保留全维度表示，对远距离token使用低维表示，在保持性能的同时减少KV缓存。

Long-Context Modeling via GSS-Transformer Hybrid Architecture with Learnable Mixing

基于可学习混合的GSS-Transformer混合架构的长上下文建模

Kuzey Torlak, Hüseyin Arda Arslan, Anıl Dervişoğlu, Beyza Nur Deniz, Onur Boyar

机构 * Kadıköy Anadolu High School（卡德柯伊安纳多卢高中） ； Politecnico di Torino（都灵理工大学） ； Istanbul Technical University（伊斯坦布尔理工大学） ； Boğaziçi University（博阿齐奇大学） ； IBM Research - Tokyo（IBM 东京研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出并行混合架构PHA，通过可学习混合机制融合GSS、GQA和FFN，在长上下文建模中实现Transformer级困惑度与更高效率。

Comments 16 pages, 9 tables, 4 figures

Blurry Window Attention

模糊窗口注意力

Axel Laborieux, Christos Sourmpis, Juan Gabriel Kostelec, Qinghai Guo

机构 * Huawei, Zurich, Switzerland（华为技术有限公司（苏黎世）） ； Huawei Advanced Computing and Storage Lab, Shenzhen, China（华为先进计算与存储实验室（深圳）） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出模糊窗口注意力（BLA），一种基于Dirichlet核插值重构模糊KV历史的有界记忆控制方法，在合成任务中状态效率比滑动窗口注意力高8倍，且随状态增大性能提升。

Tensorizing Engram: Sharing Latents Across N-Gram Embeddings is Beneficial in LLMs

张量化Engram：在N-gram嵌入中共享潜在变量对大型语言模型有益

Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Yuning Qiu, Qibin Zhao, Danilo Mandic

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出张量化Engram（TN-gram），通过CP分解共享因子压缩n-gram嵌入，减少参数并避免哈希冲突，在多个任务上匹配或超越现有方法。

Capacity-Controlled Global Attention for Graph Transformers

具有容量控制的全局注意力用于图变换器

Yang Liu, Dongxin Guo, Tom Zheng, Siu Ming Yiu, Liam Ning, Jikun Wu

机构 * Brain Investing Limited ； The University of Hong Kong（香港大学） ； Stellaris AI Limited 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SigGate-GT，通过在图变换器中引入可学习的sigmoid门来缓解全局注意力的保守约束，从而解决过平滑、低秩瓶颈和训练不稳定等问题，提升了多个基准测试的性能。

Comments 13 pages, 2 figures, 15 tables

EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering

EASE-TTT: 面向长上下文问答的基于证据对齐的选择性测试时训练

Xiaopeng Yuan, Zebin Wang, Suwen Wang, Zongxin Yang, Haohan Wang, Yushun Dong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Harvard University（哈佛大学） ； Brion, ASML US LP ； Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EASE-TTT框架，通过将检索到的证据块转化为软注意力监督目标，指导查询侧参数适应，从而在保留完整上下文的情况下提升小模型的长上下文问答性能。

Comments 13 pages, 4 figures, 3 tables

Overview of the EReL@MIR 2025 Multimodal Document Retrieval Challenge (Track 1)

EReL@MIR 2025 多模态文档检索挑战赛（赛道1）概述

Jingbiao Mei

机构 * University of Cambridge（剑桥大学） ； Cambridge United Kingdom（剑桥英国） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文介绍了EReL@MIR 2025多模态文档检索挑战赛（赛道1）的设计、数据集、评估协议、最终排名及前三名获胜系统的分析，所有系统均基于Qwen2-VL系列解码器多模态大语言模型嵌入器。

Comments MDR Challenge Report at WWW2025