语言大模型 / LLM

Emerging Human-like Strategies for Semantic Memory Foraging in Large Language Models

新兴的人类样策略在大语言模型中的语义记忆采集

Eric Lacosse, Mariana Duarte, Peter M. Todd, Daniel C. McNamee

机构 * Champalimaud Research（恰帕拉德研究） ； Centre for Restorative Neurotechnology（修复性神经技术中心） ； Indiana University（印第安纳大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.AI

AI总结 本研究通过分析大语言模型中的语义流畅任务，探索其语义记忆采集策略，揭示人类与AI在认知机制上的异同。

DRAGON: LLM-Driven Decomposition and Reconstruction Agents for Large-Scale Combinatorial Optimization

DRAGON：基于大语言模型的分解与重建代理用于大规模组合优化

Shengkai Chen, Zhiguang Cao, Jianan Zhou, Yaoxin Wu, Senthilnath Jayavelu, Zhuoyi Lin, Xiaoli Li, Shili Xiang

机构 * Institute for Infocomm Research A STAR Singapore ； Singapore Management University Singapore ； Nanyang Technological University Singapore ； Eindhoven University of Technology Eindhoven Netherlands ； National University of Singapore \& Institute for Infocomm Research A STAR Singapore ； Singapore University of Technology ； Institute for Infocomm Research ； Singapore Management University ； Nanyang Technological University ； Eindhoven University of Technology ； National University of Singapore \& Institute for Infocomm Research 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 DRAGON是一种结合元启发式设计和LLM推理的新型框架，通过分解与重建代理实现大规模组合优化问题的高效求解。

Comments This paper has been accepted for presentation and publication at the 25th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2026), source code: https://github.com/skychan/DARGON

AssemMate: Graph-Based LLM for Robotic Assembly Assistance

AssemMate：基于图的LLM用于机器人装配辅助

Qi Zheng, Chaoran Zhang, Zijian Liang, EnTe Lin, Shubo Cui, Qinghongbing Xie, Zhaobo Xu, Long Zeng

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 AssemMate是一种基于图的LLM，通过知识图谱问答和视觉增强策略提升机器人装配任务的精度和效率。

Look Back to Reason Forward: Revisitable Memory for Long-Context LLM Agents

回望以推导前行：用于长上下文LLM代理的可回溯记忆

Yaorui Shi, Yuxin Chen, Siyuan Wang, Sihang Li, Hengxing Cai, Qi Gu, Xiang Wang, An Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） ； DP Technology（DP科技） ； Meituan（美团） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ReMemR1通过整合记忆检索机制和多级奖励设计，提升长上下文问答任务的推理能力与效率。

When Does Divide and Conquer Work for Long Context LLM? A Noise Decomposition Framework

当分治策略在长上下文LLM中何时有效？一种噪声分解框架

Zhen Xu, Shang Zhu, Jue Wang, Junlin Wang, Ben Athiwaratkun, Chi Wang, James Zou, Ce Zhang

机构 * University of Chicago（芝加哥大学） ； Together AI ； Duke University（杜克大学） ； Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种噪声分解框架，分析了长上下文LLM中分治策略的有效条件，揭示了任务噪声、模型噪声和聚合噪声的区分，并通过实验验证了多代理分块策略在处理长上下文任务中的有效性。

Comments ICLR 2026

OrbitFlow: SLO-Aware Long-Context LLM Serving with Fine-Grained KV Cache Reconfiguration

OrbitFlow: 带有SLO意识的长上下文LLM服务与细粒度KV缓存重新配置

Xinyue Ma, Heelim Hong, Taegeon Um, Jongseop Lee, Seoyeong Choy, Woo-Yeon Lee, Myeongjae Jeon

机构 * Samsung Research（三星研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 OrbitFlow通过细粒度KV缓存管理，提高了长上下文LLM服务的SLO达成率和吞吐量，减少了延迟。

Comments Accepted at the 52nd International Conference on Very Large Data Bases (VLDB 2026). Xinyue Ma and Heelim Hong contributed equally (co-first authors)

REMem: Reasoning with Episodic Memory in Language Agent

REMem: 在语言代理中进行基于事件记忆的推理

Yiheng Shu, Saisri Padmaja Jonnalagedda, Xiang Gao, Bernal Jiménez Gutiérrez, Weijian Qi, Kamalika Das, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Intuit AI Research（Intuit AI研究） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI

AI总结 REMem通过两阶段框架提升语言代理的事件记忆构建与推理能力，显著优于现有系统。

Comments Accepted by The Fourteenth International Conference on Learning Representations (ICLR 2026) as poster

Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts

突破内存瓶颈：支持百万级上下文的高效训练系统

Wenhao Li, Daohai Yu, Gen Luo, Yuxin Zhang, Fei Chao, Rongrong Ji, Yifan Wu, Jiaxin Liu, Ziyang Gong, Zimu Liao

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing Ministry of Education of China（教育部多媒体可信感知与高效计算重点实验室） ； Xiamen University（厦门大学） ； Peking University（北京大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 OOMB通过高效内存管理实现百万级上下文LLM训练，显著降低内存开销，提升训练效率。

Identifying and Evaluating Inactive Heads in Pretrained LLMs

识别和评估预训练语言模型中的惰性头部

Pedro Sandoval-Segura, Xijun Wang, Ashwinee Panda, Micah Goldblum, Ronen Basri, Tom Goldstein, David Jacobs

机构 * University of Maryland（马里兰大学） ； Columbia University（哥伦比亚大学） ； Weizmann Institute of Science（魏茨曼科学研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究识别预训练语言模型中非活动注意力头部，通过评分函数评估其非活动性，并发现模型规模和微调对注意力行为有影响。

Comments Accepted to ICLR 2026. Code available at https://github.com/psandovalsegura/inactive-heads

Agentic Unlearning: When LLM Agent Meets Machine Unlearning

代理反学习：当大语言模型代理遇见机器反学习

Bin Wang, Fan Wang, Pingping Wang, Jinyu Cong, Yang Yu, Yilong Yin, Zhongyi Han, Benzheng Wei

机构 * Center for Medical Artificial Intelligence, Shandong University of Traditional Chinese Medicine（山东中医药大学中医人工智能中心） ； School of Software, Shandong University（山东大学软件学院） ； School of Medical Information Engineering, Shandong University of Traditional Chinese Medicine（山东中医药大学医学信息工程学院） ； Shandong Huazhi Talent Technology Co., Ltd.（山东华智人才科技有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI、cs.LG

AI总结 本文提出SBU框架，通过同步双更新协议实现参数与记忆路径的联合反学习，有效减少敏感信息痕迹并保持数据保留质量。

Comments 9 pages, 6 figures, 6 tables

MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling

MiniCPM-SALA: 融合稀疏与线性注意力以实现高效长上下文建模

MiniCPM Team, Wenhao An, Yingfa Chen, Yewei Fang, Jiayi Li, Xin Li, Yaohui Li, Yishan Li, Yuxuan Li, Biyuan Lin, Chuan Liu, Hezi Liu, Siyuan Liu, Hongya Lyu, Yinxu Pan, Shixin Ren, Xingyu Shen, Zhou Su, Haojun Sun, Yangang Sun, Zhen Leng Thai, Xin Tian, Rui Wang, Xiaorong Wang, Yudong Wang, Bo Wu, Xiaoyue Xu, Dong Xu, Shuaikang Xue, Jiawei Yang, Bowen Zhang, Jinqian Zhang, Letian Zhang, Shengnan Zhang, Xinyu Zhang, Xinyuan Zhang, Zhu Zhang, Hengyu Zhao, Jiacheng Zhao, Zhi Zheng, Jie Zhou, Zihan Zhou, Shuo Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu, Maosong Sun

机构 * MiniCPM Team（MiniCPM 团队） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MiniCPM-SALA通过融合稀疏与线性注意力机制，实现高效长上下文建模，显著降低训练成本并提升推理效率。

Comments MiniCPM-SALA Technical Report

Multi-Head Low-Rank Attention

多头低秩注意力

Songtao Liu, Hongwu Peng, Zhiwei Zhang, Zhengyu Chen, Yue Guo

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Connecticut（康涅狄格大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出多头低秩注意力机制，通过高效4路张量并行解码，显著提升大型语言模型的解码速度和性能。

Comments Accepted by ICLR 2026

LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards

长上下文强化学习需要可验证的上下文奖励

Guanzheng Chen, Michael Qizhe Shieh, Lidong Bing

机构 * National University of Singapore（国立新加坡大学） ； MiroMind AI ； absolute AI 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 LongRLVR通过引入可验证的上下文奖励，解决长上下文强化学习中因稀疏奖励导致的梯度消失问题，显著提升大语言模型的推理能力。

Comments ICLR 2026

GAM-RAG: Gain-Adaptive Memory for Evolving Retrieval in Retrieval-Augmented Generation

GAM-RAG：基于增益的记忆用于演化检索的检索增强生成

Yifan Wang, Mingxuan Jiang, Zhihao Sun, Yixin Cao, Yicun Liu, Keyang Chen, Guangnan Ye, Hongfeng Chai

机构 * Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 GAM-RAG通过动态更新检索记忆提升检索增强生成的性能，减少计算成本，提高推理效率。

Document Reconstruction Unlocks Scalable Long-Context RLVR

文档重建解锁可扩展的长上下文强化学习验证奖励

Yao Xiao, Lei Wang, Yue Deng, Guanzheng Chen, Ziqi Jin, Jung-jae Kim, Xiaoli Li, Roy Ka-wei Lee, Lidong Bing

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过文档重建提升大型语言模型长上下文能力的方法，无需人工标注或教师模型监督，有效提升模型在RULER和LongBench~v2上的表现。

FASA: Frequency-aware Sparse Attention

FASA: 基于频率的稀疏注意力

Yifei Wang, Yueqi Wang, Zhenrui Yue, Huimin Zeng, Yong Wang, Ismini Lourentzou, Zhengzhong Tu, Xiangxiang Chu, Julian McAuley

机构 * AMAP, Alibaba Group（阿里巴巴集团AMAP） ； UCSD（加州大学圣迭戈分校） ； UIUC（伊利诺伊大学香槟分校） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 FASA通过动态预测令牌重要性，实现基于频率块的稀疏注意力机制，在长上下文任务中表现出色，达到接近全缓存性能且显著提升效率。

Comments Accepted by ICLR 2026

Training-Free Spatio-temporal Decoupled Reasoning Video Segmentation with Adaptive Object Memory

无需训练的时空解耦推理视频分割与自适应对象记忆

Zhengtong Zhu, Jiaqing Fan, Zhixuan Liu, Fanzhang Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文提出无需训练的时空解耦推理视频分割方法SDAM，通过自适应对象记忆模块和时空解耦技术实现稳定的时间传播，优于现有微调方法。

Comments Accept by AAAI2026

M$^2$: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval

M$^2$: 通过轨迹摘要和洞察检索实现长 horizon 网络代理的双记忆增强

Dawei Yan, Haokui Zhang, Guangda Huzhang, Yang Li, Yibo Wang, Qing-Guo Chen, Zhao Xu, Weihua Luo, Ying Li, Wei Dong, Chunhua Shen

机构 * Northwestern Polytechnical University, Xi'an, China（西北工业大学） ； AI Business, Alibaba Group, Hangzhou, China（阿里云人工智能业务） ； Xi'an University of Architecture（西安建筑科技大学） ； Zhejiang University, Hangzhou, China（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 M$^2$通过双记忆机制提升长 horizon 网络代理的上下文效率和决策鲁棒性，实现更高成功率和更低计算成本。

AMemGym: Interactive Memory Benchmarking for Assistants in Long-Horizon Conversations

AMemGym：用于长时对话中助手的交互式记忆基准测试

Cheng Jiayang, Dongyu Ru, Lin Qiu, Yiyang Li, Xuezhi Cao, Yangqiu Song, Xunliang Cai

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Meituan（美团） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 AMemGym通过交互式环境实现长时对话中助手的内存管理优化，揭示现有内存系统性能差距并推动策略自我进化。

Comments Accepted to ICLR 2026

Long-Context Generalization with Sparse Attention

长上下文泛化与稀疏注意力

Pavlo Vasylenko, Hugo Pitorro, André F. T. Martins, Marcos Treviso

机构 * Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术高级学院） ； Instituto de Telecomunicações（电信研究所） ； TransPerfect（TransPerfect公司） ； ELLIS Unit Lisbon（里斯本ELLIS单位） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ASEntmax，通过动态稀疏注意力机制提升长上下文泛化能力，在合成任务和语言建模中表现优于传统softmax和α-entmax方法。

Comments ICLR 2026

Intrinsic Entropy of Context Length Scaling in LLMs

大语言模型中上下文长度扩展的内在熵

Jingzhe Shi, Qinwei Ma, Hongyi Liu, Hang Zhao, Jeng-Neng Hwang, Lei Li

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； CPHOS ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出'内在熵'理论，通过实验验证长上下文对语言模型的影响，揭示训练数据集大小与最佳上下文长度的关系。

Comments 36 pages, 18 figures, 2 tables

Cache What Lasts: Token Retention for Memory-Bounded KV Cache in LLMs

缓存什么更持久：用于LLMs中内存受限KV缓存的令牌保留

Ngoc Bui, Shubham Sharma, Simran Lamba, Saumitra Mishra, Rex Ying

机构 * Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； JPMorganChase AI Research（摩根大通人工智能研究） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 TRIM-KV通过学习令牌的内在重要性实现内存受限的KV缓存优化，有效提升LLM在低内存环境下的推理性能。

SideQuest: Model-Driven KV Cache Management for Long-Horizon Agentic Reasoning

SideQuest: 为长时间范围代理推理的模型驱动KV缓存管理

Sanjay Kariyappa, G. Edward Suh

机构 * NVIDIA 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 SideQuest通过利用大型推理模型自身进行KV缓存压缩，有效减少代理任务中的内存使用，同时保持较高的准确性。

QKV Projections Require a Fraction of Their Memory

QKV投影需要部分内存

Malik Khalaf, Yara Shamshoum, Nitzan Hodos, Yuval Sieradzki, Assaf Schuster

机构 * Department of Computer Science Technion, Israel Institute of Technology（计算机科学系技术离子理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.LG

AI总结 本文提出PAMM技术，通过压缩QKV投影的激活值，显著降低内存消耗，同时保持模型性能，适用于高效的大语言模型训练。

Comments Accepted to ICLR 2026

tttLRM: Test-Time Training for Long Context and Autoregressive 3D Reconstruction

tttLRM：面向长上下文和自回归3D重建的测试时间训练

Chen Wang, Hao Tan, Wang Yifan, Zhiqin Chen, Yuheng Liu, Kalyan Sunkavalli, Sai Bi, Lingjie Liu, Yiwei Hu

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Adobe Research（Adobe 研究） ； UCI（加州大学欧文分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)

AI总结 tttLRM通过测试时间训练实现长上下文自回归3D重建，提升重建质量和收敛速度。

Comments Accepted by CVPR 2026. Project Page: https://cwchenwang.github.io/tttLRM

SSMG-Nav: Enhancing Lifelong Object Navigation with Semantic Skeleton Memory Graph

SSMG-Nav: 通过语义骨架记忆图增强终身物体导航

Haochen Niu, Lantao Zhang, Xingwu Ji, Rendong Ying, Peilin Liu, Fei Wen

机构 * Brain-Inspired Application Technology Center (BATC), Shanghai Jiao Tong University（脑启发应用技术中心（BATC），上海交通大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 SSMG-Nav通过语义骨架记忆图提升终身物体导航，整合多模态信息与持久记忆，优化路径效率与任务成功率。

Comments Accepted by 2026 ICRA

MPCR: Multi-Precision Computations Package in R

MPCR：R中的多精度计算包

Mary Lai O. Salvana, Sameh Abdulah, Minwoo Kim, David Helmy, Ying Sun, Marc G. Genton

专题命中 长上下文与记忆 ：prompting(abstract)

AI总结 MPCR是R语言中用于支持16位、32位和64位精度计算的新包，旨在提升统计计算中的性能与精度平衡。

Event-Anchored Frame Selection for Effective Long-Video Understanding

基于事件的帧选择用于有效长视频理解

Wang Chen, Yongdong Luo, Yuhui Zeng, Luojun Lin, Tianyu Xie, Fei Chao, Rongrong Ji, Xiawu Zheng

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学） ； College of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 本文提出基于事件的帧选择方法，通过分层事件感知流程提升长视频理解的效率和效果。