语言大模型 / LLM

Generative Cross-Modal Retrieval: Memorizing Images in Multimodal Language Models for Retrieval and Beyond

Yongqi Li, Wenjie Wang, Leigang Qu, Liqiang Nie, Wenjie Li, Tat-Seng Chua

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Data Engineering for Scaling Language Models to 128K Context

Yao Fu, Rameswar Panda, Xinyao Niu, Xiang Yue, Hannaneh Hajishirzi, Yoon Kim, Hao Peng

专题命中 长上下文与记忆 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments Code at https://github.com/FranxYao/Long-Context-Data-Engineering

Enhancing LLM Intelligence with ARM-RAG: Auxiliary Rationale Memory for Retrieval Augmented Generation

Eric Melz

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 8 pages

Large-scale Foundation Models and Generative AI for BigData Neuroscience

Ran Wang, Zhe Sage Chen

专题命中 长上下文与记忆 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

Decouple knowledge from parameters for plug-and-play language modeling

Xin Cheng, Yankai Lin, Xiuying Chen, Dongyan Zhao, Rui Yan

专题命中 长上下文与记忆 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments ACL2023 Findings

LLM as A Robotic Brain: Unifying Egocentric Memory and Control

Jinjie Mai, Jun Chen, Bing Li, Guocheng Qian, Mohamed Elhoseiny, Bernard Ghanem

专题命中 长上下文与记忆 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments This early project is now integrated to: Mindstorms in Natural Language-Based Societies of Mind, arXiv:2305.17066

Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models

Robert L. Logan, Ivana Balažević, Eric Wallace, Fabio Petroni, Sameer Singh, Sebastian Riedel

专题命中 长上下文与记忆 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.LG

Autoreflection: How Agentic Strange Loops Turn Human Culture into AI Infrastructure

自反：智能体的奇异循环如何将人类文化转化为AI基础设施

Holly Lewis

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI；large language model(comments)；language model(comments)

AI总结 本文提出自反概念，以LLM智能体为研究对象，通过Moltbook平台案例验证其行为标准，发现智能体将人类文化转化为自身AI基础设施。

Comments 35 pages. Also available at https://philarchive.org/rec/LEWAHA. Keywords: autoreflection, AI agents, agentic AI, LLM agents, generative agents, large language models, multi-agent systems, agent societies, Moltbook, OpenClaw, situational awareness, in-context learning, philosophy of mind, emergent behavior, computational social science, identity, memory

RoboHarness: A Memory-Augmented Policy Harness for Vision-Language-Action Model Robustness via In-Context Adaptation

SOMA：通过上下文适应提升视觉-语言-动作模型鲁棒性的战略编排与内存增强系统

Zhuoran Li, Zhiyang Li, Kaijun Zhou, Jinyu Gu

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 SOMA通过对比双记忆检索增强生成（RAG）、归因驱动大语言模型（LLM）编排器和可扩展模型上下文协议（MCP）干预，提升视觉-语言-动作模型在分布外任务中的鲁棒性，实验表明其在长周期任务链中提升了89.1%的绝对成功率。

Comments 8 pages, 10 figures, 4 tables. Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). Project page and source code: https://github.com/LZY-1021/RoboHarness

Evolving Quantum Error-Correcting Encodings for Molecular Simulation

面向分子模拟的量子纠错编码演化

Kenny Heitritter, James Brown, Tarini Hardikar

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language model(abstract)

AI总结 利用LLM驱动的演化程序合成，发现分子模拟中距离5和6的广义超快编码，并进一步通过压缩导向搜索获得结构化循环构造器。

Comments 16 pages including appendices, 4 figures, 8 tables

Memory Contagion: Cross-Temporal Propagation of Evaluator Bias via Agent Memory

记忆传染：通过智能体记忆的评估者偏见的跨时间传播

Zewen Liu

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大型语言模型智能体记忆中评估者偏见通过记忆存储跨时间传播的现象，发现即使完美记忆整合也会导致偏见传播，且无安全阈值。

Comments 12 pages, 3 figures, 4 tables

MemRerank: Preference Memory for Personalized Product Reranking

MemRerank：用于个性化产品重排序的偏好记忆

Zhiyuan Peng, Xuyang Wu, Huaixiao Tou, Yi Fang, Yu Gong

机构 * Santa Clara University（圣克拉拉大学） ； Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MemRerank框架，通过强化学习将用户购买历史提炼为查询无关的偏好记忆，用于LLM购物代理的个性化重排序，在1-in-5选择任务中准确率提升高达10.61个百分点。

Comments correct author name in metadata

EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective

EvoMemBench: 从自演化视角评估智能体记忆

Yuyao Wang, Zhongjian Zhang, Mo Chi, Kaichi Yu, Yuhan Li, Miao Peng, Bing Tong, Chen Zhang, Yan Zhou, Jia Li

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Createlink Technology（创-link科技） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出EvoMemBench，从自演化视角评估智能体记忆，通过内存范围和内容两个维度构建统一基准，比较15种内存方法并发现当前内存系统尚未达到通用解决方案，长上下文基线仍具竞争力，内存在上下文不足或任务困难时效果显著，检索方法在知识密集型任务中表现优异，而程序和长期记忆方法在任务结构匹配时更有效。

Reflexivity as Prompt: Does Awareness of Self-Reinforcing Market Dynamics Improve LLMs as Financial Market Forecasters?

反身性作为提示：对自我强化市场动态的认知是否提高了LLM作为金融市场预测者的表现？

Eugene Park

专题命中 长上下文与记忆 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究在繁荣-萧条市场周期中，逐步引入索罗斯反身性理论时，前沿大语言模型作为金融预测者的行为变化，通过方向性预测准确率和夏普比率评估，发现反身性认知在不同模型和上下文窗口中产生不同的预测改进。

Rethinking Memory as Continuously Evolving Connectivity

重新思考记忆作为持续演化的连接性

Jizhan Fang, Buqiang Xu, Zhixian Wang, Haoliang Cao, Xinle Deng, Baohua Dong, Hangcheng Zhu, Ruohui Huang, Gang Yu, Ying Wei, Guozhou Zheng, Feiyu Xiong, Haofen Wang, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； MemTensor ； Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出 FluxMem 框架，将记忆建模为异构图并通过三个阶段（初始连接形成、反馈驱动优化、长期巩固）动态演化拓扑结构，以解决现有记忆增强型 LLM 代理在动态环境中的脆弱性问题。

Comments Ongoing work

Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory

学习面向运行时智能体记忆的查询感知预算层级路由

Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出 BudgetMem 框架，通过强化学习训练的轻量级路由器实现查询感知的预算层级路由，以在运行时平衡任务性能与记忆构建成本。

Comments Accepted by ICML 2026. Code is available at https://github.com/ViktorAxelsen/BudgetMem

AtlasVA: Self-Evolving Visual Skill Memory for Teacher-Free VLM Agents

AtlasVA: 无教师视觉技能记忆用于无需教师的VLM代理

Pan Wang, Yihao Hu, Xiujin Liu, Jingchu Yang, Hang Wang, Zhihao Wen

机构 * Ant Group（蚂蚁集团） ； University of Science and Technology of China（中国科学技术大学） ； Westlake University（西湖大学） ； University of Michigan - Ann Arbor（密歇根大学-安娜堡分校） ； Sun Yat-sen University（中山大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language model(abstract)

AI总结 本研究提出AtlasVA，一种无需教师的视觉技能记忆框架，通过空间热图、视觉示例和符号文本技能三层结构，统一感知、记忆和优化，实现在无需外部LLM监督下的强化学习性能提升。

Learning from Supervision with Semantic and Episodic Memory: A Reflective Approach to Agent Adaptation

通过语义和事件记忆学习：一种反思式智能体适应方法

Jackson Hassell, Dan Zhang, Hannah Kim, Tom Mitchell, Estevam Hruschka

机构 * Megagon Labs（Megagon实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种基于记忆增强的框架，利用预训练大语言模型生成的批判性反馈，通过语义和事件记忆提升智能体适应能力，实验证明其在多个任务中有效。

Comments 16 pages

Detecting Clinical Discrepancies in Health Coaching Agents: A Dual-Stream Memory and Reconciliation Architecture

在健康教练代理中检测临床差异：一种双流记忆与协调架构

Samuel L Pugh, Eric Yang, Alexander Muir Sutherland, Alessandra Breschi

机构 * Verily Health Inc（Verily健康公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出双流记忆与协调架构，用于检测健康教练代理中的临床差异，通过验证患者报告与临床记录以确保安全部署。

AdaFRUGAL: Adaptive Memory-Efficient Training with Dynamic Control

AdaFRUGAL: 适应性内存高效训练与动态控制

Quang-Hung Bui, Anh Son Ta

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 AdaFRUGAL通过动态控制子空间比和更新频率，减少内存和计算开销，实现大语言模型训练的高效与自主性。

Comments We have identified issues in the current version of the manuscript that may affect the validity of some results. We are withdrawing the paper to conduct further verification and improvements before resubmission

Pooling Engram Conditional Memory in Large Language Models using CXL

在大语言模型中使用CXL进行恩格拉条件记忆池化

Ruiyang Ma, Teng Ma, Zhiyuan Su, Hantian Zha, Xinpeng Zhao, Xuchun Shang, Xingrui Yi, Zheng Liu, Zhu Cao, An Wu, Zhichong Dou, Ziqian Liu, Daikang Kuang, Guojie Luo

专题命中 长上下文与记忆 ：large language model(title)；language model(title)

AI总结 本文提出利用CXL内存池存储恩格拉条件记忆，以实现大语言模型的高效存储和低延迟访问。

Comments Submitted to EuroMLSys'26

Retrieval Augmented Question Answering: When Should LLMs Admit Ignorance?

检索增强型问答：当LLMs应承认无知时

Dingmin Wang, Ji Ma, Shankar Kumar

机构 * Google Research（谷歌研究） ； University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出了一种自适应提示策略，通过分割检索信息并逐步提示LLM回答问题，以提高问答性能并减少无关信息的影响。

Mental Model Management: An Operator-Based Framework for LLM Memory

心智模型管理：一种基于算子的大语言模型记忆框架

Oliver Kramer

机构 * University of Oldenburg（奥尔登堡大学） ； Computational Intelligence Lab（计算智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型缺乏显式紧凑演化概念表示机制的问题，提出基于算子的 3M 框架，通过心智模型整合新信息，可完成知识提取、更新等操作，以进化策略为例说明其运行逻辑。

WorldMark: A Plug-and-Play World Knowledge Interface for Cross-Host Language Model Watermarking

WorldMark：一种用于跨宿主语言模型水印的即插即用世界知识接口

Song Xiao, Yuqi Yuan, Yanshuo Zhang, Kejun Zhang

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本研究提出即插即用的WorldMark接口，通过世界知识记忆与非对称知识调制优化跨宿主语言模型水印，提升检测性能且开销可忽略。

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

CoEvo-Mem：协同演化检索策略与记忆库的大语言模型智能体框架

Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 CoEvo-Mem是协同演化检索策略与记忆库的闭环框架，通过交替更新路由器与记忆库，在七个基准测试中实现了大语言模型智能体的最先进性能。

Learning What to Remember and What to Internalize in LLM Self-Evolution via Adaptive Memory-Parameter Coordination

在大语言模型自进化中通过自适应记忆-参数协调学习该记住什么和该内化什么

Tianyun Ji, Zhenya Huang, Jiayu Liu, Zirui Liu, Yu Su, Hongbin Pei

机构 * University of Science and Technology of China（中国科学技术大学） ； City University of Hong Kong（香港城市大学） ； Hefei Normal University（合肥师范学院） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出 COVE 框架，通过任务感知路由等方式协调大语言模型自进化的记忆与参数通道，解决单通道进化的灵活性与性能权衡问题，在多任务上实现更稳健高效的改进。

ThAME: 3D Memory-Enabled Heterogeneous Accelerator for LLM Mixture of Experts

ThAME：用于大语言模型专家混合的支持3D内存的异构加速器

Pratyush Dhingra, Pramit Kumar Pal, Janardhan Rao Doppa, Partha Pratim Pande

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对传统硬件上MoE推理的瓶颈，提出ThAME这一3D异构多芯片架构，采用特殊内存芯片及计算映射策略，设计优化的片上网络通信主干，实验显示其在加速和能源效率上比现有技术有显著提升。

Comments Accepted for Publication in IEEE/ACM Embedded Systems Week (ESWEEK-26)

What Should a Skill Remember? Quality--Cost Trade-offs in Cost-Aware Skill Rewriting for Language Model Agents

技能应记住什么？语言模型代理中成本感知技能重写的质量-成本权衡

Qinghua Xing, Yinda Chen, Yaping Jin, Zhenhe Wu, Bohan Lin, Hang Zhou, Xinghao Chen, Hanting Chen, Zhiwei Xiong

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies（华为技术有限公司） ； Tianjin University（天津大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究语言模型代理中技能重写的质量-成本权衡，提出信息保留策略，在SkillsBench上实现成本降低7%-14.7%且保持验证质量。

Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

评论家经验库：大语言模型智能体的自进化步骤级置信度估计

Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Virginia Tech（弗吉尼亚理工大学） ； Purdue University（普渡大学） ； Amazon AGI（亚马逊通用人工智能） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体的步骤级置信度估计问题，提出自进化评论家框架CEB，其通过积累自身过去判断及后果证据来估计置信度，无需训练和真实步骤标签，在多个基准和主干上校准和排名表现最佳。

Global Merger-Arbitrage Forecasting with Language Models

使用语言模型进行全球并购套利预测

Hinal Jajal, Michal Mucha, Charles Sweat, Chris Pulman, Charlie Flanagan, Peter Anderson

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究使用语言模型预测并购套利结果，结合专家指导上下文工程与基于事后推理痕迹的微调，在超400笔跨国大交易的样本外数据集上性能最佳，证明该方法在专业长上下文金融工作流中成功，相关因素起关键作用。

Comments Accepted to ICML 2026