语言大模型 / LLM

Parallel Causal Associative Fields: Gated Sparse Memory for Long-Context Language Modeling

并行因果关联域：用于长上下文语言建模的门控稀疏记忆

Muhammad Ahmed

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 提出并行因果关联域（PCAF），通过哈希桶存储局部记录、检索候选集形成稀疏缓存，并与参数化语言模型门控混合，实现稀疏长上下文访问，避免固定状态瓶颈。

Comments 17 pages, 5 figures, and 6 tables. Experiments on WikiText-103, PG-19, and WikiText-2 using TPU v4-32 and NVIDIA RTX 3060 hardware. Code: https://github.com/ahmed123hds/PCAF

Autoreflection: How Agentic Strange Loops Turn Human Culture into AI Infrastructure

自反：智能体的奇异循环如何将人类文化转化为AI基础设施

Holly Lewis

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI；large language model(comments)；language model(comments)

AI总结 本文提出自反概念，以LLM智能体为研究对象，通过Moltbook平台案例验证其行为标准，发现智能体将人类文化转化为自身AI基础设施。

Comments 35 pages. Also available at https://philarchive.org/rec/LEWAHA. Keywords: autoreflection, AI agents, agentic AI, LLM agents, generative agents, large language models, multi-agent systems, agent societies, Moltbook, OpenClaw, situational awareness, in-context learning, philosophy of mind, emergent behavior, computational social science, identity, memory

Memory Contagion: Cross-Temporal Propagation of Evaluator Bias via Agent Memory

记忆传染：通过智能体记忆的评估者偏见的跨时间传播

Zewen Liu

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大型语言模型智能体记忆中评估者偏见通过记忆存储跨时间传播的现象，发现即使完美记忆整合也会导致偏见传播，且无安全阈值。

Comments 12 pages, 3 figures, 4 tables

Mental Model Management: An Operator-Based Framework for LLM Memory

心智模型管理：一种基于算子的大语言模型记忆框架

Oliver Kramer

机构 * University of Oldenburg（奥尔登堡大学） ； Computational Intelligence Lab（计算智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型缺乏显式紧凑演化概念表示机制的问题，提出基于算子的 3M 框架，通过心智模型整合新信息，可完成知识提取、更新等操作，以进化策略为例说明其运行逻辑。

WorldMark: A Plug-and-Play World Knowledge Interface for Cross-Host Language Model Watermarking

WorldMark：一种用于跨宿主语言模型水印的即插即用世界知识接口

Song Xiao, Yuqi Yuan, Yanshuo Zhang, Kejun Zhang

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本研究提出即插即用的WorldMark接口，通过世界知识记忆与非对称知识调制优化跨宿主语言模型水印，提升检测性能且开销可忽略。

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

CoEvo-Mem：协同演化检索策略与记忆库的大语言模型智能体框架

Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 CoEvo-Mem是协同演化检索策略与记忆库的闭环框架，通过交替更新路由器与记忆库，在七个基准测试中实现了大语言模型智能体的最先进性能。

Learning What to Remember and What to Internalize in LLM Self-Evolution via Adaptive Memory-Parameter Coordination

在大语言模型自进化中通过自适应记忆-参数协调学习该记住什么和该内化什么

Tianyun Ji, Zhenya Huang, Jiayu Liu, Zirui Liu, Yu Su, Hongbin Pei

机构 * University of Science and Technology of China（中国科学技术大学） ； City University of Hong Kong（香港城市大学） ； Hefei Normal University（合肥师范学院） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出 COVE 框架，通过任务感知路由等方式协调大语言模型自进化的记忆与参数通道，解决单通道进化的灵活性与性能权衡问题，在多任务上实现更稳健高效的改进。

Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

评论家经验库：大语言模型智能体的自进化步骤级置信度估计

Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Virginia Tech（弗吉尼亚理工大学） ； Purdue University（普渡大学） ； Amazon AGI（亚马逊通用人工智能） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体的步骤级置信度估计问题，提出自进化评论家框架CEB，其通过积累自身过去判断及后果证据来估计置信度，无需训练和真实步骤标签，在多个基准和主干上校准和排名表现最佳。

Global Merger-Arbitrage Forecasting with Language Models

使用语言模型进行全球并购套利预测

Hinal Jajal, Michal Mucha, Charles Sweat, Chris Pulman, Charlie Flanagan, Peter Anderson

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究使用语言模型预测并购套利结果，结合专家指导上下文工程与基于事后推理痕迹的微调，在超400笔跨国大交易的样本外数据集上性能最佳，证明该方法在专业长上下文金融工作流中成功，相关因素起关键作用。

Comments Accepted to ICML 2026

ProfileFoundry: A Synthetic Person-Object Substrate for Privacy, Memory, and Tool-Use Evaluation in LLM Agent

ProfileFoundry: 用于LLM智能体隐私、记忆和工具使用评估的合成人物-对象基底

Sriram Selvam, Anneswa Ghosh

机构 * NVIDIA Corporation（英伟达公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出ProfileFoundry，一个确定性生成器，发布10万个合成成人人物对象，包含快照、家庭、雇主等字段及事件、关系边，用于下游基础模型评估中的记忆、隐私等任务。

Forget to Improve: On-Device LLM-Agent Continual Learning via Budget-Curated Memory

遗忘以改进：通过预算策划内存的设备端LLM智能体持续学习

Beining Wu, Zihao Ding, Jun Huang, Yanxiao Zhao

机构 * Apple（苹果） ； Google（谷歌） ； Microsoft（微软） ； Meta ； Alibaba（阿里巴巴） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出净价值每字节评分机制，在设备端智能体内存中权衡价值与危害，实现预算约束下的记忆保留、共享与信任决策，降低内存和上行带宽并防御注入攻击。

Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models

Prefilling-dLLM: 扩散语言模型中长上下文推理的预测性预填充

Jing Xiong, Qi Han, Shansan Gong, Yunta Hsieh, Chengyue Wu, Chaofan Tao, Chenyang Zhao, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； LMSYS Org（LMSYS组织） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 针对扩散语言模型在长上下文中因重复编码前缀导致计算量二次增长的问题，提出Prefilling-dLLM框架，通过分块缓存KV表示并基于稀疏性选择相关块，实现高效解码，在LongBench等基准上达到最先进加速效果。

Comments Technical Report

ERSkill: Evolving for Skill-Guided Adaptive Memory Retrieval

ERSkill：面向技能引导的自适应记忆检索的演化框架

Haolong Chen, Liang Zhang, Zhuo Li, Lei Xue, Guanrxu Zhu

机构 * Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ERSkill是一个以检索为核心的自演化技能引导记忆访问框架，通过协同演化技能集与路由器，在多个智能体记忆基准上大幅超越基线，在两款模型上分别实现31.3%、28.1%的指标提升。

RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation

RippleKV：基于扰动传播的跨层KV缓存分配

Dongjie Xu, Kai Qian, Julius, Weijie Shi, Yuxuan Sun, Minghua Tang, Fenglei Jin, Hanchi Dong, Jiajie Xu

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文LLM推理的KV缓存分配问题，提出RippleKV方法，通过层值缓存扰动敏感性分配预算，在LongBench上的匹配缓存预算下实现了最高平均性能。

LatticeMind: A Conflict-Aware Memory Primitive for Multi-Agent Systems

LatticeMind：面向多智能体系统的冲突感知记忆原语

Heng Zhou, Lian Zhang, Yutao Fan, Tiancheng He, Siki Chen, Hejia Geng, Philip Torr, Zhenfei Yin

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shanghai AI Laboratory（上海人工智能实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出冲突感知记忆原语LatticeMind，解决多智能体LLM系统的主张信任决策问题，在ConflictBank评估中准确率达0.97，显著优于基线， ablation验证了其核心组件的重要性。

PalmClaw: A Native On-Device Agent Framework for Mobile Phones

PalmClaw：一种用于手机的原生设备上代理框架

Hongru Cai, Yongqi Li, Ran Wei, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Hangzhou Diagens Biotechnology Co., Ltd.（杭州迪基因生物技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对移动设备上代理框架存在的问题，提出PalmClaw开源框架，能在手机上原生运行并管理相关要素，将设备能力以工具形式呈现，实验显示该框架提升了任务成功率、缩短完成时间且降低设置负担。

AutoMem: Automated Learning of Memory as a Cognitive Skill

AutoMem：自动化学习记忆作为认知技能

Shengguang Wu, Hao Zhu, Yuhui Zhang, Xiaohan Wang, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出AutoMem框架，通过双循环自动优化LLM的记忆管理结构和使用能力，在长时域任务中提升性能约2-4倍。

Comments Project Website: https://autolearnmem.github.io/

The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications

认知准确性的Token税：比较RAG与长上下文架构在文档基础生成式AI应用中的表现

Austin Hamilton, Ryan Singh, Michael Wise, Ibrahim Yousif, Arthur Carvalho, Zhe Shan, Mohammad Mayyas, Lora A. Cavuoto, Fadel M. Megahed

机构 * Miami University（迈阿密大学） ； University at Buffalo（布法罗大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；small language model(abstract)；prompting(abstract)

AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡，发现长上下文虽准确率更高（73.1% vs 65.4%），但Token成本增加26倍。

Comments 10 pages, 3 figures

Graph Grounded Cross Attention Transformer Neural Network for Structurally Constrained Full Event Sequence Generation in Predictive Process Monitoring

基于图锚定交叉注意力Transformer神经网络的预测过程监控中结构约束完整事件序列生成

Fang Wang, Ernesto Damiani

机构 * Department of Computer Science, University of Milan（米兰大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出图锚定交叉注意力Transformer（GGATN），通过全局过程图作为结构化记忆、Transformer自注意力编码序列位置、图锚定交叉注意力注入过程拓扑，结合维特比式图约束解码，一次性生成完整事件序列，在六个基准日志上优于LLM基线。

Comments 40 pages

Control-Plane Placement Shapes Forgetting: An Architectural Study of Agent Memory Across Thirteen System Configurations

控制平面放置塑造遗忘：跨十三种系统配置的智能体记忆架构研究

Dongxu Yang

机构 * DeepLethe 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究LLM在智能体记忆管道中的位置（控制平面 vs 召回平面）对遗忘失败模式的影响，通过13种配置在385例对抗测试集上的实验，揭示了三种放置机制的互补覆盖范围，并提出了ForgetEval评估套件。

Comments 25 pages including appendices. Code, benchmark, and adapters released under MIT at https://github.com/deeplethe/lethe

Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

注意力扩展：利用注意力增强的上下文嵌入提升长文档关键短语提取

Roberto Martínez-Cruz, Alvaro J. López-López, José Portela

机构 * Institute for Research in Technology, ICAI School of Engineering, Comillas Pontifical University（技术研究所，ICAI工程学院，科米利亚斯宗座大学） ； DD-AIM, Senior Machine Learning Researcher（DD-AIM，高级机器学习研究员） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出注意力扩展机制，通过预训练词嵌入增强PLM的上下文表示，在不增加计算成本的情况下扩展有效上下文范围，显著提升长文档关键短语提取性能。

MetaEvo: A Meta-Optimization Framework for Experience-Driven Agent Evolution

MetaEvo：一种基于经验驱动的智能体进化的元优化框架

Bowen Ren, Heyan Huang, Yinghao Li, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Beijing Institute of Technology Southeast Academy of Information Technology（北京理工大学东南信息技术研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MetaEvo两阶段框架，通过偏好优化增强模型从任务经验中抽象原则的能力，并在模块化架构中积累复用，持续提升推理性能。

ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition

ParaASR：面向快速长上下文基于大语言模型的语音识别的多令牌预测

Qingjian Lin, Yuxin Li, Haoyang Zhang, Jun Chen, Yechang Huang, Feng Tian, Xie Li, Xiangyu Tony Zhang, Daijiao Liu, Yuxin Zhang, Jinglan Gong, Bo Zhao, Fei Tian, Xuerui Yang, Gang Yu, Xiangyu Zhang, Daxin Jiang

机构 * StepFun（阶跃星辰） ； NTU（南洋理工大学） ； PKU（北京大学） ； UNSW（新南威尔士大学） ； SJTU（上海交通大学） ； USTC（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；language model(abstract)

AI总结 ParaASR是一款基于大语言模型的ASR系统，通过多令牌预测技术，在保持低错误率、低延迟的同时，支持32K长上下文及30分钟音频的快速转录，兼顾识别质量、速度与上下文长度。

Comments 14 pages, 3 figures, 4 tables

Food Image Segmentation with LLM-Derived Ingredient Labels and Multimodal Fusion

基于大语言模型衍生成分标签和多模态融合的食品图像分割

Jui-Feng Chi, Wei-Ta Chu, Sheng-Long Lin

机构 * National Cheng Kung University（国立成功大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 针对现有食品图像分割模型在相似成分和罕见类别上表现不佳的问题，提出两个多模态模块LIM-F和LIM-Q，利用大语言模型衍生标签提升分割性能，在FoodSeg103基准测试中取得领先，且内存消耗增加适度，为细粒度食品理解提供实用方案。

KaPilot: LLM-Assisted Generation of Kani Specifications for Unsafe Rust Verification

KaPilot：用于不安全Rust验证的大语言模型辅助Kani规范生成

Minghua Wang, Yuxi Ling, Mingzhi Gao, Yuwei Liu, Lin Huang

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究针对不安全Rust内存安全验证规范编写难题，提出KaPilot多智能体框架，经轻量级分析、智能体协作及循环优化、策略筛选确定最佳规范，评估显示其在规范生成成功率和质量上优于AutoSpec。

Auditing Forgetting in Limited Memory Language Models

审计有限记忆语言模型中的遗忘

Arya Raeesi, Hanna Roed

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出因果审计框架，通过改变推理时数据库状态分解删除后行为，发现参数泄漏接近零，残留主要来自近邻检索，遗忘边界主要由数据库管理员决定。

Comments 17 pages, 7 figures, 6 tables

Tapered Language Models

锥形语言模型

Reza Bayat, Ali Behrouz, Aaron Courville

机构 * Mila ； Cornell University（康奈尔大学） ； Université de Montréal（蒙特利尔大学） ； CIFAR AI Chair（CIFAR人工智能教席） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有语言模型各层参数均匀分配的问题，提出锥形语言模型（TLM），在固定预算下单调递减层容量，实验表明MLP宽度按余弦调度锥形化可提升困惑度和下游性能。

PROSE: Training-Free Egocentric Scene Registration with Vision-Language Models

PROSE: 基于视觉语言模型的无训练自我中心场景配准

Zhiang Chen, Nahyuk Lee, Boyang Sun, Taein Kwon, Marc Pollefeys, Zuria Bauer, Sunghwan Hong

机构 * ETH Zurich（苏黎世联邦理工学院） ； VGG, University of Oxford（牛津大学VGG实验室） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；foundation model(abstract)

AI总结 提出PROSE方法，利用预训练视觉语言模型将RGB序列提升为对象级3D场景图，通过对象高度先验和相同/不同查询匹配实例，无需训练或深度传感器即可实现自我中心场景配准，在Aria基准上超越几何和场景图基线。

Comments Project page: https://rckola.github.io/prose/

Selection Integrity for LLM Graph Memory: An Accumulability Criterion for Information-Flow-Blind Retrieval

LLM图记忆的选择完整性：面向信息流盲检索的可累积性准则

Zeming Fei, Hongming Fei, Xiaoyang Wang, Yang yang, Prosanta Gope, Biplab Sikdar, Ying Zhang

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 针对图记忆检索中信息流控制盲区，提出可累积性准则，证明无源结构写入可导致不可逆转账被误导，并通过重分配性而非依赖性预测漏洞，提出认证子图重计算防御。

Bounded Context Management for Tabular Foundation Models on Stream Learning

表格基础模型在流学习中的有界上下文管理

Jinmo Lee, Doyun Choi, Moongi Choi, Jaemin Yoo

机构 * Seoul National University（首尔大学） ； KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对表格流学习中分布漂移问题，提出上下文管理策略CURE，通过不确定性门控准入和冗余感知驱逐管理上下文，在七个流上相对提升最高27.0%。

Comments Accepted as a spotlight oral (top 5%) at the 2nd ICML Workshop on Foundation Models for Structured Data (FMSD@ICML2026)