AI Agent

Learning in Markov Decision Processes with Exogenous Dynamics

在外生动态中学习马尔可夫决策过程

Davide Maran, Davide Salaorni, Marcello Restelli

机构 * Department of DEIB, Politecnico di Milano, Milan, Italy（米兰理工大学DEIB部门） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本文提出了一种在具有外生动态的马尔可夫决策过程中学习的方法，通过利用外生状态组件的独立性，提高了学习保证和样本效率。

Optimal information injection and transfer mechanisms for active matter reservoir computing

主动物质计算中的最优信息注入与传输机制

Mario U. Gaimann, Miriam Klopotek

机构 * WIN-Kolleg of the Young Academy Heidelberg Academy of Sciences 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本研究提出利用主动物质系统作为共振计算的共振体，通过非线性驱动力提升信息处理能力，发现其在液滴形成时表现优异，具有鲁棒性和适应性。

Comments 93 pages, 51 figures. Supplementary Videos: https://doi.org/10.18419/DARUS-4806. Replication Data: https://doi.org/10.18419/DARUS-4805

Reinforcement Learning for Variational Quantum Circuits Design

变分量子电路设计的强化学习

Simone Foderà, Gloria Turati, Riccardo Nembrini, Maurizio Ferrari Dacrema, Paolo Cremonesi

机构 * Politecnico di Milano（米兰理工学院） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本研究利用强化学习设计变分量子电路，发现新型ansatz家族，提升优化问题求解效率。

Journal ref Proceedings of the International Workshop on AI for Quantum and Quantum for AI (AIQxQIA 2024)

ParamMem: Augmenting Language Agents with Parametric Reflective Memory

ParamMem: 通过参数化反思记忆增强语言代理

Tianjun Yao, Yongqiang Chen, Yujia Zheng, Pan Li, Zhiqiang Shen, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 ParamMem通过参数化记忆模块提升语言代理的反思多样性，实现更高效的推理和跨任务迁移能力。

Comments 20 pages

Structured Prompt Language: Declarative Context Management for LLMs

结构化提示语言：面向大语言模型的声明式上下文管理

Wen G. Gong

专题命中 记忆与上下文管理 ：agentic(abstract)；分类 cs.CL

AI总结 结构化提示语言SPL通过声明式框架管理大语言模型的上下文资源，实现高效提示生成和多模型协同，减少65%的模板开销，提升成本透明度和执行效率。

Comments 44 pages, 6 figures, 14 tables, 15 code-listings

Improvements of Dark Experience Replay and Reservoir Sampling towards Better Balance between Consolidation and Plasticity

改进暗经验回放与水库采样以实现巩固与可塑性之间的更好平衡

Taisuke Kobayashi

机构 * National Institute of Informatics (NII) / The Graduate University for Advanced Studies (SOKENDAI)（国立信息学研究院 / 高级研究大学） 纠错

专题命中 记忆与上下文管理 ：autonomous agent(abstract)；分类 cs.LG

AI总结 本文改进暗经验回放与水库采样方法，通过自动适应权重、纠正错误数据和优化存储策略，实现持续学习中记忆巩固与可塑性的平衡。

Comments 29 pages, 8 figures

Journal ref Frontiers in Artificial Intelligence, 2026

CNOT Minimal Circuit Synthesis: A Reinforcement Learning Approach

CNOT最小电路综合：一种强化学习方法

Riccardo Romanello, Daniele Lizzio Bosco, Jacopo Cossio, Dusan Sutulovic, Giuseppe Serra, Carla Piazza, Paolo Burelli

机构 * Ca' Foscari University of Venice（威尼斯Ca' Foscari大学） ； University of Udine（乌迪内大学） ； University of Naples Federico II（那不勒斯费德里科二世大学） ； IT University of Copenhagen（哥本哈根IT大学） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.AI

AI总结 本文提出了一种基于强化学习的CNOT门最小化方法，通过单一代理处理不同规模的电路，有效提升了算法性能。

Rethinking the Design of Reinforcement Learning-Based Deep Research Agents

重新思考基于强化学习的深度研究代理的设计

Yi Wan, Jiuqi Wang, Liam Li, Jinsong Liu, Ruihao Zhu, Zheqing Zhu

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.AI

AI总结 本文提出了一种基于强化学习的深度研究代理设计，通过改进奖励机制、训练算法、样本过滤和测试策略，实现了在多个基准测试中的最优性能。

From Lossy to Verified: A Provenance-Aware Tiered Memory for Agents

从损失到验证：一种面向代理的分层内存

Qiming Zhu, Shunian Chen, Rui Yu, Zhehao Wu, Benyou Wang

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳）） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.AI

AI总结 TierMem 提出了一种面向代理的分层内存框架，通过双层内存结构在推理时分配证据，以降低 token 消耗和延迟，提升准确率。

Reinforcement Learning to Discover a North-East Monsoon Index for Rainfall Prediction in Thailand

利用强化学习发现泰国东北季风指数以预测降雨

Kiattikun Chobtham

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本文利用强化学习优化东北季风指数，提升泰国降雨预测精度。

Reinforcement Learning for Parameterized Quantum State Preparation: A Comparative Study

基于强化学习的参数化量子态制备：一种比较研究

Gerhard Stenzel, Isabella Debelic, Michael Kölle, Tobias Rohe, Leo Sünkel, Julian Hager, Claudia Linnhoff-Popien

机构 * LMU MunichDepartment of Computer ScienceChair of Mobile and Distributed Systems（慕尼黑大学计算机科学系移动与分布式系统研究所） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本文通过强化学习比较了单阶段和双阶段方法在参数化量子态制备中的表现，发现单阶段PPO在计算效率和准确性上更优。

Comments Extended version of a short paper to be published at ICAART 2026

CAST: Character-and-Scene Episodic Memory for Agents

CAST：基于角色和场景的事件记忆用于智能体

Kexin Ma, Bojun Li, Yuhua Tang, Liting Sun, Ruochun Jin

机构 * College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.CL

AI总结 CAST通过构建3D场景和角色档案，结合图结构语义记忆，提升智能体对连贯事件的回忆能力，实验结果显示在多个数据集上性能显著提升。

SYNAPSE: Empowering LLM Agents with Episodic-Semantic Memory via Spreading Activation

SYNAPSE：通过扩散激活实现LLM代理的片段语义记忆

Hanqi Jiang, Junhao Chen, Yi Pan, Ling Chen, Weihang You, Yifan Zhou, Ruidong Zhang, Andrea Sikora, Lin Zhao, Yohannes Abate, Tianming Liu

机构 * School of Computing, University of Georgia（佐治亚大学计算机学院） ； Department of Biosystems Engineering and Soil Science, University of Tennessee（田纳西大学生物系统工程与土壤科学系） ； Department of Biomedical Informatics, University of Colorado School of Medicine（科罗拉多医学院生物医学信息学系） ； Department of Biomedical Engineering, New Jersey Institute of Technology（新泽西理工学院生物医学工程系） ； Department of Physics and Astronomy, The University of Georgia（佐治亚大学物理与天文学系） 纠错

专题命中 记忆与上下文管理 ：agentic(abstract)；分类 cs.CL

AI总结 SYNAPSE通过动态图与扩散激活机制，提升LLM在复杂时间序列和多跳推理任务中的性能，解决上下文隧道问题。

Accelerated Discovery of Cryoprotectant Cocktails via Multi-Objective Bayesian Optimization

通过多目标贝叶斯优化加速冻保护剂混合物的发现

Daniel Emerson, Nora Gaby-Biegel, Purva Joshi, Yoed Rabin, Rebecca D. Sandlin, Levent Burak Kara

机构 * Mechanical Engineering Department, Carnegie Mellon University（卡内基梅隆大学机械工程系） ； Center for Engineering in Medicine & Surgery, Department of Surgery, Massachusetts General Hospital, Harvard Medical School, and Shriners Children’s（医学与手术工程中心，外科部，麻省总医院，哈佛医学院，以及谢尔曼儿童医院） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 通过多目标贝叶斯优化结合高通量筛选，高效发现同时具有高CPA浓度和高细胞存活率的冻保护剂混合物。

Dual-Granularity Contrastive Reward via Generated Episodic Guidance for Efficient Embodied RL

双粒度对比奖励 via 生成 episodic 引导 为高效 embodied RL

Xin Liu, Yixuan Li, Yuhui Chen, Yuxing Qin, Haoran Li, Dongbin Zhao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本文提出DEG方法，通过生成episodic引导实现高效具身RL，无需人工标注，提升样本效率和任务完成能力。

Embodied Agents Meet Personalization: Investigating Challenges and Solutions Through the Lens of Memory Utilization

具身智能体与个性化：通过记忆利用的视角探讨挑战与解决方案

Taeyoon Kwon, Dongwook Choi, Hyojun Kim, Sunghwan Kim, Seungjun Moon, Beong-woo Kwak, Kuan-Hao Huang, Jinyoung Yeo

机构 * Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学） ； Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯大学） 纠错

专题命中 记忆与上下文管理 ：planning(abstract)；分类 cs.CL

AI总结 本文提出MEMENTO框架，通过分析记忆利用中的挑战，设计了基于层次知识图谱的用户档案记忆模块，提升智能体在个性化任务中的表现。

Comments Accepted at ICLR 2026

Memory Injection Attacks on LLM Agents via Query-Only Interaction

通过仅查询交互对LLM代理进行内存注入攻击

Shen Dong, Shaochen Xu, Pengfei He, Yige Li, Jiliang Tang, Tianming Liu, Hui Liu, Zhen Xiang

机构 * Michigan State University（密歇根州立大学） ； University of Georgia（佐治亚大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本文提出MINJA攻击，通过仅查询交互向LLM代理注入恶意记录，破坏其内存安全，揭示了代理内存安全的潜在风险。

Comments Code released

Geometry of Uncertainty: Learning Metric Spaces for Multimodal State Estimation in RL

不确定性几何：用于强化学习中多模态状态估计的度量空间学习

Alfredo Reichlin, Adriano Pacciarelli, Danica Kragic, Miguel Vasco

机构 * Division of Robotics, Perception, and Learning（机器人、感知与学习系） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本文提出了一种学习多模态状态估计的度量空间方法，通过自适应整合多种传感器模态，提升了RL任务中的鲁棒性和状态估计性能。

Deep Kernel Fusion for Transformers

基于变压器的深度核融合

Zixi Zhang, Zhiwen Mo, Yiren Zhao, Robert Mullins

机构 * Imperial College London（帝国理工学院伦敦分校） ； University of Cambridge（剑桥大学） 纠错

专题命中 记忆与上下文管理 ：agentic(abstract)；分类 cs.LG

AI总结 本研究提出DeepFusionKernel，通过深度融合内核减少HBM流量并提高缓存复用，实现大语言模型在长上下文推理中的性能提升。

UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory

UMEM: 通用记忆的统一记忆提取与管理框架

Yongshi Ye, Hui Jiang, Feihu Jiang, Tian Lan, Yichao Du, Biao Fu, Xiaodong Shi, Qianghuai Jia, Longyue Wang, Weihua Luo

机构 * Xiamen University（厦门大学） ； Alibaba International Digital Commerce（阿里巴巴国际数字商务） ； Tongyi Lab, Alibaba Group（阿里云实验室，阿里巴巴集团） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.CL

AI总结 UMEM通过联合优化大语言模型，实现记忆的提取与管理，提升记忆的泛化能力，实验显示在多轮交互任务中表现优于基线模型。

TraceMem: Weaving Narrative Memory Schemata from User Conversational Traces

TraceMem: 从用户对话轨迹编织叙事记忆图式

Yiming Shu, Pei Liu, Tiange Zhang, Ruiyang Gao, Jun Ma, Chen Sun

机构 * The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nankai University（南开大学） 纠错

专题命中 记忆与上下文管理 ：agentic(abstract)；分类 cs.CL

AI总结 TraceMem通过三阶段流程从用户对话轨迹中编织叙事记忆图式，提升多跳和时间推理能力。

Reinforcement World Model Learning for LLM-based Agents

基于强化学习的世界模型学习用于基于大语言模型的智能体

Xiao Yu, Baolin Peng, Ruize Xu, Yelong Shen, Pengcheng He, Suman Nath, Nikhil Singh, Jiangfeng Gao, Zhou Yu

机构 * Columbia University, New York（哥伦比亚大学） ； Microsoft Research, Redmond（微软研究院） ； Dartmouth College, Hanover（达特茅斯学院） 纠错

专题命中 记忆与上下文管理 ：agentic(abstract)；分类 cs.CL

AI总结 本文提出了一种基于强化学习的世界模型学习方法，用于提升基于大语言模型的智能体在环境动态适应和预测方面的性能。

Comments fixed Nikhil Singh's affiliation

Group-Evolving Agents: Open-Ended Self-Improvement via Experience Sharing

群体进化代理：通过经验共享实现开放式自我改进

Zhaotian Weng, Antonis Antoniades, Deepak Nathani, Zhen Zhang, Xiao Pu, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.AI

AI总结 GEA通过经验共享实现开放式自我改进，显著优于现有自我进化方法并在编码基准上表现优异。

Comments 18 pages

Building spatial world models from sparse transitional episodic memories

从稀疏的过渡性片段记忆中构建空间世界模型

Zizhan He, Maxime Daigle, Pouya Bashivan

机构 * Department of Computer Science, McGill University（麦吉尔大学计算机科学系） ； Department of Physiology, McGill University（麦吉尔大学生理学系） ； Mila, Université de Montréal（蒙特利尔大学Mila） 纠错

专题命中 记忆与上下文管理 ：planning(abstract)；分类 cs.AI

AI总结 本文提出ESWM模型，通过稀疏片段记忆构建空间地图，实现环境探索和导航的高效适应能力。

Comments Accepted ICLR 2026

The Trigger in the Haystack: Extracting and Reconstructing LLM Backdoor Triggers

haystack中的触发器：提取和重建LLM后门触发器

Blake Bullwinkel, Giorgio Severi, Keegan Hines, Amanda Minnich, Ram Shankar Siva Kumar, Yonatan Zunger

机构 * Microsoft, Redmond, Washington, USA（微软） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.AI

AI总结 本文提出了一种无需先验知识的LLM后门触发器扫描方法，通过记忆提取和输出分布分析来检测和恢复后门触发器。

Learning Markov Decision Processes under Fully Bandit Feedback

在完全老虎机反馈下学习马尔可夫决策过程

Zhengjia Zhuo, Anupam Gupta, Viswanath Nagarajan

机构 * Department of Industrial and Operations Engineering, University of Michigan（工业与运作工程系，密歇根大学） ； Computer Science Department, New York University（计算机科学系，纽约大学） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本文提出了在完全老虎机反馈下学习回合制MDP的高效算法，实现了O(√T)的后悔界，并展示了其在k-项预言不等式中的性能与有详细反馈的算法相当。

Self-Consolidation for Self-Evolving Agents

自组织式自进化代理

Hongzhuo Yu, Fei Zhu, Guo-Sen Xie, Ling Shao

机构 * UCAS-Terminus AI Lab, University of Chinese Academy of Sciences（中国科学院大学Terminus AI实验室，中国科学院大学） ； Centre for Artificial Intelligence and Robotics, HKISI-CAS（人工智能与机器人中心，中国科学院香港研究院） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） 纠错

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.LG

AI总结 本文提出了一种自组织式自进化框架，通过对比反思和自组织机制，使LLM代理能有效利用历史经验实现长期进化。

How Implicit Bias Accumulates and Propagates in LLM Long-term Memory

隐性偏见如何在LLM长期记忆中积累和传播

Yiming Ma, Lixu Wang, Lionel Z. Wang, Hongkun Yang, Haoming Sun, Xin Xu, Jiaqi Wu, Bin Chen, Wei Dong

机构 * International Research Center for Artificial Intelligence, Harbin Institute of Technology (Shenzhen), Shenzhen, China ； Chongqing Research Institute of Harbin Institute of Technology, Chongqing, China ； College of Computing ； Data Science, Nanyang Technological University, Singapore ； Department of Management ； Marketing, The Hong Kong Polytechnic University, Hong Kong ； Haide College, Ocean University of China, Qingdao, China ； School of Computer Science, The University of Sheffield, Sheffield, UK ； Department of Automation, Tsinghua University, Beijing, China 纠错

专题命中 记忆与上下文管理 ：agentic(abstract)；分类 cs.LG

AI总结 本文研究了LLM长期记忆中隐性偏见的积累与传播，提出动态内存标记方法以缓解偏见问题。

Comments Under review, and the first two authors contribute equally

Can Transformer Memory Be Corrupted? Investigating Cache-Side Vulnerabilities in Large Language Models

Transformer记忆能否被破坏？调查大型语言模型中的缓存侧漏洞

Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

机构 * College of Engineering and Computer Science, University of Central Florida（中央佛罗里达大学工程与计算机科学学院） ； Department of Computer Science and Engineering, Mississippi State University（密苏里州立大学计算机科学与工程系） ； Department of Electrical and Computer Engineering, North Carolina State University（北卡罗来纳州立大学电子与计算机工程系） 纠错

专题命中 记忆与上下文管理 ：agentic(abstract)；分类 cs.AI

AI总结 本文提出恶意令牌注入框架，揭示了大型语言模型缓存中的安全漏洞，通过扰动缓存关键向量影响模型输出和任务性能。

Alignment among Language, Vision and Action Representations

语言、视觉和动作表征的一致性

Nicola Milano, Stefano Nolfi

专题命中 记忆与上下文管理 ：agent(abstract)；分类 cs.AI

AI总结 研究通过训练Transformer智能体执行自然语言指令，发现语言、视觉和动作表征在跨模态中呈现部分共享的语义结构，支持模态无关的语义组织。