语言大模型 / LLM

Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

学习不忘：从几KB学习的长时程智能体记忆

Nusrat Jahan Lia, Aritra Mazumder

机构 * University of Utah（犹他大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出LRE（学习相关性驱逐）方法，通过轻量级评分器保留历史中的关键信息，在匹配预算下精度优于无驱逐基线，减少峰值上下文大小52%，并解决循环任务。

RIZZ: Routing Interactions to Near Zero-Interference Zones for Continual Adaptation of Black-Box Agents

RIZZ: 将交互路由到近零干扰区域以实现黑盒智能体的持续适应

Sonali Goel, Pranav Vaidhyanathan, Lucas Schorling, Natalia Ares, Maike Osborne

机构 * University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出RIZZ框架，通过验证器门控记忆、路由和提示编译，实现黑盒语言模型系统在非平稳流数据上的持续适应，有效控制干扰并提升性能。

Comments 20 pages, 2 figures

Randomized YaRN Improves Length Generalization for Long-Context Reasoning

随机化 YaRN 提升长上下文推理的长度泛化能力

Manas Mehta, Fangcong Yin, Greg Durrett

机构 * New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出随机化 YaRN 方法，通过结合 YaRN 位置外推、随机位置编码和长度课程，在短上下文训练数据上提升模型对长上下文（16K-128K）的推理性能。

RaMem: Contextual Reinstatement for Long-term Agentic Memory

RaMem: 面向长期智能体记忆的上下文重建

Wei Yang, Bryce Kan, Shixuan Li, Li Li, Yuehan Qin, Jiate Li, Paul Bogdan, Jesse Thomason

机构 * University of Southern California（南加州大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对长期记忆中的上下文坍塌问题，提出RaMem框架，通过证据锚定、回忆条件归纳、有效性感知检索和上下文保留合成四个阶段，将检索到的记忆片段转化为可验证的上下文证据，在多个基准上平均F1提升超10%。

Autogenesis: A Self-Evolving Agent Protocol

自生成：一种自我进化代理协议

Wentao Zhang, Zhe Zhao, Haibin Wen, Yingcheng Wu, Cankun Guo, Ming Yin, Bo An

机构 * Nanyang Technological University（南洋理工大学） ； Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； City University of Hong Kong（香港城市大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出了一种自生成协议（AGP），该协议通过分离进化内容与进化过程，解决了现有代理协议在跨实体生命周期管理、版本追踪和安全更新接口方面的不足。基于AGP，作者展示了自生成系统（AGS），该系统能够动态实例化、检索和优化协议注册的资源，通过多个具有长视界规划和工具使用的挑战性基准测试，验证了代理资源管理和闭环自我进化的有效性。

StackPlanner: A Centralized Hierarchical Multi-Agent System with Task-Experience Memory Management

StackPlanner: 一种具有任务经验记忆管理的集中式分层多智能体系统

Ruizhe Zhang, Xinke Jiang, Zhibang Yang, Zhixin Zhang, Jiaran Gao, Yuzhen Xiao, Tao Feng, Yue Fang, Yuxuan Liu, Ruiqing Li, Hongbin Lai, Huheng Huang, Xu Chu, Junfeng Zhao, Yasha Wang

机构 * School of Computer Science, Peking University（北京大学计算机学院） ； National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； School of Public Affaris, Zhejiang University（浙江大学公共管理学院） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； GRG Banking Equipment Co., Ltd.（GRG银行设备有限公司） ； Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿中心） ； Peking University Information Technology Institute (Tianjin Binhai)（北京大学信息技术研究院（天津滨海）） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出StackPlanner分层多智能体框架，通过显式记忆控制解耦高层协调与子任务执行，并利用结构化经验记忆和强化学习复用协调经验，解决长期协作中的记忆膨胀和错误累积问题。

HoloAgent-0: A Unified Embodied Agent Framework with 3D Spatial Memory

HoloAgent-0：具有3D空间记忆的统一具身智能体框架

Xiaolin Zhou, Liu Liu, Tingyang Xiao, Wei Feng, Fa Fu, Xinrui Meng, Xinjie Wang, Jialiang Han, Boyang Yu, Yun Du, Wei Sui, Zhizhong Su

机构 * Horizon Robotics ； D-Robotics Robotics 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 提出HoloAgent-0统一框架，通过三层耦合结构（具身AgentOS、3D空间记忆、具身技能）实现真实机器人闭环执行，在长程导航、跨机器人协调等任务上验证有效性。

Investigating The Security of Modern AI and Cloud Infrastructure

调查现代AI和云基础设施的安全性

Andrew Adiletta

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文通过物理内存共置到远程服务接口的交互层次分类法，系统解构AI和现代云基础设施的安全假设，并展示利用各抽象层假设的实际攻击。

Comments PhD thesis

UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating

UnityShots: 基于记忆的多镜头音视频生成与边界感知门控

Jiehui Huang, Yuechen Zhang, Bin Xia, Jiahao Wang, Xu He, Zhenchao Tang, Meng Chu, Xin Tao, Pengfei Wan, Jiaya Jia

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； Kling Team, Kuaishou Technology（Kling团队，快手科技） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 提出UnityShots，一种基于记忆的多镜头音视频生成系统，通过固定大小的长期和短期记忆槽及边界条件门控实现跨镜头连贯性，在多种条件模式下超越开源基线。

Comments https://jackailab.github.io/Projects/UnityShots

eMEM: A Hybrid Spatio-Temporal Memory System For Embodied Agents

eMEM：一种面向具身智能体的混合时空记忆系统

A. Haroon Rasheed, Maria Kabtoul

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 提出eMEM混合图记忆系统，通过多索引架构和分层整合管道实现具身智能体在空间、时间和语义上的高效记忆检索，并在ProcTHOR-10K基准测试中达到80.8加权平均分。

A Tale of Two Graphs: Separating Knowledge Exploration from Outline Structure for Open-Ended Deep Research

双图之 tale：分离知识探索与大纲结构以实现开放性深度研究

Zhuofan Shi, Ming Ma, Zekun Yao, Fangkai Yang, Jue Zhang, Dongge Han, Victor Rühle, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 本文提出DualGraph架构，通过分离知识与写作结构，提升开放性深度研究的效率和深度，实验表明其在报告深度、广度和事实准确性上优于现有方法。

Comments 26 pages, 4 figures

Energy-Based Transformers as Predictors of Reading Difficulty

基于能量的Transformer作为阅读难度预测器

Jakub Dotlacil, Ece Takmaz

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出基于能量的Transformer模型中的能量度量作为阅读时间预测器，在三个语料库上显著优于惊奇度，并在关系从句处理中捕捉主/宾语不对称，可能统一多个互补度量。

SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers

SpotAttention: 面向预训练长上下文Transformer的即插即用块稀疏路由

Huzama Ahmad, Se-Young Yun

机构 * KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出SpotAttention，一种轻量级选择器，通过KL蒸馏学习估计注意力分布，实现块稀疏路由，在长上下文任务中匹配密集注意力精度并显著加速解码。

Comments 24 pages, 10 figures, 9 tables

Learning the ARTS of Search for Automated Discovery

学习搜索的艺术以实现自动发现

Gurusha Juneja, Arnav Kumar Jain, Deepak Nathani, William Yang Wang, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Université de Montréal and Mila- Quebec AI Institute（蒙特利尔大学和Mila-魁北克人工智能研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ARTS方法，利用推理语言模型在假设与实验空间中迭代搜索，通过测试时训练解决上下文长度问题，在22个任务上优于现有算法，相对提升超15.3%。

Collaborative Human-Agent Protocol (CHAP)

协作式人机协议 (CHAP)

Arsalan Shahid, Gordon Suttie, Philip Black

机构 * Brightbeam AI 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 提出CHAP协议，通过结构化事件记录（差异、理由、哈希）和可组合配置文件，解决多人类多智能体协作中人类判断信号丢失的问题。

Code Isn't Memory: A Structural Codebase Index Inside a Coding Agent

代码不是内存：编码代理中的结构化代码库索引

Ishaan Bhola, Adithyan Krishnan, Sravanth Kurmala, Mukunda NS

机构 * TransformerOptimus 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI

AI总结 通过消融实验和跨框架对比，研究在固定编码代理框架中增加结构化代码库索引对成本与解决率的影响，发现索引能显著提升定位和解决率且不增加成本。

Comments Code and data: https://github.com/TransformerOptimus/supercoder-eval

GEOPHYS: The Geometry of Physical Plausibility

GEOPHYS: 物理合理性的几何学

Christian Internò, Alexander Pondaven, Habon Issa, Fabio Pizzati, Francesco Pinto, Markus Olhofer, Ivan Laptev, Philip Torr, Eero P. Simoncelli, Barbara Hammer, David Klindt

机构 * Bielefeld University（比勒费尔德大学） ； University of Oxford（牛津大学） ； Cold Spring Harbor Laboratory（冷泉港实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Independent（独立作者） ； Honda Research Institute EU（本田欧洲研究院） ； New York University（纽约大学） ； Flatiron Institute, Simons Foundation（西蒙斯基金会熨斗研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 提出GEOPHYS方法，利用冻结图像编码器的每帧嵌入的五个几何特征检测视频中的物理不合理性，在物理违反检测上达到SOTA，并作为验证器提升视频生成模型的物理一致性。

FinAcumen: Financial Multimodal Reasoning via Self-Evolving Experience Memory Harness

FinAcumen: 通过自演化经验记忆实现的金融多模态推理

Pianran Guo, Pengcheng Zhou, Yucheng Jian, Shuhua Chen, Zhonfliang Yang, Linna Zhou

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出FinAcumen框架，通过选择性经验记忆机制增强工具增强型多模态推理，在四个金融基准上持续提升冻结的8B视觉语言模型性能。

MemBuilder: Reinforcing LLMs for Long-Term Memory Construction via Attributed Dense Rewards

MemBuilder: 通过具有属性的密集奖励强化LLMs以进行长期记忆构建

Zhiyu Shen, Ziming Wu, Fuming Lai, Shaobing Lian, Yanghui Rao

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Tencent Inc.（腾讯公司） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL

AI总结 MemBuilder通过具有属性的密集奖励强化LLMs，解决长期对话中保持一致性的挑战，提升多维记忆构建能力，实验表明其在长期对话基准测试中表现优异。

Comments 19 pages (9 main + 10 appendix), 7 figures, 3 tables

BIT-Nav: Brain-Inspired Trajectory Memory for Embodied Navigation

BIT-Nav: 具身导航的脑启发轨迹记忆

Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

机构 * Johns Hopkins University（约翰霍普金斯大学） ； DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；LLM(comments)

AI总结 提出BIT-Nav框架，通过轻量级学习轨迹记忆增强冻结的视觉-语言模型导航，解决长序列中帧采样稀疏问题，以恒定token成本编码结构化运动历史。

Comments Accepted to CVPR 2026: 2nd Workshop on 3D-LLM/VLA: Bridging Language, Vision and Action in 3D Environments

FrameVGGT: Coherence-Preserving Memory for Bounded Streaming Geometry

FrameVGGT：几何对齐的帧级内存用于有界流式VGGT

Zhisong Xu, Takeshi Oishi

机构 * Institute of Industrial Science（工业科学研究所） ； The University of Tokyo（东京大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 FrameVGGT从几何支持角度重新审视有界内存流式处理，通过组织帧级增量KV贡献为连贯段，实现稳定几何支持与内存平衡。

Comments 23pages including appendix checklist

Beyond Value Benchmarks: Measuring Value-Structure Alignment in Large Language Models via Symmetric Q-Sorts

超越价值基准：通过对称Q分类测量大型语言模型中的价值结构对齐

Jingting Zheng, Yuqi Ren, Linhao Yu, Yongqi Leng, Deyi Xiong

机构 * TJUNLP Lab, School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院TJUNLP实验室） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出基于Q方法的对称人机评估框架，通过140项道德陈述的强制分布排序，测量LLM价值结构对齐，发现跨家族异质性和局部错位。

Comments 32 pages, 8 figures, 16 tables; accepted to ACL 2026 Main Conference

RetailBench: Benchmarking long horizon reasoning and coherent decision making of LLM agents in realistic retail environments

RetailBench: 在真实零售环境中评估LLM代理的长期推理与连贯决策能力

Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

机构 * Ant Group（蚂蚁集团） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出RetailBench基准，模拟单店超市运营，评估LLM代理在长期决策中的表现，发现多数模型无法持续生存，与最优策略差距显著。

Comments The submission of this paper was a mistake. This is the second version of arXiv:2603.16453, so it should have replaced the original 2603 version through a replacement submission, rather than being published as a new paper

Closing the Loop on LLM-Generated RTL Assertions with Quality-Aware Formal Verification

用质量感知的形式化验证闭环LLM生成的RTL断言

Ramesh Krishnamurthy, Danial Chitnis, Themis Prodromakis

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM生成RTL断言中的虚假通过、证明成本差异大和失败轨迹难解释问题，提出轻量级开源框架，通过突变引导精炼、求解器选择和因果叙事合成来提升断言质量和可解释性。

Empirical Prompt Engineering for Construct Identification with Large Language Models

改善人机编码对齐：心理学构念识别中提示工程的实证评估

Kylie L. Anglin, Stephanie Milan, Brittney Hernandez, Claudia Ventura

机构 * Department of Educational Psychology, Neag School of Education, University of Connecticut（教育心理学系，教育学院，康涅狄格大学） ； Department of Psychological Sciences, College of Liberal Arts and Sciences, University of Connecticut（心理学系，文理学院，康涅狄格大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本研究提出一个实证框架，通过提示工程优化大语言模型在心理学文本中识别构念的性能。实验评估五种提示策略，发现构念定义和任务框架最关键，结合代码簿引导和自动提示工程的少样本方法最接近专家判断。

Comments 22 pages, 2 figures

Coherence Under Commitment: Probing Generalization and Vacuous Memorization in LLM Logical Reasoning

承诺下的一致性：探究LLM逻辑推理中的泛化与空洞记忆

Noor Islam S. Mohammad, Mahmudul Hasan

机构 * Department of Computer Science, Informatics Institute, Istanbul Technical University（伊斯坦布尔技术大学信息学研究所计算机科学系） ； School of Information Technology, Deakin University（迪肯大学信息技术学院） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出双查询评估范式CUC，联合测量一致性与决断力，揭示LLM通过系统性弃权实现空洞一致性的失败模式。

The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL

最优Token基线：长程LLM-RL的方差缩减

Yingru Li, Jiawei Xu, Ziniu Li, Jiacai Liu, Wei Liu, Yuxuan Tong, Longtao Zheng, Zhenghai Xue, Yaxiang Zhang, Tianle Cai, Ge Zhang, Qian Liu, Baoxiang Wang

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） ； Hong Kong University of Science（香港科学大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Vector Institute（向量研究所） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长程LLM-RL训练中梯度方差爆炸问题，从第一性原理推导最优Token基线，提出仅用前向概率近似梯度范数的Logit-Gradient Proxy，以N=4分组达到N=32性能，减少65%以上Token消耗。

When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents

当智能体过早承诺：诊断LLM智能体中的过早承诺问题

Aman Mehta

机构 * Snowflake AI Research 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 本文提出表征承诺作为跨运行隐藏状态收敛的指标，用于诊断长程LLM智能体过早承诺问题，并在多个模型和数据集上验证其预测轨迹一致性的能力。

Comments 22 pages, 16 figures Primary: cs.AI Secondary: cs.CL

Towards Pedagogically Aligned LLM Tutors for Math Mistake Remediation

面向数学错误纠正的教学对齐LLM导师

Kseniia Petukhova, Tien Dat Nguyen, Ekaterina Kochmar

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出两阶段对齐流程（监督微调+偏好优化），结合合成数据提升LLM在数学错误纠正中的教学质量和事实准确性，优于基线模型并与专有模型竞争。

Know Your Limits : On the Faithfulness of LLMs as Solvers and Autoformalizers in Legal Reasoning

了解你的局限：LLM在法律推理中作为求解器和自动形式化工具的忠实性

Olivia Peiyu Wang, Sanna Wong-Toropainen, Daneshvar Amrollahi, Ryan Bai, Tashvi Bansal, Arush Garg, Leilani H. Gilpin

机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； Univ. Helsinki（赫尔辛基大学） ； CodeX, Stanford（斯坦福大学CodeX中心） ； Stanford University（斯坦福大学） ； Canyon Crest Academy（峡谷峰学院） ； Monta Vista High School（蒙塔维斯塔高中） ； Los Altos High School（洛斯阿尔托斯高中） 纠错

专题命中 推理与问题求解 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究LLM在法律推理中是否忠实执行逻辑推理，发现LLM基于形式推理的高性能掩盖了范围清洗等不忠实模式，揭示基准准确性与逻辑忠实性之间的根本差距。

Comments 10 pages, submitted to COLM 2026 (under review, average score of 6.25 across 4 reviewers) and accepted by the AI4Law and AI4Math workshops at ICML. This is the version where we already addressed most of the reviews from the COLM & AI4Law &; AI4Math reviewers