语言大模型 / LLM

A Formal Hierarchical Architecture for Agentic Orchestration with Stack-Based Execution and Lazy Discovery

一种用于智能体编排的形式化分层架构，基于栈的执行和惰性发现

Prashant Devadiga, Abhishek, Adithya Mishra, Alok Singh, Amisha Sinha, Asit Desai, Gaurang Dahad, Harshit Bhushan, Mandati Pramod Reddy, Prakhar Gupta, Rupesh Patil, Siddhi Behere

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型智能体架构瓶颈，提出分层基于技能的编排架构，通过LIFO栈和惰性发现协议解决问题，防止输出泄漏，并进行数学形式化、算法分析及基准测试，为企业环境部署提供隔离保证。

Prompt Compression via Activation Aggregation

通过激活聚合进行提示压缩

Thibaud Ardoin, Semira Einsele, Evis Bregu, Gerhard Wunder

机构 * Freie Universität Berlin（柏林自由大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨能否将指令提示的任务相关信息压缩成单个激活向量注入模型，利用中间层激活的学习加权和实现了这一点，压缩向量保留关键信息且准确率下降小，还揭示了语言模型激活空间的结构。

Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling

正确实现分层稀疏注意力：迈向无限上下文建模

Xiang Hu, Xinyu Wei, Hao Gu, Minshen Zhang, Tian Liang, Huayang Li, Lei Zhu, Yan Wang, Sirui Han, Yushi Bai, Kewei Tu, Haitao Mi, Leo Liang

机构 * Tencent HY Team（腾讯混元团队） ； ShanghaiTech University（上海科技大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何解决现代大语言模型扩展到长上下文时的计算成本和注意力长度外推问题。提出分层地标稀疏注意力机制，通过语言模型损失端到端学习块选择，实现高效长上下文建模。

Comments preprint

Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning

荷马：通过分层记忆和智能推理理解长视频

Yixin Ji, Fanghua Ye, Juntao Li, Bo Zhao, Zexuan Qiu, Zhaopeng Tu, Liefeng Bo, Min Zhang

机构 * Soochow University（苏州大学） ； Tencent Hunyuan Multimodal Department（腾讯混元多模态部） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究长视频理解问题，提出荷马分层在线记忆探索与推理框架，其记忆反映视频多尺度结构，智能推理器按人类方式探索记忆，通过多轮检索组合答案，性能优于此前最佳方法。

Comments under review

GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents

GateMem：多主体共享内存代理中的内存治理基准

Zhe Ren, Yibo Yang, Yimeng Chen, Zijun Zhao, Benshuo Fu, Zhihao Shu, Bingjie Zhang, Yangyang Xu, Dandan Guo, Shuicheng Yan

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； King Abdullah University of Science and Technology (KAUST)（卡尔斯鲁厄大学） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 提出GateMem基准，评估多主体共享内存代理在效用、访问控制和遗忘三方面的治理能力，发现现有方法无法同时满足三者。

Comments 24 pages, 8 figures. Code and dataset are available at https://github.com/rzhub/GateMem and https://huggingface.co/datasets/Ray368/GateMem

Contribution Weights: A Geometrical Analysis of Self-Attention Transformers

贡献权重：自注意力Transformer的几何分析

Harry Jake Cunningham, Nicola Muca Cirone

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于投影的贡献权重度量，结合注意力权重、值向量大小和方向对齐，更准确识别关键令牌，并揭示注意力汇的主动抑制功能。

Libra: Taming Attention Workload Skew in Long-Context LLM Training with Bounded Sequence Pool

天秤座：使用有界序列池驯服长上下文语言模型训练中的注意力工作负载倾斜

Yan Wang, Xiulong Yuan, Kaiming Yang, Jiaxuan Peng, Pengju Lu, Mingzhen Li, Zhipeng Zhang, Chang Si, Zhixiang Ruan, Hongqing Chen, Linlang Jiang, Siyu Wang, Langshi Chen, Rui Men, Man Yuan, Guangming Tan, Yong Li, Weile Jia, Jingren Zhou

专题命中 长上下文与记忆 ：LLM(title,abstract)

AI总结 研究长上下文语言模型训练的负载平衡问题，提出Libra方法，利用大数定律，通过有界序列池、方差减少序列放置和平铺注意力池化等技术，有效减少注意力工作负载倾斜，提高训练吞吐量。

Comments 15 pages, 15 figures

Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding

利用记忆进行推理：一种用于免训练长视频理解的时间粒度自适应框架

Linghao Meng, Qiankun Li, Junyuan Mao, Pujin Liao, Zhicheng He, Enbo Zhang, Kun Wang, Yang Liu, Huazhu Fu, Yueming Jin

机构 * National University of Singapore（新加坡国立大学） ； Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，科学、技术与研究机构（A*STAR）） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Jilin University（吉林大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型长视频理解受限问题，提出ReMem框架，通过双级记忆增强自适应，在查询和视频级别分别处理，能适应不同时间粒度，经实验验证在多个基准测试中实现高效零样本性能，提升模型长视频推理能力。

Comments Accepted by ECCV 2026

EvoSQL: Memory-Augmented Critic-Generator Co-Evolution for Text-to-SQL

EvoSQL：用于文本到SQL的内存增强型评论家-生成器协同进化

Jiawei Zhou, Jianwei Wang, Chenyu Zhou, Chaojian Shi, Ming Dong, Kai Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of New South Wales（新南威尔士大学） ； Fudan University（复旦大学） ； Wuhan University of Technology（武汉理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究文本到SQL问题，提出EvoSQL协同进化框架，通过生成器与评论家迭代交互、维护内存、验证候选及自蒸馏策略优化微调等，在Spider和BIRD实验中持续改进开源模型，证明该方法是有效途径。

RECON: Benchmarking Agent Memory for Compositional Reasoning over Long Contexts

RECON：用于长上下文组合推理的智能体内存基准测试

Mihir Shriniwas Arya

机构 * RV College of Engineering（RV工程学院） ； Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究引入RECON基准测试，用于评估长上下文组合推理，跨越三个领域24个案例文件，测试智能体六个内存密集型任务，揭示当前架构在内存相关任务上存在重大局限，非预言机系统准确率低，检索和推理有挑战。

Comments 25 pages

Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable

Harness手册：使不断演进的智能体框架具有可读性、可导航性和可编辑性

Ruhan Wang, Yucheng Shi, Zongxia Li, Zhongzhi Li, Yue Yu, Junyao Yang, Kishan Panaganti, Haitao Mi, Dongruo Zhou, Leoweiliang

机构 * Tencent（腾讯） ； Indiana University（印第安纳大学） ； University of Maryland, College Park（马里兰大学帕克分校） ； University of Georgia（佐治亚大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI

AI总结 研究智能体框架演进中行为定位难的问题，提出通过Harness手册和行为引导的渐进式披露，以行为为中心自动合成框架表示并辅助规划，提高行为定位和编辑计划质量，助力复杂智能体系统发展。

Comments 29 pages, 6 figures. Project page: https://ruhan-wang.github.io/Harness-Handbook/

SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding

SynthDocBench：用于长上下文视觉文档理解的可控基准测试

Abhigya Verma, Khyati Mahajan, Amit Kumar Saha, Shruthan Radhakrishna, Sagar Davasam, Vikas Yadav, Sai Rajeswar Mudumba

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 研究针对视觉语言模型在现实文档理解中归因失败原因困难的问题，引入SynthDocBench基准测试，通过组合设计控制多因素，端到端生成多样长文档，评估模型发现三种现有基准未暴露的失败模式，揭示模型或过度拟合基准工件。

Comments 29 Pages, 27 Tables, 13 Figures, Accepted at COLM 2026

Harnessing Code Agents for Automatic Software Verification

利用代码智能体进行自动软件验证

Shuangxiang Kan, Shuanglong Kan, Sebastian Ertel

机构 * Singapore Management University, Barkhausen Institut（新加坡管理大学, 巴克豪森研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究利用大语言模型代码智能体进行自动软件验证，将引理交给智能体自由选择方法并置于验证框架，该方法简单有效，能完全覆盖目标引理，在多维度评估中表现出色，可自动为软件开发编写证明。

Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

修复放大器，而非症状：面向智能体轨迹的稳定世界模型修正

Xinyuan Song, Zekun Cai

机构 * Emory University（埃默里大学） ； The University of Tokyo（东京大学） ； LocationMind 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language agent(abstract)；分类 cs.AI

AI总结 针对长流程规划中的图级错误，提出WM-SAR方法，通过子图放大反向定位因果子图进行修复，在有限token预算下优于传统扫描修复方法。

Comments Under Review

GSRQ: Gain-Shape Residual Quantization for Sub-1-bit KV Cache

GSRQ: 面向亚1比特KV缓存的增益-形状残差量化

Soosung Kim, Minjae Park, Eui-Young Chung, Jaeyong Chung

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型KV缓存压缩中向量量化导致的方向保持问题，提出增益-形状K均值（GSKM）替代标准K均值，并构建增益-形状残差量化（GSRQ），在1比特下将LongBench平均准确率从11.34提升至33.54。

Comments ICML 2026

Reasoning as Attractor Dynamics: Latent Memory Retrieval via Gibbs-Weighted Energy Minimization

推理作为吸引子动力学：通过吉布斯加权能量最小化的潜在记忆检索

Kanishk Awadhiya

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出将大语言模型视为高维稠密联想记忆，通过吉布斯加权能量最小化从潜在吸引子中检索正确推理链，在GSM8K上提升Phi-3.5性能5.38%。

Comments Accepted at ICLR Workshop 2026

Escaping the Self-Confirmation Trap: An Execute-Distill-Verify Paradigm for Agentic Experience Learning

逃离自我确认陷阱：一种用于智能体经验学习的执行-蒸馏-验证范式

Shiding Zhu, Yudi Qi, Yajie Wang, Jiaze Li, Chao Song, Yaorui Shi, Yibo Miao, Hanqi Gao, Kai Zhang

机构 * Zhejiang University（浙江大学） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Northwestern Polytechnical University（西北工业大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出EDV框架，通过多智能体并行执行、第三方蒸馏和共识验证，解决单智能体经验学习中的自我确认陷阱问题，在三个长时任务基准上取得一致提升。

Comments 28 pages, 11 figures

Test-Time Training with Next-Token Prediction

基于下一个词预测的测试时训练

Xuan Ouyang, Zefan Cai, Junjie Hu

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出TTT-NTP方法，利用预训练语言模型自身的下一个隐藏状态作为自监督信号进行测试时训练，无需重新设计骨干网络，在多个长上下文基准上显著提升性能。

Comments 17 pages, 2 figures, 7 tables. Preprint

On Subquadratic Architectures: From Applications to Principles

关于次二次架构：从应用到原理

Anamaria-Roberta Hartl, Levente Zólyomi, David Stap, Pieter-Jan Hoedt, Niklas Schmidinger, Lukas Hauzenberger, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

机构 * ELLIS Unit Linz, LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz（林茨ELLIS单元、LIT AI实验室、机器学习研究所、约翰内斯·开普勒大学林茨） ； NVIDIA（英伟达） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文比较了xLSTM、Mamba-2和Gated DeltaNet三种次二次架构，发现xLSTM在代码预训练、蒸馏和时间序列预训练中表现最佳，其优势源于灵活稳定的门控记忆校正机制。

Controlled Memory Interference in Continual LLM Agents

持续大型语言模型智能体中的可控记忆干扰

Ao Ding, Hongzong LI, Shiqin Tang, Li Zhang, Liang Chen, Xuyang Chen, Zi Liang

机构 * China University of Geosciences (Beijing)（中国地质大学（北京）） ； Northwestern Polytechnical University（西北工业大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Chinese Academy of Sciences（中国科学院） ； The Hong Kong Polytechnic University（香港理工大学） ； École polytechnique fédérale de Lausanne（洛桑联邦理工学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI、cs.LG

AI总结 本研究提出可控记忆干扰（CMI）框架，揭示记忆进化受经验相互作用影响，为持续大型语言模型智能体的记忆系统提供诊断与学习方法，提升记忆更新区分度与任务性能。

Understanding Sparse Attention Selectivity in Long-Context Foundation Models via Counterfactual Evaluation

通过反事实评估理解长上下文基础模型中的稀疏注意力选择性

Xingyu Ren, Youran Sun, Chugang Yi, Haizhao Yang

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.CL、cs.LG

AI总结 该研究通过反事实评估探究长上下文基础模型的稀疏注意力选择性，证实稀疏化会改变内容影响力，提出开放测量框架，相关结果无法通过聚合准确率检测。

YAVIN: A Unified Architecture for Secure Edge Processing in Memory

YAVIN：面向安全边缘内存处理的统一架构

Shouzhi Fang, William C. Tegge, Md Omar Faruque, Peipei Zhou, Endadul Hoque, Alex K. Jones

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)

AI总结 针对边缘计算中多租户安全执行及内存处理的挑战，提出将TEE扩展至内存的YAVIN架构，实现后量子密码与认证加密的PIM协同设计，在量化LLM执行时获超20倍加速且开销极低。

OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents

OneDayAgent：面向自主智能体的长程管控框架

Jingsheng Zheng, Xinyuan Fang, Jintian Zhang, Zhengke Gui, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 OneDayAgent是一种长程管控框架，可将开放式请求分解为子任务，在不同后端LLMs上实现最优性能，解决智能体的多类失效模式。

Comments Ongoing work

MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation

MemVLN：用于视觉与语言导航的情景记忆和程序记忆

Yuqi Liu, Shengju Qian, Tianyuan Qu, Mingxian Lin, Zixuan Wang, Xin Wang, Bei Yu, Jiaya Jia

机构 * The Chinese University of Hong Kong（香港中文大学） ； LIGHTSPEED（光速） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究连续环境中视觉与语言导航问题，提出MemVLN框架，利用视觉编码器、大语言模型，通过情景记忆管理和程序记忆，实现实时推理，提升导航成功率并降低推理延迟。

FedAgentKE: Federated Semantic Knowledge Evolution for Heterogeneous Agents

FedAgentKE：异构智能体的联邦语义知识演化

Weihao Li, Jun Bai, Ziyang Song

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究异构智能体孤立运行问题，提出 FedAgentKE 框架，通过语义知识蒸馏、聚合和Adapt实现联邦语义知识演化，实验验证其在跨框架和跨任务设置下能改进智能体协作，为未来协作智能体生态系统发展提供潜力。

Comments 9 pages (including appendix)

Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel

一举实现更智能与更廉价：字节精确的键值缓存嫁接将冻结的小模型转变为经过验证的知识飞轮

Sietse Schelpe

机构 * Corbenic AI（Corbenic人工智能公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出通过字节精确的键值缓存嫁接，在不改变权重的情况下让冻结小语言模型更强大且廉价。此方法能精确恢复知识，提升模型性能，如在AIME 2025上提高准确率，还能扩展可用上下文，减少能耗，且可验证评分。

Comments 18 pages, 4 figures

From Custom-Fit to Portable: Bridging the Gap Between Synthesized and Engineered GPU Query Execution

从定制适配到便携性：弥合合成与工程化GPU查询执行之间的差距

Ivan Donchev Kabadzhov, Eugenio Marinelli, Raja Appuswamy

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文针对GPU分析中合成与工程化的争论，提出SHADB框架回答合成GPU代码效果等三个问题，展示合成代码优势，分解性能差距并分类优化，将可推广优化集成到SYCLDB引擎，缩小与合成代码差距并保持相关特性。

Comments 13 pages, 5 figures

Graph-Aware Fuzzing for Graph Database Management Systems

用于图数据库管理系统的图感知模糊测试

Yu Li, Qiang Hu, Yao Zhang, Junjie Wang, Hao Liu, Rui Wang, Yongqiang Lyu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对图数据库管理系统现有测试方法不足，提出GRAF框架。通过基于级联依赖解析的图上下文感知查询生成有效多样查询，用执行状态反馈引导变异操作，提升测试效果，发现众多未知漏洞。

Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads

Logit贡献评分识别非字面检索头

Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

机构 * University of Edinburgh（爱丁堡大学） ； Heriot-Watt University（赫瑞瓦特大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Logit贡献评分（LOCOS），通过OV电路输出投影到答案标记方向，识别大语言模型中执行非字面检索的注意力头，消融实验显著降低ROUGE-L而保持其他能力。

Comments 41 pages, 18 figures

Temporal Validity in Retrieval Memory: Eliminating Stale-Fact Errors for AI Agents over Evolving Knowledge

检索记忆中的时间有效性：消除AI智能体在知识演化中的过时事实错误

Neeraj Yadav

机构 * MemStrata.dev — Called It Inc. (Enterprise)（MemStrata.dev — Called It Inc.（企业）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对RAG无法处理知识演化导致过时事实错误的问题，提出MemStrata，通过确定性替换规则维护时间有效性，在演化知识上准确率达0.95-1.00，过时事实错误率降至~0%。

Comments 21 pages, 5 tables. Code, prompts, and evaluation datasets included