语言大模型 / LLM

Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA

在扩散大型语言模型中进行提示压缩：在LLDA上评估LLMLingua-2

Sterling Huang, Abigayle Brown, Jiyoo Noh, Jiakang Xu, Wantong Huo, Kaung Myat Kyaw, Jonathan Chan

机构 * University of Toronto（多伦多大学） ； King Mongkut’s University of Technology Thonburi（泰国科技理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了提示压缩在扩散大型语言模型中的有效性，通过在LLDA上评估LLMLingua-2，发现提示压缩在数学推理任务中效果不佳，而摘要任务相对稳健，表明为扩散模型设计的提示压缩方法并不适用于所有场景。

Comments Accepted to appear in The 14th International Conference on Advances in Information Technology (IAIT2026)

Large language model agents accelerate inverse design of metal-organic frameworks for gas separation

大语言模型智能体加速用于气体分离的金属有机框架的逆设计

Zhaolin Hu, Hehe Fan, Wangyihan Guo, Meng Xu, Chenhao Rao, Qiwei Yang, Yi Yang

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究旨在加速金属有机框架用于气体分离的逆设计。提出LEMO智能体框架，结合多种技术，经迭代循环指导搜索。在分离任务中评估，相比基线有优势，丰富候选、提性能、保多样，还经实验筛选实现合成与表征，证明大语言模型智能体可加速MOF发现。

Comments 19 pages,5 figures

Memory Savings at What Cost? A Study of Alternatives to Backpropagation

以何种代价节省内存？反向传播替代方案研究

Kunjal Panchal, Sunav Choudhary, Yuriy Brun, Hui Guan

机构 * College of Information and Computer Sciences, University of Massachusetts, Amherst（信息与计算机科学学院，马萨诸塞大学阿默斯特分校） ； Adobe, San Jose（Adobe公司，圣乔斯） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究比较BP、检查点BP、FmAD和ZO在LLM及视觉语言模型训练中的表现，发现FmAD和ZO虽省内存但有计算成本等问题，带检查点的BP在多方面更优，纠正了此前关于LLM优化的片面基准测试观点。

Comments Accepted to ICML 2026

Sense and Sensitivity: Examining the Influence of Semantic Recall on Long Context Code Understanding

感知与敏感性：探讨语义回忆对长上下文代码推理的影响

Adam Štorek, Mukur Gupta, Samira Hajizadeh, Prashast Srivastava, Suman Jana

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了语义回忆对长上下文代码推理的影响，通过评估10种先进LLM发现，前沿模型在词汇回忆上表现优异，但语义回忆在长上下文中央位置时显著下降。引入语义回忆敏感性指标，提出SemTrace任务，展示LLM在长上下文中的位置效应。

Comments Accepted to ACL 2026 (main)

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

通过可扩展查找实现条件记忆：大语言模型稀疏性的新轴

Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

机构 * Peking University（北京大学） ； DeepSeek-AI 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究针对Transformer缺乏知识查找原语的问题，引入条件记忆及Engram模块，通过制定稀疏分配问题发现U形缩放定律，扩展Engram至27B参数，在多领域提升性能，揭示其优势，为下一代稀疏模型提供重要建模原语。

Extending LLM Context via Associative Recurrent Memory

通过关联循环记忆扩展大语言模型上下文

Gleb Kuzmin, Ivan Rodkin, Aydar Bulatov, Yuri Kuratov, Lyudmila Rvanova, Mikhail Katkov, Ilia Sochenkov, Misha Tsodyks, Timothy Baldwin, Mikhail Burtsev, Artem Shelmanov

机构 * FusionBrain Lab（融合大脑实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Cognitive AI Systems Lab（认知人工智能系统实验室） ； RUDN（俄罗斯人民友谊大学） ； London Institute for Mathematical Sciences（伦敦数学科学研究所） ； MIRAI（未来人工智能研究机构） ； Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学） ； Laboratory for Analysis and Controllable Text Generation Technologies RAS（俄罗斯科学院分析与可控文本生成技术实验室） ； School of Natural Sciences, Institute for Advanced Study, Princeton（普林斯顿高等研究院自然科学学院） ； Department of Brain Sciences, Weizmann Institute of Science（魏茨曼科学研究所脑科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何通过关联循环记忆扩展大语言模型上下文长度。提出ARMT方法，构建特定数据集，给出综合训练方法。实验表明该方法能让模型处理超长输入，更好泛化，且降低计算量。

Global Merger-Arbitrage Forecasting with Language Models

使用语言模型进行全球并购套利预测

Hinal Jajal, Michal Mucha, Charles Sweat, Chris Pulman, Charlie Flanagan, Peter Anderson

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究使用语言模型预测并购套利结果，结合专家指导上下文工程与基于事后推理痕迹的微调，在超400笔跨国大交易的样本外数据集上性能最佳，证明该方法在专业长上下文金融工作流中成功，相关因素起关键作用。

Comments Accepted to ICML 2026

MetaState: Persistent Working Memory Enhances Reasoning in Discrete Diffusion Language Models

MetaState: 持久工作记忆增强离散扩散语言模型的推理能力

Kejing Xia, Mingzhe Li, Lixuan Wei, Zhenbang Du, Xiangchi Yuan, Dachuan Shi, Qirui Jin, Wenke Lee

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Harvard University（哈佛大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MetaState通过引入轻量级循环增强模块，为冻结的离散扩散语言模型提供持久固定大小的工作记忆，提升推理性能，平均提升4.5%。

ToolAtlas: Learning Once, Reusing Everywhere with Tool-Side Memory

ToolAtlas：通过工具端内存实现一次学习、处处复用

Yue Fang, Zhibang Yang, Fangkai Yang, Xiaoting Qin, Liqun Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对大语言模型代理依赖外部工具时工具知识难共享问题，提出ToolAtlas框架，通过执行验证探测构建提供商端工具内存，经实验证明该框架能有效提升性能且可跨环境和框架复用，确立了提供商端工具内存范式。

A Formal Hierarchical Architecture for Agentic Orchestration with Stack-Based Execution and Lazy Discovery

一种用于智能体编排的形式化分层架构，基于栈的执行和惰性发现

Prashant Devadiga, Abhishek, Adithya Mishra, Alok Singh, Amisha Sinha, Asit Desai, Gaurang Dahad, Harshit Bhushan, Mandati Pramod Reddy, Prakhar Gupta, Rupesh Patil, Siddhi Behere

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型智能体架构瓶颈，提出分层基于技能的编排架构，通过LIFO栈和惰性发现协议解决问题，防止输出泄漏，并进行数学形式化、算法分析及基准测试，为企业环境部署提供隔离保证。

SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding

SynthDocBench：用于长上下文视觉文档理解的可控基准测试

Abhigya Verma, Khyati Mahajan, Amit Kumar Saha, Shruthan Radhakrishna, Sagar Davasam, Vikas Yadav, Sai Rajeswar Mudumba

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 研究针对视觉语言模型在现实文档理解中归因失败原因困难的问题，引入SynthDocBench基准测试，通过组合设计控制多因素，端到端生成多样长文档，评估模型发现三种现有基准未暴露的失败模式，揭示模型或过度拟合基准工件。

Comments 29 Pages, 27 Tables, 13 Figures, Accepted at COLM 2026

KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing

KVEraser: 学习操控KV缓存以实现高效的局部上下文擦除

Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Meta 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG；foundation model(comments)

AI总结 提出KVEraser方法，通过学习操控KV缓存实现局部上下文擦除，避免全局重计算，在长上下文任务中接近全重算性能且延迟仅增加24%。

Comments Oral at the ICML 2026 Workshop on the Impact of Memorization on Trustworthy Foundation Models; Code available at https://github.com/Graph-COM/KVEraser

PhysMRV: Physical Memory Retrieval and Verification for Physics Plausibility Reasoning

PhysMRV：用于物理合理性推理的物理内存检索与验证

Wenyuan Wang, Lianyu Hu, Hao Wang, Yang Liu

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 针对视频语言模型物理合理性推理不可靠的问题，提出免训练的PhysMRV框架，通过将训练视频转化为分层内存库，利用结构化物理证据指导VLM验证物理合理性，在多基准测试中取得一致改进，有效增强该推理能力。

SLVMBench: Skill Learning from Video Memory

SLVMBench：从视频记忆中学习技能

Yudong Yang, Guangzhi Sun, Yixuan Li, Chao Zhang

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 SLVMBench是首个用于评估视频大语言模型从长视频记忆学习技能并应用于实时任务能力的基准测试，通过特定视频流和人工标注进行测试，发现现有视频LLMs在此方面有局限。

NGM-RAG: Neural Graph Matching based Retrieval-Augmented Generation

NGM-RAG：基于神经图匹配的检索增强生成

Guo Chen, Ziwen Li, Maolin Zheng, Hao Gao, Junjie Huang, Tao Jia

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 研究针对传统RAG方法在处理复杂问题时的局限，提出基于神经图匹配的检索增强生成框架NGM-RAG，将图构建、匹配与答案生成统一，结合文本匹配和GNN，采用自适应加权策略，实验证明该模型在多跳问答等任务中性能优越。

Memory-Conditioned Tool Calling for Camera-First Visual Agents

用于相机优先视觉智能体的内存条件工具调用

Xiaofan Wu, Xi Zeng, Miaoxia Chen, Peishan Chen, Shuyan Li, Jiyun Yao, Hanyong Zhong, Jiahao Zhu

机构 * Chance AI（机遇人工智能公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究在相机优先视觉智能体中个人视觉记忆对工具选择等的影响，采用三层视觉记忆调节大语言模型工具调用循环，通过对800张图像与合成内存块实验发现，移除三层内存块会降低工具查询相关性和端到端效用。

Comments 13 pages, 3 figures, 4 tables. Equal contribution: Xiaofan Wu, Xi Zeng. Corresponding author: xiaofan@chance.vision

OpsMem: Dual-Memory Reasoning with Cross-Memory Resonance for Failure Diagnosis

OpsMem：用于故障诊断的具有跨内存共振的双内存推理

Yongqian Sun, Rongchen Gao, Yu Luo, Wenwei Gu, Shenglin Zhang, Qingyi Guo, Qiuai Fu, Yaoliang Wu, Dan Pei

机构 * Huawei（华为） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 针对现代软件系统故障诊断中缺乏协调诊断状态与操作经验机制的问题，提出双内存框架OpsMem，通过跨内存共振等进行多智能体诊断，实验表明其在华为微服务故障诊断数据集上优于基线，提升了匹配度和相关性。

Comments 6 pages, 5 figures

Heterogeneous Agent Cohorts for Safe Open-Ended Exploration with Runtime Constraint Memory

用于安全开放式探索的异构智能体群组及运行时约束记忆

Tengjiao Liu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对语言模型智能体安全与探索困境，提出将关注点分离到专门角色，通过蒙特卡洛树搜索编译失败为‘伤疤’约束补丁，在空间语义沙盒实验中，该方法能到达远程目标、防止违规、减少令牌消耗，还能在资源约束下降低成本。

Comments 12 pages, 1 figure, 12 tables

AI YOU Town: Make Friends and Money with Your Digital Twin

人工智能小镇：与你的数字分身交友并赚钱

Yan Lin, Yuyang Dai, Jiahui Geng, Yuxia Wang

机构 * INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，索非亚大学“圣克莱门特·奥赫里德斯基”分校） ； Newcastle University（纽卡斯尔大学） ； Linköping University（林雪平大学） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI

AI总结 研究针对现有方法不足，提出AI YOU框架，结合多种技术进行角色推断，通过记忆机制保持一致性，实验显示其在共形覆盖、不确定性校准等方面表现良好，提升了角色保真度，AI YOU Town原型可用于未来交互。

Comments 28 pages

Agentic Context Learning with Self-Discovered Specification

通过自我发现的规范进行智能体上下文学习

Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

机构 * University of Southern California（南加州大学） ； University of Florida（佛罗里达大学） ； Emory University（埃默里大学） ； Adobe Research（Adobe研究院） ； The Ohio State University（俄亥俄州立大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI

AI总结 研究上下文学习困难的原因，发现其不仅需内容获取还需规范获取。设计PSCI干预措施，提取并强化局部规范，在多个模型上取得显著提升，验证了规范获取的重要性，表明上下文学习依赖内容与规范获取。

XALPHA: A Memory-Driven AI Quant Researcher for Hypothesis-to-Code Alpha Discovery

XALPHA：一个用于从假设到代码的阿尔法发现的内存驱动人工智能量化研究员

Fengyuan Liu, Yuchen Fu, Yuqi Wang, Qi Liu

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 针对金融市场难以发现交易信号问题，介绍内存驱动的XAlpha人工智能量化研究员，它通过多源研究内存系统，实现从假设到代码的闭环阿尔法发现过程，实验表明其比基线有更强的阿尔法发现性能。

[AAFLOW+] Stateful Operator Abstraction with Zero-Copy Distributed KV Cache Orchestration for Multi-Agent Workflows

[AAFLOW+] 用于多智能体工作流的具有零拷贝分布式键值缓存编排的有状态算子抽象

Arup Kumar Sarker, Alexander James Halpern, Mills Staylor, Aymen Alsaadi, Gregor von Laszewski, Yue Cheng, Shantenu Jha, Geoffrey Fox

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 研究多智能体语言模型系统文本中心问题，提出AAFLOW+扩展，构建通信感知图并提供多种算子，实现零拷贝执行，通过分析成本模型验证，大幅降低TTFT、计算成本、键值内存并提高吞吐量，提升多智能体系统效率

Comments 21 pages, 10 Figures, 12 Tables