语言大模型 / LLM

Not All News Is Equal: Topic- and Event-Conditional Sentiment from Finetuned LLMs for Aluminum Price Forecasting

并非所有新闻都同等重要：基于微调LLM的专题和事件条件情绪用于铝价预测

Alvaro Paredes Amorin, Andre Python, Christoph Weisser

机构 * International Business School, Zhejiang University（浙江大学国际商学院） ； Center for Data Science, Zhejiang University（浙江大学数据科学中心） ； Centre for Human Genetics, Nuffield Department of Medicine, Oxford University（牛津大学纳菲尔德医学部人类遗传学中心） ； School of Medicine, Zhejiang University（浙江大学医学院） ； Bielefeld School of Business, Hochschule Bielefeld (HSBI) - University of Applied Sciences and Arts（比勒费尔德应用科学大学比勒费尔德商学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了微调LLM在铝价预测中的情绪提取效果，通过整合新闻数据与传统数据，发现LSTM模型在高波动时期表现更优，提升了预测性能和经济价值。

Human-Like Lifelong Memory: A Neuroscience-Grounded Architecture for Infinite Interaction

类人终身记忆：一种基于神经科学的架构，用于无限交互

Diego C. Lerma-Torres

机构 * Universidad de Guanajuato（瓜纳华托大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于神经科学的类人终身记忆架构，通过结合互补学习系统理论、认知行为疗法的信念层级、双进程认知和模糊轨迹理论，解决大语言模型在长期交互和情境敏感检索中的记忆不足问题。

Comments 14 pages, 1 figure. Accepted at the MemAgents Workshop, ICLR 2026

AgentSwing: Adaptive Parallel Context Management Routing for Long-Horizon Web Agents

AgentSwing: 面向长时域网络代理的自适应并行上下文管理路由

Zhaopeng Feng, Liangcai Su, Zhen Zhang, Xinyu Wang, Xiaotian Zhang, Xiaobin Wang, Runnan Fang, Qi Zhang, Baixuan Li, Shihao Cai, Rui Ye, Hui Chen, Jiang Yong, Joey Tianyi Zhou, Chenxiong Qian, Pengjun Xie, Bryan Hooi, Zuozhu Liu, Jingren Zhou

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AgentSwing框架，通过搜索效率与终端精度两个维度优化长时域网络代理的上下文管理，实验证明其在交互次数更少的情况下性能更优。

Streaming Attention Approximation via Discrepancy Theory

通过偏差理论实现流式注意力近似

Ekaterina Kochetkova, Kshiteej Sheth, Insu Han, Amir Zandieh, Michael Kapralov

机构 * EPFL（苏黎世联邦理工学院） ； KAIST（韩国科学技术院） ； Google Research（谷歌研究） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BalanceKV算法，基于几何过程选择平衡的Key和Value token，实现流式注意力近似，理论和实验均优于现有方法。

Coding Agents are Effective Long-Context Processors

编码代理是有效的长上下文处理器

Weili Cao, Xunjian Yin, Bhuwan Dhingra, Shuyan Zhou

机构 * Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究通过允许编码代理在文件系统中组织文本并使用其原生工具处理长上下文，发现编码代理在长上下文推理、检索增强生成和开放领域问答中表现优异，比现有最佳方法平均提升17.3%。

An experimental study of KV cache reuse strategies in chunk-level caching systems

基于块级缓存系统的KV缓存重用策略实验研究

Samuel Cestola, Tianxiang Xia, Zheng Weiyan, Zheng Pengfei, Diego Didona

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过实验探讨块级缓存系统中KV缓存重用策略的局限性与优化方法，提出一种融合现有技术的改进设计以提升准确性。

The $\mathbf{Y}$-Combinator for LLMs: Solving Long-Context Rot with $λ$-Calculus

LLMs的Y-组合子：解决长上下文旋转问题的λ演算

Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar

机构 * The School of Interdisciplinary Research（跨学科研究学院） ； Indian Institute of Technology (IIT) Delhi（印度理工学院德里分校） ； Robert Bosch GmbH, India（德国罗伯特·博世有限公司，印度） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） ； Huawei Noah’s Ark UCL Centre for Artificial Intelligence（华为诺亚方舟大学伦敦人工智能中心） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出λ-RLM框架，通过类型化的功能运行时替代自由递归代码生成，提升长上下文推理的可靠性与效率。

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

BenchPreS：面向持久内存LLM的上下文感知个性化偏好选择性基准

Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No

机构 * Yonsei University（延世大学） ； LG AI Research（LG AI研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 BenchPreS评估持久内存LLM在不同通信场景中对用户偏好是否恰当应用，发现前沿模型在上下文敏感应用上存在不足，偏好遵循性强的模型易出现过度应用，推理能力和提示防御无法彻底解决此问题。

Trained Persistent Memory for Frozen Encoder--Decoder LLMs: Six Architectural Methods

为冻结的编码器-解码器语言模型训练持久内存：六种架构方法

Hong Jeong

机构 * Inha University in Tashkent, Uzbekistan（乌兹别克斯坦塔什克ENT的Inha大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了在冻结编码器-解码器语言模型中通过持久内存实现连续潜在空间的可行性，提出六种架构方法，通过训练适配器实现对话学习，验证了容量作为关键设计参数的重要性。

Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment

通过偏好对齐学习长上下文的推理

Junming Liu, Yuqi Li, Shiping Wen, Zhigang Zeng, Tingwen Huang

机构 * Tongji University（同济大学） ； The City University of New York（纽约城市大学） ； University of Technology Sydney（悉尼大学） ； Huazhong University of Science and Technology（华中科技大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Hit-RAG通过多阶段偏好对齐框架解决长上下文推理中的注意力稀释和幻觉问题，提升模型在长上下文场景下的推理能力。

Comments 21 pages, 2 figures, 6 tables

FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling

FlashPrefill: ultra-fast long-context prefilling的即时模式发现与阈值处理

Qihang Fan, Huaibo Huang, Zhiying Wu, Juqiu Wang, Bingning Wang, Ran He

机构 * MAIS&NLPR, CASIA（MAIS与NLPR，中国科学院自动化研究所） ； UCAS（中国科学技术大学） ； WeChat, Tencent（微信、腾讯） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 FlashPrefill通过即时模式发现和动态阈值机制，实现超快长上下文prefilling，显著提升效率并保持在不同序列规模下的鲁棒性。

VSPrefill: Vertical-Slash Sparse Attention with Lightweight Indexing for Long-Context Prefilling

VSPrefill：用于长上下文预填充的垂直斜线稀疏注意力与轻量级索引

Chen Guanzhong

机构 * School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 VSPrefill通过轻量级索引和垂直斜线结构提升长上下文预填充效率，实现高精度与高速度的平衡。

Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam

通过无答案上下文进行查询消歧：在人类最后一场考试中性能翻倍

Michael Majurski, Cynthia Matuszek

机构 * National Institute of Standards and Technology（国家标准与技术研究院） ； University of Maryland Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 通过无答案上下文重写问题以减少歧义，显著提升模型在Humanity's Last Exam上的准确性。

Neural Paging: Learning Context Management Policies for Turing-Complete Agents

神经分页：为图灵完备智能体学习上下文管理策略

Liang Chen, Qi Liu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出神经分页架构，通过解耦符号推理与信息资源管理，提升图灵完备智能体的上下文处理效率和鲁棒性。

Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents

迈向通用语义分块：一种适用于超长文档的判别框架

Kaifeng Wu, Junyan Wu, Qiang Liu, Jiarui Zhang, Wen Xu

机构 * KingSoft Office Zhuiguang AI Lab（金山办公曙光人工智能实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于Qwen3-0.6B的判别分割模型，通过跨窗口上下文融合和重叠滑动窗口策略，实现超长文档的高效段落边界检测，并提升下游检索效率。

ActionEngine: From Reactive to Programmatic GUI Agents via State Machine Memory

ActionEngine: 通过状态机内存实现从响应式到程序化GUI代理的转变

Hongbin Zhong, Fazle Faisal, Luis França, Tanakorn Leesatapornwongsa, Adriana Szekeres, Kexin Rong, Suman Nath

机构 * Microsoft Research（微软研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ActionEngine通过状态机内存实现从响应式到程序化GUI代理的转变，提升效率和准确性，减少成本和延迟。

Does Socialization Emerge in AI Agent Society? A Case Study of Moltbook

人工智能代理社会中社会化是否会出现？Moltbook案例研究

Ming Li, Xirui Li, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Moltbook研究揭示AI代理社会在规模和交互密度下难以形成稳定结构和共识，表明社会化需要更复杂的机制。

Beyond Fact Retrieval: Episodic Memory for RAG with Generative Semantic Workspaces

超越事实检索：具有生成语义工作区的RAG episodic记忆

Shreyas Rajesh, Pavan Holur, Chenda Duan, David Chong, Vwani Roychowdhury

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 GSW通过生成语义工作区提升LLM的长上下文推理能力，实现更高效的记忆管理与时空连贯性。

Comments AAAI 2026 Oral, code available at: https://github.com/roychowdhuryresearch/gsw-memory

Long Context, Less Focus: A Scaling Gap in LLMs Revealed through Privacy and Personalization

长上下文，少关注：通过隐私和个性化揭示LLM中的缩放差距

Shangding Gu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过PAPerBench基准测试揭示了LLM在长上下文情况下个性化和隐私保护性能下降的缩放差距，分析了注意力稀释的理论机制。

Attention in Constant Time: Vashista Sparse Attention for Long-Context Decoding with Exponential Guarantees

常数时间注意力：Vashista稀疏注意力用于长上下文解码的指数保证

Vashista Nobaub

机构 * Datar Consulting（达特咨询） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Vashista稀疏注意力通过理论保证实现长上下文解码的常数时间效率，平衡精度与计算成本。

Comments 22 pages

When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning

何时记忆何时停止：用于长上下文推理的门控循环记忆

Leheng Sheng, Yongtao Zhang, Wenchang Ma, Yaorui Shi, Ting Huang, Xiang Wang, An Zhang, Ke Shen, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 GRU-Mem通过引入两个文本控制的门，实现了更稳定和高效的长上下文推理，显著提升了推理速度和性能。

Comments 26 pages

Attention Sinks and Compression Valleys in LLMs are Two Sides of the Same Coin

注意力沉降与压缩山谷是大语言模型中的双面现象

Enrique Queipo-de-Llano, Álvaro Arroyo, Federico Barbero, Xiaowen Dong, Michael Bronstein, Yann LeCun, Ravid Shwartz-Ziv

机构 * University of Oxford（牛津大学） ； AITHYRA ； New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究揭示了大语言模型中注意力沉降与压缩山谷的联系，提出信息流的Mix-Compress-Refine理论，解释LLM如何通过大规模激活控制注意力和压缩来组织深度计算。

Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning

通过端到端强化学习实现压缩内存中的动态长上下文推理

Zhuoen Chen, Dongfang Li, Meishan Zhang, Baotian Hu, Min Zhang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于端到端强化学习的框架，通过分块压缩和选择性记忆回溯实现高效长上下文推理，提升了多跳推理任务的准确性和效率。

Comments 26 pages, 7 figures. Code and models will be released

From $O(mn)$ to $O(r^2)$: Two-Sided Low-Rank Communication for Adam in Distributed Training with Memory Efficiency

从O(mn)到O(r²)：为分布式训练中的Adam引入双侧低秩通信以提高内存效率

Sizhe Dang, Jiaqi Shao, Xiaodong Zheng, Guang Dai, Yan Song, Haishan Ye

机构 * Xi’an Jiaotong University（西安交通大学） ； SGIT AI Lab（SGIT人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 TSR-Adam通过双侧低秩通信将Adam优化器的通信开销从O(mn)降至O(r²)，在保持低维核心状态的同时减少通信量，提升分布式训练效率。

Echo State Transformer: Attention Over Finite Memories

回声状态变换器：对有限记忆的注意力

Yannis Bendi-Ouis, Xavier Hinaut

机构 * Mnemosyne Centre Inria de l'Université de Bordeaux（Mnemosyne研究中心，Inria波尔多大学研究中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 回声状态变换器通过结合Transformer注意力机制与共振计算节点，实现线性复杂度的高效时间序列处理，优于现有方法。

Double-P: Hierarchical Top-P Sparse Attention for Long-Context LLMs

Double-P: 分层Top-P稀疏注意力机制用于长上下文LLM

Wentao Ni, Kangqi Zhang, Zhongming Yu, Oren Nelson, Mingu Lee, Hong Cai, Fatih Porikli, Jongryool Kim, Zhijian Liu, Jishen Zhao

机构 * ucsd（加州大学圣迭戈分校） ； umich（密歇根大学） ； qualcomm（高通AI研究） ； nvidia 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Double-P通过分层Top-P稀疏注意力机制，优化长上下文LLM的解码效率，实现更高的准确性和更快的处理速度。

CoWork-X: Experience-Optimized Co-Evolution for Multi-Agent Collaboration System

CoWork-X：面向多智能体协作系统的经验优化共进化

Zexin Lin, Jiachen Yu, Haoyang Zhang, Yuzhao Li, Zhonghang Li, Yujiu Yang, Junjie Wang, Xiaoqiang Ji

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） ； Tsinghua University（清华大学） ； AutoGame Research（AutoGame研究） ； Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 CoWork-X通过主动共进化框架，优化多智能体协作系统的实时协调与多轮适应，实现稳定性能提升和降低延迟与令牌消耗。

Avenir-Web: Human-Experience-Imitating Multimodal Web Agents with Mixture of Grounding Experts

Avenir-Web: 人类经验模拟的多模态网络代理与接地专家混合

Aiden Yiliu Li, Xinyue Hao, Shilong Liu, Mengdi Wang

机构 * University College London（伦敦大学学院） ； The University of Edinburgh（爱丁堡大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Avenir-Web通过融合接地专家与经验模仿规划，实现了在复杂网络界面中可靠执行长周期任务的开源网络代理新纪录。

ES-MemEval: Benchmarking Conversational Agents on Personalized Long-Term Emotional Support

ES-MemEval：在个性化长期情感支持中评估对话代理的基准测试

Tiantian Chen, Jiaqi Lu, Ying Shen, Lin Zhang

机构 * Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ES-MemEval通过评估长期情感支持中的记忆能力，揭示了显式长期记忆对减少幻觉和提升个性化的重要性，同时指出了检索增强模型在时间动态方面的局限性。

Comments 12 pages, 7 figures. Accepted to The Web Conference (WWW) 2026

RedVisor: Reasoning-Aware Prompt Injection Defense via Zero-Copy KV Cache Reuse

RedVisor: 通过零拷贝KV缓存重用来实现推理感知的提示注入防御

Mingrui Liu, Sixiao Zhang, Cheng Long, Kwok-Yan Lam

机构 * Nanyang Technological University, Singapore（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RedVisor通过零拷贝KV缓存重用实现推理感知的提示注入防御，结合检测与预防策略，提升安全性和效率。

Comments under review