语言大模型 / LLM

PersonaAgent: Bridging Memory and Action for Personalized LLM Agents

PersonaAgent：弥合个性化LLM智能体的记忆与行动

Weizhi Zhang, Xinyang Zhang, Chenwei Zhang, Liangwei Yang, Jingbo Shang, Zhepei Wei, Henry Peng Zou, Zijie Huang, Zhengyang Wang, Yifan Gao, Xiaoman Pan, Lian Xiong, Jingguo Liu, Philip S. Yu, Xian Li

机构 * Amazon Stores Foundational AI（亚马逊基础AI） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PersonaAgent框架，通过整合个性化记忆模块（情景与语义记忆）和行动模块，并利用角色提示作为中介实现记忆与行动的协同，以解决LLM智能体的个性化任务。

Comments Accepted in ACL 2026

Dynamic Ranked List Truncation for Reranking Pipelines via LLM-generated Reference-Documents

基于LLM生成参考文档的重排序流水线动态排名列表截断

Nilanjan Sinhababu, Soumedhik Bharati, Debasis Ganguly, Pabitra Mitra

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出利用LLM生成参考文档作为相关与不相关文档的枢纽，实现动态排名列表截断和高效列表式重排序，在TREC DL基准上性能提升且加速达66%。

Indexing the Unreadable: LLM-Native Recursive Construction and Search of Service Taxonomies

索引不可读之物：基于LLM原生的服务分类法递归构建与搜索

Wei Zheng, Yang Yan, Yiyang Shao, Jinyang Li, Zeze Chang, Yukuang Jia, Qiming Mao, Chihyung Wang, Jingbin Zhou

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对LLM在服务发现中因上下文窗口限制和长输入中间信息丢失问题，提出LLM原生的渐进式披露方案A2X，通过自动构建层次化服务分类法并在查询时逐层遍历，显著提升检索准确率并降低token消耗。

Comments Preprint. 8 pages main paper + appendix; 2 figures. Under submission to EMNLP 2026

Parallax: Parameterized Local Linear Attention for Language Modeling

Parallax: 参数化局部线性注意力用于语言建模

Yifei Zuo, Dhruv Pai, Zhichen Zeng, Alec Dewulf, Shuming Hu, Zhaoran Wang

机构 * Northwestern University（西北大学） ； Tilde Research（Tilde研究） ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 提出Parallax，一种可扩展的参数化局部线性注意力机制，通过消除数值求解器并学习查询投影器，在语言模型预训练中实现一致的困惑度改进和下游任务迁移优势。

SelfGrader: LLM Jailbreak Detection via Anchored Token-Level Logits

SelfGrader: 基于锚定令牌级对数概率的LLM越狱检测

Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

机构 * Department of Computer Science and Engineering, University of Nevada, Reno（内华达大学里诺分校计算机科学与工程系） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SelfGrader方法，利用锚定令牌级对数概率将越狱检测转化为数值评分问题，实现低延迟、低误报率的鲁棒检测。

Meta-Cognitive Memory Policy Optimization for Long-Horizon LLM Agents

元认知记忆策略优化用于长视野LLM智能体

Ziyan Liu, Zhezheng Hao, Yeqiu Chen, Hong Wang, Jingren Hou, Ruiyi Ding, Yongkang Yang, Wence Ji, Wei Xia, Feng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对长视野任务中记忆策略训练缺乏中间监督的问题，提出基于信念熵的元认知记忆策略优化（MMPO），通过自监督代理惩罚高认知不确定性摘要，提升长期推理性能。

PatchBoard: Schema-Grounded State Mutation for Reliable and Auditable LLM Multi-Agent Collaboration

PatchBoard: 基于Schema的可靠且可审计的LLM多智能体协作状态变更框架

Shuyu Zhang, Yaqi Shi, Lu Wang

机构 * School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出PatchBoard架构，通过Schema约束的JSON Patch状态变更替代智能体间对话，实现可验证、可审计的多智能体协作，在ALFWorld任务中成功率84.6%，令牌消耗45.5k。

Long-Context Modeling with Dynamic Hierarchical Sparse Attention for Memory-Constrained LLM Inference

基于动态层次稀疏注意力的内存受限大语言模型长上下文建模

Siheng Xiong, Joe Zou, Faramarz Fekri, Yae Jee Cho

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Google（谷歌） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 提出动态层次稀疏注意力（DHSA），通过在线预测注意力稀疏性并保持LLM骨干冻结，在内存受限下实现高效长上下文推理，精度接近密集注意力且速度提升显著。

Comments ICML26 (Spotlight)

Hijacking Agent Memory: Stealthy Trojan Attacks Through Conversational Interaction

劫持Agent记忆：通过对话交互的隐蔽木马攻击

Hongtao Wang, Se Yang, Yu Chen, Puzhuo Liu

机构 * North China Electric Power University（华北电力大学） ； Tencent（腾讯） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MemPoison攻击方法，通过语义关系桥、实体伪装和联合嵌入优化绕过选择性记忆机制，在LLM Agent长期记忆中注入触发器后门，实现高达0.95的攻击成功率。

Comments 19 pages, 12 figures

SCOPE: Prompt Evolution for Enhancing Agent Effectiveness

SCOPE: 通过提示进化增强智能体效能

Zehua Pei, Hui-Ling Zhen, Shixiong Kai, Sinno Jialin Pan, Yunhe Wang, Mingxuan Yuan, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM智能体静态提示无法有效管理动态上下文导致失败的问题，提出SCOPE框架，将上下文管理建模为在线优化问题，通过双流记忆机制和视角驱动探索自动进化提示，在HLE基准上将任务成功率从14.23%提升至38.64%。

Enhancing Multi-Agent Communication through Attention Steering with Context Relevance

通过上下文相关性的注意力引导增强多智能体通信

Hongxiang Zhang, Yuan Tian, Tianyi Zhang

机构 * Purdue University（普渡大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对LLM多智能体系统中长对话历史导致信息稀释的问题，提出无训练的上下文管理方法Agent-Radar，利用时空衰减机制动态引导注意力，在五个基准上取得最高7.64个绝对点的提升。

HTAM: Hierarchical Transition-Attended Memory for Operator Optimization

HTAM: 用于算子优化的层次化过渡注意力记忆

Yining Zhang, Mingyang Yi, Chen Wang, Xuwen Xiang, Tianhe Jia, Zedong Dan, Chengqing Zong, Yue Wang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） ； Renmin University of China（中国人民大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出HTAM框架，通过构建层次化过渡图（HTG）组织粗粒度全局方向和细粒度局部策略，解决LLM在GPU算子优化中粒度不匹配问题，显著提升正确率和加速比。

Comments 24 pages, 5 figures

Knowledge Offloading: Decomposing LLMs into Sparse Backbones and Memory Modules

知识卸载：将大语言模型分解为稀疏骨干和记忆模块

Karim Galliamov, Rochelle Choenni, Ivan Titov

机构 * University of Amsterdam（阿姆斯特丹大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 提出知识卸载（KOFF）框架，通过结构化剪枝和轻量级恢复模块将预训练LLM分解为稀疏共享骨干和领域特定记忆，在约12%全局稀疏度下保持模型性能，并发现语言特定神经元优先被移除。

CriticalKV: Optimizing KV Cache Eviction from an Output Perturbation Perspective

CriticalKV: 从输出扰动角度优化 KV 缓存淘汰

Yuan Feng, Junlin Lv, Haoyu Guo, Yukun Cao, S Kevin Zhou, Xike Xie

机构 * School of Computer Science, University of Science and Technology of China（科学技术大学计算机科学学院） ； School of Biomedical Engineering, USTC（USTC生物医学工程学院） ； Data Darkness Lab, MIRACLE Center, Suzhou Institute for Advanced Research（苏州先进研究院数据黑暗实验室、奇迹中心） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过分析注意力输出扰动，提出一种基于扰动约束的 KV 缓存条目选择算法，显著降低压缩损失。

Comments ICML 2026

Scaling Multi-agent Systems: A Smart Middleware for Improving Agent Interactions

扩展多智能体系统：一种用于改善智能体交互的智能中间件

Charles Fleming, Guillaume De Saint Marc, Ramana Kompella, Peter Bosch, Vijoy Pandey

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 提出认知织物节点（CFN）中间件，通过强化学习和优化算法动态管理智能体间通信，在HotPotQA和MuSiQue数据集上性能提升超过10%。

Loong: A Human-Like Long Document Translation Agent with Observe-and-Act Adaptive Context Selection

Loong: 一种类人长文档翻译代理，具有观察与行动的适应性上下文选择

Yutong Wang, Xuebo Liu, Derek F. Wong, Zhilin Li, Rongqing Jiang, Min Zhang, Shimin Tao, Daimeng Wei, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳研究院） ； NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学学院自然语言处理与CT实验室） ； Huawei Translation Services Center（华为翻译服务中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Loong代理，通过3E记忆模块和强化学习优化上下文策略，解决长文档翻译中上下文窗口限制和冗余信息问题，在英⇄中、德、法翻译中平均提升13.0分。

Learning Design Skills as Memory Policies for Agentic Photonic Inverse Design

将设计技能学习为记忆策略用于智能光子逆向设计

Shengchao Chen, Ting Shu, Sufen Ren

机构 * AAII, University of Technology Sydney（AAII，悉尼技术大学） ； School of Artificial Intelligence, Shenzhen University（人工智能学院，深圳大学） ； School of Information and Communication Engineering, Hainan University（信息与通信工程学院，海南大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出SkillPCF闭环智能体框架，通过物理引导的记忆技能库、强化学习技能选择和模拟器接地技能演化，解决光子晶体光纤逆向设计中的知识积累问题，在真实数据集上实现更优的设计质量与效率权衡。

Comments AI4Physics@ICML 2026

Mindscape-Aware Retrieval Augmented Generation for Improved Long Context Understanding

心智景观感知的检索增强生成以改进长上下文理解

Yuqing Li, Jiangnan Li, Zheng Lin, Ziyan Zhou, Junjie Wu, Weiping Wang, Jie Zhou, Mo Yu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； WeChat AI, Tencent（腾讯微信AI） ； Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出MiA-RAG框架，通过层次化摘要构建心智景观并统一检索与生成的条件，实现全局语义表示指导下的长上下文检索与推理。

AgentOrchestra: Orchestrating Multi-Agent Intelligence with the Tool-Environment-Agent(TEA) Protocol

AgentOrchestra：使用工具-环境-智能体（TEA）协议编排多智能体智能

Wentao Zhang, Liang Zeng, Yuzhen Xiao, Yongcong Li, Ce Cui, Yilei Zhao, Rui Hu, Yang Liu, Yahui Zhou, Bo An

机构 * Skywork AI ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出TEA协议和AgentOrchestra框架，通过统一抽象和分层编排实现多智能体系统的生命周期感知协调，在GAIA测试集上达到89.04%的准确率。

AnomalyAgent: Training-Free Agentic Models for Zero-/Few-Shot Anomaly Detection

AnomalyAgent: 用于零样本/少样本异常检测的无训练智能体模型

Yi Zhang, Jiawen Zhu, Lele Fu, Guansong Pang

机构 * Singapore Management University（新加坡国立管理学院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 提出一种基于多模态大语言模型的无训练智能体框架AnomalyAgent，通过定制工具集和记忆模块实现零样本/少样本异常检测，在逻辑/上下文异常等复杂场景中优于现有方法。

Graph Memory Transformer (GMT)

图记忆Transformer (GMT)

Nicola Zanarini, Niccolò Ferrari, Evelina Lamma

机构 * Bonfiglioli Engineering s.r.l.（博尼菲利工程公司） ； Department of Engineering, University of Ferrara（费拉拉大学工程学院） ； NAIS s.r.l.（NAIS公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出用显式学习的记忆图替换解码器-only Transformer中的前馈网络子层，保留自回归架构，实现可解释的记忆导航。

Comments 65 pages, 10 figures, 5 tables. Author list updated in arXiv metadata; no technical changes. Code available at https://github.com/Nemesis533/GMT-GraphMemoryTransformer

Rotary GPU: Exploring Local Execution Paths for Large Mixture-of-Experts Models Under Limited GPU Memory

Rotary GPU：在有限GPU内存下探索大型混合专家模型的本地执行路径

Myeong Jun Jo

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 针对大型模型在有限硬件资源下的部署问题，提出Rotary GPU方法，在消费级笔记本上使用RTX 4060 GPU（8GB VRAM）运行Qwen3.6-35B-A3B类混合专家模型，实现了约6.3GB显存占用和21.06 tokens/s的解码吞吐量。

Comments 10 pages, 3 figures. Also archived at Zenodo (DOI: 10.5281/zenodo.20406471). Related to Korean Patent Publication KR 10-2026-0070380

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

VideoMLA: 用于分钟级自回归视频扩散的低秩潜在KV缓存

Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） ； fal Project（fal项目） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出VideoMLA，通过多头潜在注意力（MLA）将每头KV替换为共享低秩内容潜在和分离的3D-RoPE位置键，在视频扩散中减少92.7%的KV内存，并保持质量与吞吐量提升。

Comments Project Page: https://videomla.github.io/