语言大模型 / LLM

LLM Multi-Agent Systems: Challenges and Open Problems

大语言模型多智能体系统：挑战与开放问题

Shanshan Han, Qifan Zhang, Weizhao Jin, Zhaozhuo Xu

机构 * University of California, Irvine, CA, USA（加州大学尔湾分校） ； University of Southern California, Los Angeles, CA, USA（南加州大学） ； Stevens Institute of Technology, Hoboken, NJ, USA（史蒂文斯理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

AI总结 本文研究了多智能体系统在任务分配、推理增强和内存管理方面的挑战，并探讨其在区块链中的应用潜力。

Gated Differentiable Working Memory for Long-Context Language Modeling

具有门控可微工作记忆的长上下文语言模型

Lingrui Mei, Shenghua Liu, Yiwei Wang, Yuyao Ge, Baolong Bi, Jiayu Yao, Jun Wan, Ziling Yin, Jiafeng Guo, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of California, Merced（加州大学梅尔塞德斯分校） ； UBS AG（UBS集团） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

AI总结 Gdwm通过门控可微工作记忆框架，在有限计算下优化长上下文语言模型的测试时间适应，提升效率与性能。

LLM-Centric RAG with Multi-Granular Indexing and Confidence Constraints

Xiaofan Guo, Yaxuan Luan, Yue Kang, Xiangchen Song, Jinxu Guo

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL

Understanding and Enhancing Mamba-Transformer Hybrids for Memory Recall and Language Modeling

Hyunji Lee, Wenhao Yu, Hongming Zhang, Kaixin Ma, Jiyeon Kim, Dong Yu, Minjoon Seo

机构 * UNC Chapel Hill ； Tencent AI Lab（腾讯AI实验室） ； KAIST AI Work（韩国科学技术院AI研究） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

AUGUSTUS: An LLM-Driven Multimodal Agent System with Contextualized User Memory

Jitesh Jain, Shubham Maheshwari, Ning Yu, Wen-mei Hwu, Humphrey Shi

机构 * Adobe（Adobe公司） ； Netflix Eyeline Studios（Netflix Eyeline工作室） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

Comments LAW 2025 Workshop at NeurIPS 2025. Work done from late 2023 to early 2024

OmniBal: Towards Fast Instruction-Tuning for Vision-Language Models via Omniverse Computation Balance

Yongqiang Yao, Jingru Tan, Feizhao Zhang, Jiahao Hu, Yazhe Niu, Xin Jin, Bo Li, Pengfei Liu, Ruihao Gong, Dahua Lin, Ningyi Xu

机构 * Shanghai Jiao Tong University（上海交通大学） ； SenseTime Research（商汤科技研究院） ； Central South University（中南大学） ； Tongji University（同济大学） ； Beihang University（北航） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.AI

Comments Accepted in ICML 2025

FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management

Xiang Liu, Hong Chen, Xuming Hu, Xiaowen Chu

机构 * The Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：large language model(abstract,comments)；language model(abstract,comments)；分类 cs.CL

Comments NeurIPS 2025 Workshop on Multi-Turn Interactions in Large Language Models

Triangulating LLM Progress through Benchmarks, Games, and Cognitive Tests

Filippo Momentè, Alessandro Suglia, Mario Giulianelli, Ambra Ferrari, Alexander Koller, Oliver Lemon, David Schlangen, Raquel Fernández, Raffaella Bernardi

机构 * University of Trento（特伦托大学） ； ILCC University of Edinburgh（爱丁堡大学ILCC学院） ； UCL（伦敦大学学院） ； Saarland University（萨尔兰大学） ； Heriot-Watt University（赫瑞-瓦特大学） ； University of Potsdam（波茨坦大学） ； DFKI（德国达姆施塔特研究所） ； University of Amsterdam（阿姆斯特丹大学） ； Faculty of Engineering, Free University of Bozen-Bolzano（博兹纳-博尔扎诺自由大学工程学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL

Comments Accepted at EMNLP 2025 (Findings)

Can Memory-Augmented LLM Agents Aid Journalism in Interpreting and Framing News for Diverse Audiences?

Leyi Ouyang

机构 * South China Agriculture University Zhujiang College（华南农业大学珠江学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

Comments 9 pages, 4 figures, 5 tables

KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

Coleman Hooper, Sehoon Kim, Hiva Mohammadzadeh, Michael W. Mahoney, Yakun Sophia Shao, Kurt Keutzer, Amir Gholami

机构 * University of California, Berkeley（加州大学伯克利分校） ； ICSI ； LBNL（劳伦斯伯克利国家实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.LG

Comments NeurIPS 2024

UniFlow: A Foundation Model for Unified Urban Spatio-Temporal Flow Prediction

Yuan Yuan, Jingtao Ding, Chonghua Han, Zhi Sheng, Depeng Jin, Yong Li

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.LG

A Language Model With Million Context Length For Raw Audio

Prateek Verma

专题命中 长上下文与记忆 ：language model(title)；分类 cs.LG

Comments 5 pages, 1 figure. Technical Report at Stanford University

Is One GPU Enough? Pushing Image Generation at Higher-Resolutions with Foundation Models

Athanasios Tragakis, Marco Aversa, Chaitanya Kaul, Roderick Murray-Smith, Daniele Faccio

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.AI

Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective

Can Jin, Tianjin Huang, Yihua Zhang, Mykola Pechenizkiy, Sijia Liu, Shiwei Liu, Tianlong Chen

专题命中 长上下文与记忆 ：prompting(title)；分类 cs.LG

Collage: Light-Weight Low-Precision Strategy for LLM Training

Tao Yu, Gaurav Gupta, Karthick Gopalswamy, Amith Mamidala, Hao Zhou, Jeffrey Huynh, Youngsuk Park, Ron Diamant, Anoop Deoras, Luke Huan

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.LG

Comments ICML 2024

Leveraging BERT Language Model for Arabic Long Document Classification

Muhammad AL-Qurishi

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

Using Language Model to Bootstrap Human Activity Recognition Ambient Sensors Based in Smart Homes

Damien Bouchabou, Sao Mai Nguyen, Christophe Lohr, Benoit Leduc, Ioannis Kanellos

专题命中 长上下文与记忆 ：language model(title)；分类 cs.LG

Journal ref Electronics, MDPI, 2021, 10 (20), pp.2498

Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention

Soo Hyun Ryu, Richard L. Lewis

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

Comments CMCL 2021

N-gram and Neural Language Models for Discriminating Similar Languages

Andre Cianflone, Leila Kosseim

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

Comments 8 pages

Journal ref Proceedings of the Third Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial3). A workshop of the 26th International Conference on Computational Linguistics (COLING 2016, Osaka, Japan), pp 243-250 (2016)

MemFuse: Multi-Source Memory Fusion from Fragmented Observations

MemFuse：基于碎片化观测的多源记忆融合

Chao Li, Yuanfa Li, Wenhao Wu, Xule Liu, Zhi Wang, Kun Shao

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对现有记忆系统多聚焦单源文本、无法处理碎片化信息的问题，提出多源记忆融合基准MemFuseBench与结构化记忆系统MemFuse，实验显示MemFuse在跨源证据融合任务上表现最优。

Comments 30 pages, 4 figures, 4 tables

Cross-Model Memory Transfer via Target-Side Reader Adaptation

通过目标侧读取器适配实现跨模型记忆迁移

Mingyuan Li, Guangsheng Yu, Xu Wang, Shaoxiong Ji

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型知识利用的两类方法缺陷，探究Engram式哈希记忆跨模型迁移的关键因素，通过跨模型冻结记忆提取实验，提出双层四分支读取器，实现同模型与跨模型复用差距的缩小，证明Engram可作为可复用外部知识人工制品。

When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

当上下文产生误导时：用于稳健检索增强生成的意图引导解码

Haolin Jin, Pengyue Yang, Huaming Chen

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有RAG系统固定信任策略的缺陷，提出意图引导解码（IGD）框架，经多基准评估，可显著提升事实恢复能力，同时保持或改善上下文遵循行为。

AutoMem: A Text-Gradient Recursive Self-Improvement Framework for Automated Memory Architectures Search

AutoMem：面向自动化记忆架构搜索的文本梯度递归自改进框架

Lin Du, Jie Zhou, Yuxuan Cai, Kai Chen, Qin Chen, Xin Li, Bo Zhang, Wei Li, Liang He

机构 * School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 AutoMem是面向任务自适应记忆架构搜索的文本梯度递归自改进框架，通过经验引导架构搜索与失败引导模块诊断，在多基准测试中性能优于人工设计基线，实现了准确率与效率的良好权衡。

Lost in Compaction: Evaluating Side-Constraint Loss under Context Compaction

在压缩中迷失：评估上下文压缩下的侧约束损失

Zhiqi Wang, Yichi Zhang, Dongwon Lee, Yuchen Yang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文针对长上下文场景下压缩器丢失会话约束（SCs）的问题，提出COMPINT评估套件量化损失，并开发即插即用的SCs感知提取器，使SCs保留率超90%。

UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference

UT-ACA：基于不确定性触发的自适应上下文分配用于长上下文推理

Lang Zhou, Shuxuan Li, Zhuohao Li, Shi Liu, Zhilin Zhao, Wei-Shi Zheng

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institude（深圳环城区域研究所） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 UT-ACA通过动态调整上下文窗口，减少长上下文推理中的上下文使用量，同时保持生成质量。

Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding

保持简洁：用于超长视频理解的多键情景记忆检索

Yeeun Choi, Youngbeom Yoo, Joon-Young Lee, Hyolim Kang, Seon Joo Kim

机构 * Yonsei University（延世大学） ； Adobe Research（奥多比研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对超长视频理解的两阶段范式需求，提出MERIT框架，通过多键表示与按需时间扩展实现精准检索，在三个长视频基准数据集上取得最优性能。

Comments Accepted to ECCV 2026 (Oral). Project Page: https://choi-yeeun.github.io/MERIT/

Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective

重新思考通过统一信息论目标的KV缓存淘汰

Jiaming Yang, Chenwei Tang, Liangli Zhen, Jiancheng Lv

机构 * College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院，成都，中国） ； Institute of High Performance Computing, A STAR, Singapore（高性能计算研究院，新加坡） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CapKV方法，通过信息论原理优化KV缓存淘汰，提升内存效率与生成质量。

Comments 20 pages, 6 figures

Hardware Keystores for AI Agent Signing Workflows: A Zero-Trust MCP Enforcement Architecture

AI智能体签名工作流的硬件密钥存储：零信任MCP实施架构

Leo Sambrook, Sampo Sovio

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究针对AI智能体私钥易泄露问题，提出基于硬件密钥存储与五层零信任栈的架构，实验显示其攻击成功率降为0%且无误报。

Comments 11 pages, 2 figures. Accompanying code and artifacts available at: https://anonymous.4open.science/r/Hardware-Keystores-for-AI-Agent-Signing-Workflows-Artifact-357C

QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding

QEvict：面向注意力漂移鲁棒长上下文解码的可恢复量化键值缓存驱逐机制

Ayushman Garg, Akshita Gupta, Shaswata Bhattacharya, Abhishek Gupta, Sandeep Kumar, Manoj Kumar

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 QEvict是一种三层KV缓存管理方案，通过可恢复量化驱逐解决长上下文解码中的注意力漂移问题，在固定内存预算下提升了长上下文任务的信息保留效果。

Comments 24 pages, 6 figures. The first four authors contributed equally

Look Twice: Training-Free Evidence Highlighting for Knowledge-based Visual Question Answering

二次审视：多模态大语言模型中的免训练证据高亮

Marco Morini, Sara Sarto, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Look Twice框架，通过模型注意力模式识别相关视觉区域和文本证据，提升预训练MLLMs在多模态证据利用中的表现，实验显示在多个VQA基准上效果显著。

Comments Project Page: https://aimagelab.github.io/LoT/