语言大模型 / LLM

Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict

任务相关性：知识需求影响LLM在上下文记忆冲突中的响应

Kaiser Sun, Fan Bai, Mark Dredze

机构 * Center for Language and Speech Processing, Data Science and AI Institute（语言与语音处理中心，数据科学与人工智能研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了任务类型如何影响LLM在上下文与记忆冲突中的表现，发现任务对知识的依赖和冲突合理性共同影响性能，提出任务感知方法以平衡上下文与记忆。

Comments ACL2026 Camera Ready

LLM-Codec: Neural Audio Codec Meets Language Model Objectives

LLM-Codec：神经音频编解码器与语言模型目标的结合

Ho-Lam Chung, Yiming Chen, Hung-yi Lee

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所） ； NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立清华大学人工智能研究中心） ； ASUS Intelligent Cloud Services（ASUS智能云服务） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；language model(title,abstract)

AI总结 本文提出LLM-Codec，通过引入未来token预测和语义对齐，提升音频编解码器与语言模型的协同性能，实验表明在语音连贯性和语音Mel距离上均有显著提升。

Comments ACL2026 Finding

CLAG: Adaptive Memory Organization via Agent-Driven Clustering for Small Language Model Agents

CLAG：基于代理驱动聚类的自适应内存组织方法用于小型语言模型代理

Taeyun Roh, Wonjune Jang, Junha Jung, Jaewoo Kang

机构 * Korea University（韩国大学） ； Myongji University（明知大学） ； AIGEN Sciences（AIGEN公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract,abstract_cn)；large language model(abstract)

AI总结 CLAG通过代理驱动聚类实现小型语言模型代理的自适应内存组织，通过语义聚类减少跨主题干扰并提升内存密度，实验表明其在问答任务中能提高回答质量和鲁棒性。

Comments Findings of the ACL 2026

Sensorimotor Self-Recognition in Multimodal Large Language Model-Driven Robots

多模态大语言模型驱动机器人中的躯体自我识别

Iñaki Dellibarda Varela, Pablo Romero-Sorozabal, Diego Torricelli, Gabriel Delgado-Oleas, Jose Ignacio Serrano, Maria Dolores del Castillo Sobrino, Eduardo Rocon, Manuel Cebrian

机构 * Center for Automation and Robotics（自动化与机器人中心） ； University of Azuay（阿祖亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文研究多模态大语言模型通过躯体运动经验发展自我识别能力，展示机器人在环境感知、自我识别和预测意识方面的表现，揭示感觉整合对最小自我的影响及记忆协调机制。

Comments 16 pages, 3 figures, 1 table

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

通过多智能体协作扩展LLM上下文窗口之外的知识输入

Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Fei Huang, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究院，清华大学，北京，中国） ； Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China（人工智能产业研究院（AIR），清华大学，北京，中国） ； Institute of Intelligent Computing, Alibaba Group（智能计算研究院，阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出ExtAgents框架，通过多智能体协作提升LLM在不延长上下文窗口的情况下整合外部知识的能力，实验证明其在多跳问答和长文本生成任务中优于现有方法。

Comments Accepted to ACL 2026. 31 pages, 10 figures. Code and data are available at https://github.com/THUNLP-MT/ExtAgents

HiveMind: OS-Inspired Scheduling for Concurrent LLM Agent Workloads

HiveMind: 为并发LLM代理工作负载提供操作系统启发的调度

Justice Owusu Agyemang, Jerry John Kponyo, Obed Kwasi Somuah, Elliot Amponsah, Godfred Manu Addo Boakye, Kwame Opuni-Boachie Obour Agyekum

机构 * Sperix Labs（Sperix实验室） ； VIA Cybersecurity Lab（VIA网络安全实验室） ； KNUST（科罗纳大学） ； Quantum and Assistive Technologies Lab（量子与辅助技术实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 HiveMind通过引入五个操作系统启发的调度原语，解决并发LLM代理在共享API端点时的资源竞争问题，显著降低失败率并减少浪费计算。

HeLa-Mem: Hebbian Learning and Associative Memory for LLM Agents

HeLa-Mem：基于Hebb学习和联想记忆的LLM代理

Jinchang Zhu, Jindong Li, Cheng Zhang, Jiahong Liu, Menglin Yang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Jilin University（吉林大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 HeLa-Mem通过生物启发的动态图模型，结合联想学习与语义存储，提升LLM在长时记忆中的表现，实验显示在四个问题类别上效果更优且使用更少上下文令牌。

Comments Accepted to ACL 2026

Multi-LLM Orchestration for High-Quality Code Generation: Exploiting Complementary Model Strengths

多LLM协同生成高质量代码：利用互补模型优势

Huashan Chen, Zhenyu Qi, Haotang Li, Hong Chen, Jinfu Chen, Kebin Peng, In Kee Kim, Kyu Hyung Lee, Sen He, Weiyi Shang

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出PerfOrch系统，通过分阶段、分类别的多模型协作提升代码生成质量，利用Memory模块选择最适合的模型，实现高准确率和效率。

OPSDL: On-Policy Self-Distillation for Long-Context Language Models

OPSDL：针对长上下文语言模型的在线自蒸馏

Xinsen Zhang, Zhenkai Ding, Tianjun Pan, Run Yang, Chun Kang, Xue Xiong, Jingnan Gu

机构 * Baidu Inc（百度公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；post-training(abstract)

AI总结 OPSDL通过在线自蒸馏方法提升长上下文能力，利用模型自身短上下文能力作为自教师，通过点-wise KL散度提供每token监督信号，有效减少幻觉并提升样本效率，优于传统后训练方法。

Comments 9 pages, 1 figure

Don't Start What You Can't Finish: A Counterfactual Audit of Support-State Triage in LLM Agents

不要开始无法完成的任务：对LLM代理支持状态分拣的反事实审计

Eren Unlu

机构 * Globeholder Paris, France（巴黎 Globeholder 机构，法国） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 本文通过反事实审计框架评估LLM代理在任务分拣中的能力，发现默认执行过度承诺非完整任务，而通过特定提示条件可显著提升分拣准确性。

FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning

FOREVER: 基于遗忘曲线的记忆回放用于语言模型连续学习

Yujie Feng, Hao Wang, Jian Li, Xu Chu, Zhaolu Kang, Yiran Liu, Yasha Wang, Philip S. Yu, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； ShineMo Ltd., China（中国 ShineMo 公司） ； Solar System of OVB, Tencent, China（腾讯 OVB 太阳系中国） ； Peking University（北京大学） ； University College London（伦敦大学学院） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 FOREVER通过引入遗忘曲线概念，提出了一种基于模型自身时间的连续学习框架，有效缓解了语言模型在持续学习中的灾难性遗忘问题。

Comments ACL 2026 Camera-ready

ConMeZO: Adaptive Descent-Direction Sampling for Gradient-Free Finetuning of Large Language Models

ConMeZO：适应性下降方向采样用于大语言模型的梯度自由微调

Lejs Deen Behric, Liang Zhang, Bingcong Li, Kiran Koshy Thekumparampil

机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） ； Amazon AGI Labs（亚马逊人工智能实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 ConMeZO通过适应性方向采样加速大语言模型微调的收敛速度，保留低内存足迹，比MeZO快2倍。

AnchorMem: Anchored Facts with Associative Contexts for Building Memory in Large Language Models

AnchorMem: 基于关联上下文的锚定事实用于构建大语言模型的记忆

Zhanyu Shen, Sijie Cheng, Zhicheng Guo, Weiqin Wang, Yile Wang, Hui Huang

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出AnchorMem，通过锚定事实与关联上下文构建大语言模型的记忆系统，解决传统方法依赖总结导致信息丢失的问题，实验表明其在LoCoMo基准上表现优异。

Comments ACL 2026 Findings

Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines

降低现代多模态大语言模型流水线的峰值内存使用

Junwan Kim, Hyunkyung Bae

机构 * New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出一种顺序输入压缩机制，在预填充阶段通过结构感知的键值缓存压缩，降低多模态大语言模型的峰值内存使用，同时保持生成性能。

Comments ACL 2026

HeteroCache: A Dynamic Retrieval Approach to Heterogeneous KV Cache Compression for Long-Context LLM Inference

HeteroCache：一种用于长上下文LLM推理的异构KV缓存压缩动态检索方法

Zhiyuan Shi, Qibo Qiu, Feng Xue, Zhonglin Jiang, Li Yu, Jian Jiang, Xiaofei He, Wenxiao Wang

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； China Mobile (Zhejiang) Research & Innovation Institute（中国移动（浙江）研究院） ； State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室） ； Geely Automobile Research Institute (Ningbo) Co., Ltd.（吉利汽车研究院（宁波）有限公司） ； FABU Inc.（FABU公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出HeteroCache，通过动态检索方法解决KV缓存压缩问题，利用头部异质性和空间冗余性，实现高效缓存分配和存储机制，提升长上下文推理性能。

Comments Accepted to ACL 2026 Main Conference

When Agents Go Quiet: Output Generation Capacity and Format-Cost Separation for LLM Document Synthesis

当代理变得沉默：LLM文档合成中的输出生成能力与格式-成本分离

Justice Owusu Agyemang, Michael Agyare, Miriam Kobbinah, Nathaniel Agbugblah, Prosper Addo

机构 * Sperix Labs（Sperix实验室） ； VIA Cybersecurity Lab, KNUST（VIA网络安全实验室，科诺斯大学） ； GCTU, Ghana（加纳格茨大学） ； NCA, Ghana（加纳国家计算机学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出OGC衡量输出生成能力，证明格式-成本分离定理，并提出自适应策略选择框架，通过实验验证理论，减少生成token并消除输出停滞问题。

MetaMem: Evolving Meta-Memory for Knowledge Utilization through Self-Reflective Symbolic Optimization

MetaMem: 通过自反思符号优化实现元记忆的进化以促进知识利用

Haidong Xin, Xinze Li, Zhenghao Liu, Yukun Yan, Shuo Wang, Cheng Yang, Yu Gu, Ge Yu, Maosong Sun

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） ； School of Computer Science, Beijing University of Posts and Telecommunications, Beijing, China（北京邮电大学计算机学院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MetaMem框架，通过自反思符号优化增强记忆系统，帮助LLM更有效地利用记忆知识。实验表明，MetaMem在多个任务中显著优于基线模型，提升超过3.6%。

Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch

LLMs能否超越经典超参数优化算法？对autoresearch的研究

Fabio Ferreira, Lucca Wobbe, Arjun Krishnakumar, Frank Hutter, Arber Zela

机构 * ELLIS Institute Tübingen（图宾根ELLIS研究所） ； University of Freiburg（弗赖堡大学） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Prior Labs（Prior实验室） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)；分类 cs.LG

AI总结 本文通过autoresearch平台比较经典HPO算法与LLM方法在优化小型语言模型超参数时的表现，发现经典方法在避免内存故障方面更优，而LLM在代码编辑能力上有所提升，但未完全超越经典方法，提出Centaur混合方法结合经典算法和LLM优势，取得最佳效果。

AttnTrace: Contextual Attribution of Prompt Injection and Knowledge Corruption

AttnTrace: 基于提示注入和知识腐败的上下文归因

Yanting Wang, Runpeng Geng, Ying Chen, Jinyuan Jia

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出AttnTrace，一种基于LLM对提示生成的注意力权重的上下文追溯方法，通过增强效果和技术改进，提高了准确性和效率，并展示了其在检测长上下文中的提示注入应用。

Comments To appear in IEEE S&P 2026. The code is available at https://github.com/Wang-Yanting/AttnTrace. The demo is available at https://huggingface.co/spaces/SecureLLMSys/AttnTrace

AQPIM: Breaking the PIM Capacity Wall for LLMs with In-Memory Activation Quantization

AQPIM: 突破LLM的PIM容量墙：基于内存激活量化

Kosuke Matsushima, Yasuyuki Okoshi, Masato Motomura, Daichi Fujiki

机构 * Institute of Science Tokyo（东京科学研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AQPIM，一种基于内存激活量化的PIM框架，通过聚类向量量化提升带宽和计算效率，显著减少内存占用和计算开销。

Comments Accepted to HPCA 2026

Oblivion: Self-Adaptive Agentic Memory Control through Decay-Driven Activation

遗忘：通过衰减驱动的激活实现自适应的代理记忆控制

Ashish Rana, Chia-Chien Hung, Qumeng Sun, Julian Martin Kunkel, Carolin Lawrence

机构 * NEC Laboratories Europe（NEC欧洲实验室） ； GWDG, Georg-August-Universität Göttingen（GWDG与哥廷根亚利桑德罗大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 Oblivion通过衰减驱动的激活机制实现自适应的记忆控制，平衡学习与遗忘，提升LLM代理推理效果。

Comments 30 pages, 6 figures, and 17 tables. The source code is available at https://github.com/nec-research/oblivion

FlexiCache: Leveraging Temporal Stability of Attention Heads for Efficient KV Cache Management

FlexiCache: 利用注意力头的时序稳定性实现高效的KV缓存管理

Nazmul Takbir, Hamidreza Alikhani, Nikil Dutt, Sangeetha Abdu Jyothi

机构 * Anonymous Authors（匿名作者） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出FlexiCache，通过利用注意力头的时序稳定性减少GPU内存和计算开销，同时保持模型精度，适用于长上下文和长生成场景。

Comments Accepted at MLSys-2026

Non-Stationarity in the Embedding Space of Time Series Foundation Models

时间序列基础模型嵌入空间中的非平稳性

Jinmyeong Choi, Brad Shook, Artur Dubrawski

机构 * Auton Lab（自动化实验室） ； Robotics Institute（机器人研究所） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究时间序列基础模型嵌入空间中非平稳性的检测方法，分析不同分布非平稳性和时间非平稳性对模型检测能力的影响。

Comments 17 pages, 7 figures

Latent Preference Modeling for Cross-Session Personalized Tool Calling

潜在偏好建模用于跨会话个性化工具调用

Yejin Yoon, Minseo Kim, Taeuk Kim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MPT基准和PRefine方法，通过生成-验证-细化循环提升工具调用准确性，仅用1.24%的token实现稳健的个性化。

Comments Under review. 25 pages, 10 figures, 16 tables

Raw Pointer Rewriting with LLMs for Translating C to Safer Rust

使用LLM的原始指针重写用于将C翻译为更安全的Rust

Yifei Gao, Chengpeng Wang, Pengxiang Huang, Xuwei Liu, Mingwei Zheng, Xiangyu Zhang

机构 * Purdue University（普渡大学） ； University of Rochester（罗切斯特大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn)；prompting(abstract)；分类 cs.AI

AI总结 本文提出PR2技术，通过决策树提示引导指针提升，消除C到Rust翻译中的原始指针，提升代码安全性。

Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning

增强证据的策略优化用于长上下文推理

Xin Guan, Zijian Li, Shen Huang, Pengjun Xie, Jingren Zhou, Jiuxin Cao

机构 * Tongyi Lab（通义实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出EAPO方法，通过引入组相对证据奖励和适应性奖励-策略共演机制，提升长上下文推理中的证据提取质量，从而增强推理性能。

MegaRAG: Multimodal Knowledge Graph-Based Retrieval Augmented Generation

MegaRAG：基于多模态知识图谱的检索增强生成

Chi-Hsiang Hsiao, Yi-Cheng Wang, Tzung-Sheng Lin, Yi-Ren Yeh, Chu-Song Chen

机构 * Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与信息工程系） ； Department of Mathematics, National Kaohsiung Normal University（高雄师范大学数学系） ； FinTech Center, National Taiwan University（国立台湾大学金融科技中心） ； E.SUN Financial Holding Co., Ltd.（E.SUN财务公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MegaRAG通过引入多模态知识图谱，提升大语言模型在跨模态推理中的内容理解能力，在文本和多模态语料中均优于现有RAG方法。

Comments ACL 2026

MoE-nD: Per-Layer Mixture-of-Experts Routing for Multi-Axis KV Cache Compression

MoE-nD：多轴KV缓存压缩的分层专家路由

Libo Sun, Peixiong He, Po-Wei Harn, Xiao Qin

机构 * Department of Computer Science and Software Engineering, Auburn University, Auburn, AL, USA（计算机科学与软件工程系，阿伯拉罕大学，阿伯丁，阿拉巴马州，美国） ； Department of Information Management, National Central University, Taoyuan, Taiwan（信息管理系，国立中央大学，桃园，台湾） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出MoE-nD方法，通过分层专家路由实现多轴KV缓存压缩，优化每层的缓存策略以提升模型性能，实验表明其在多个基准测试中表现优异。

Comments 9 pages, 3 figures, 6 tables

ASTRA: An Automated Framework for Strategy Discovery, Retrieval, and Evolution for Jailbreaking LLMs

ASTRA：一种用于对抗大语言模型 jailbreak 的自动化框架

Xu Liu, Yan Chen, Kan Ling, Yichi Zhu, Hengrun Zhang, Guisheng Fan, Huiqun Yu

机构 * School of Information Science and Engineering, East China University of Science and Technology, Shanghai, China（东华大学信息科学与工程学院，上海，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 ASTRA 提出了一种自动化框架，通过闭环机制自动发现、检索和演化攻击策略，提升攻击策略的多样性和适应性。

Comments Acccepted by ACL 2026, 20 pages, 7 figures, 13 tables

Video Panels for Long Video Understanding

用于长视频理解的视频面板

Lars Doorenbos, Federico Spurio, Juergen Gall

机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文提出一种无需训练的视觉提示策略，通过将多帧组合成图像以换取时间分辨率，提升了长视频理解模型的性能，实验表明在多个基准上效果显著。

Comments CVPR 2026