语言大模型 / LLM

DataStates-LLM: Scalable Checkpointing for Transformer Models Using Composable State Providers

DataStates-LLM：使用可组合状态提供器实现Transformer模型的可扩展检查点

Avinash Maurya, M. Mustafa Rafique, Franck Cappello, Bogdan Nicolae

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DataStates-LLM架构，通过状态提供器解耦状态抽象与数据移动，利用模型参数不变性实现惰性非阻塞异步快照，在256块A100 GPU上训练70B参数模型时，检查点吞吐量提升4倍，端到端训练时间减少2.2倍。

LinkAnchor: An Autonomous LLM-Based Agent for Issue-to-Commit Link Recovery

LinkAnchor：一个基于自主LLM的代理用于问题到提交链接恢复

Arshia Akhavan, Alireza Hoseinpour, Abbas Heydarnoori, Hamid Bagheri, Mehdi Keshani

机构 * Bowling Green State University（伯灵顿州立大学） ； University of Nebraska-Lincoln（内布拉斯加大学林肯分校） ； University of Zurich（苏黎世大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对软件仓库中问题到提交链接恢复的挑战，本文提出LinkAnchor，通过懒惰访问架构动态检索相关数据，提升链接恢复的准确性和效率。

Comments Proceedings of the ACM International Conference on the Foundations of Software Engineering (FSE), Montreal, Canada, July 2026

Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning

面向选择性多模态大语言模型遗忘的良性记忆遗忘

Zhen Zeng, Leijiang Gu, Zhangling Duan, Feng Li, Cees G. M. Snoek, Meng Wang, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型隐私泄露问题，提出S-MLLMUn Bench基准和SMFA框架，实现精确删除敏感知识同时保持模型基础能力。

Comments Accepted by ECCV 2026

HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering

HiMu: 面向长视频问答的分层多模态帧选择

Dan Ben-Ami, Gabriele Serussi, Kobi Cohen, Chaim Baskin

机构 * INSIGHT Lab, Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学INSIGHT实验室，以色列） ； Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学，以色列） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出HiMu框架，通过文本LLM将查询分解为层次逻辑树，由视觉和音频专家处理原子谓词，经模糊逻辑算子组合生成连续帧满意度曲线，在16帧预算下达到帧选择方法的最优精度，并作为即插即用模块提升多种MLLM性能。

Learning to Evict from Key-Value Cache

学习从键值缓存中驱逐

Luca Moschella, Laura Manduchi, Ozan Sener

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。

Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict

LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning

LIFT：一种通过长输入微调增强大语言模型长上下文理解的新型框架

Yansheng Mao, Yufei Xu, Jiaqi Li, Fanxu Meng, Haotong Yang, Zilong Zheng, Xiyuan Wang, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京通用人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 LIFT通过动态调整参数提升短上下文LLM的长上下文性能，避免二次复杂度，同时通过合成任务增强长上下文理解能力。

Comments 22 pages, ICML 2026 Poster, camera-ready

On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models

论共享嵌入序列模型中指令与数据的不可分离性

Dewank Pant, Shruti Lohani, Avijit Kumar

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文证明在共享嵌入架构中，由于缺乏强制控制-数据分离，完美防御提示注入在数学上是不可能的，并提出了语义忠实控制（SFC）的概念，通过三个理论结果揭示了其根本原因，类比冯·诺依曼架构的代码-数据混淆问题。

Comments 18 pages, 1 figure, 2 tables

Simplified Sparse Attention via Gist Tokens

遗忘，然后回忆：通过概要稀疏注意力实现可学习的压缩与选择性展开

Yuzhen Mao, Michael Y. Li, Emily B. Fox

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种通过概要稀疏注意力实现可学习的压缩与选择性展开机制，结合紧凑的全局表示与目标访问细粒度证据，提升长上下文大语言模型的效率与性能。

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

超越序列距离：模态间距离不变位置编码

Lin Chen, Bolin Ni, Qi Yang, Zili Wang, Kun Ding, Ying Wang, Houwen Peng, Shiming Xiang

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences, China（MAIS，自动化研究所，中国科学院，中国） ； University of Chinese Academy of Sciences, China（中国科学院大学，中国） ； Tencent Hunyuan Team, China（腾讯文言团队，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 针对多模态大模型在长上下文中的视觉衰减问题，提出模态间距离不变位置编码（DIPE），通过解耦模态间位置编码消除距离惩罚，保持视觉感知一致性，显著缓解视觉衰减。