语言大模型 / LLM

Beyond Static Summarization: Proactive Memory Extraction for LLM Agents

超越静态摘要：为LLM代理的主动记忆提取

Chengyuan Yang, Zequn Sun, Wei Wei, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学） ； National Institute of Healthcare Data Science, Nanjing University, China（健康数据科学国家研究院，南京大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ProMem，一种主动记忆提取方法，通过递归反馈机制提升LLM代理的记忆完整性和问答准确性，实现高质量与低成本的平衡。

Empirical Comparison of Encoder-Based Language Models and Feature-Based Supervised Machine Learning Approaches to Automated Scoring of Long Essays

基于编码器的语言模型与基于特征的监督机器学习方法在长作文自动评分中的实证比较

Kuo Wang, Haowei Hua, Pengfei Yan, Hong Jiao, Dan Song

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本研究比较了基于编码器的语言模型与基于特征的监督机器学习方法在长作文自动评分中的表现，发现嵌入集成模型在评分效果上优于单一语言模型。

Comments 22 pages, 5 figures, 3 tables, presented at National Council on Measurement in Education 2025

DIP: Dynamic In-Context Planner For Diffusion Language Models

DIP: 用于扩散语言模型的动态上下文规划器

Yang Li, Han Meng, Chenan Wang, Haipeng Chen

机构 * College of William & Mary（威廉姆斯堡学院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 DIP是一种用于扩散语言模型的上下文优化方法，通过动态选择和插入上下文示例提升生成效率，实现显著的推理加速。

Comments 4 pages

VTCBench: Can Vision-Language Models Understand Long Context with Vision-Text Compression?

VTCBench: 视觉-语言模型能否通过视觉-文本压缩理解长上下文？

Hongbo Zhao, Meng Wang, Fei Zhu, Wenzhuo Liu, Bolin Ni, Fanhu Zeng, Gaofeng Meng, Zhaoxiang Zhang

机构 * 1 Institute of Automation, Chinese Academy of Sciences ； 2 School of Artificial Intelligence, University of Chinese Academy of Sciences ； 3 Centre for Artificial Intelligence ； Robotics, Hong Kong Institute of Science \& Innovation, CAS ； 4 Independent Researcher 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 VTCBench评估视觉-文本压缩对视觉语言模型长上下文理解能力的影响，发现多数模型在处理压缩信息时表现不佳。

UniExtreme: A Universal Foundation Model for Extreme Weather Forecasting

UniExtreme: 一种用于极端天气预报的通用基础模型

Hang Ni, Weijia Zhang, Hao Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 UniExtreme是一种通用极端天气预报基础模型，通过自适应频率调制和事件先验增强模块，提升对多样化极端天气事件的预测能力。

Comments 35 pages, 80 figures, submitted to ACM KDD 2026 conference

Attention Sinks in Diffusion Language Models

扩散语言模型中的注意力汇

Maximo Eduardo Rulli, Simone Petruzzi, Edoardo Michielon, Fabrizio Silvestri, Simone Scardapane, Alessio Devoto

机构 * Sapienza University of Rome（罗马大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了扩散语言模型中的注意力汇现象，发现其注意力位置在生成过程中动态变化，且对掩码具有鲁棒性，揭示了与自回归模型的不同特性。

SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents

SABER: 小动作，大误差 -- 保护LLM代理中的突变步骤

Alejandro Cuadron, Pengfei Yu, Yang Liu, Arpit Gupta

机构 * Amazon AGI Foundations（亚马逊人工智能基础研究） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 SABER通过分析LLM代理中的突变步骤，提出针对性保护措施，提升长周期任务的稳定性。

Comments submitted to ICLR2026

TOBUGraph: Knowledge Graph-Based Retrieval for Enhanced LLM Performance Beyond RAG

Savini Kashmira, Jayanaka L. Dantanarayana, Joshua Brodsky, Ashish Mahendra, Yiping Kang, Krisztian Flautner, Lingjia Tang, Jason Mars

机构 * University of Michigan（密歇根大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Comments Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing: Industry Track

Accumulating Context Changes the Beliefs of Language Models

Jiayi Geng, Howard Chen, Ryan Liu, Manoel Horta Ribeiro, Robb Willer, Graham Neubig, Thomas L. Griffiths

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

Language Modeling With Factorization Memory

Lee Xiong, Maksim Tkachenko, Johanes Effendi, Ting Cai

机构 * Rakuten Group, Inc.（Rakuten集团） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

Category-Aware Semantic Caching for Heterogeneous LLM Workloads

Chen Wang, Xunzhuo Liu, Yue Zhu, Alaa Youssef, Priya Nagpurkar, Huamin Chen

机构 * IBM Research（IBM研究院） ； Tencent（腾讯） ； Red Hat（红帽） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Comments 13 pages including reference, position paper

LLM Based Long Code Translation using Identifier Replacement

Manojit Chakraborty, Madhusudan Ghosh, Rishabh Gupta

机构 * Bosch Research & Technology Center（博世研究与技术中心） ； Indian Association for the Cultivation of Science（印度科学培养协会） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

ChromFound: Towards A Universal Foundation Model for Single-Cell Chromatin Accessibility Data

Yifeng Jiao, Yuchen Liu, Yu Zhang, Xin Guo, Yushuai Wu, Chen Jiang, Jiyang Li, Hongwei Zhang, Limei Han, Xin Gao, Yuan Qi, Yuan Cheng

机构 * Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化院） ； Shanghai Academy of Artificial Intelligence for Science（上海人工智能科学研究院） ； Computer, Electrical and Mathematical Sciences and Engineering Division, KAUST（卡塔尔大学计算机、电子与数学科学与工程系） ； Center of Excellence for Smart Health, KAUST（卡塔尔大学智能健康卓越中心） ； Center of Excellence on GenAI, KAUST（卡塔尔大学生成人工智能卓越中心） ； Zhongshan Hospital, Fudan University（复旦大学中山医院） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Understanding Network Behaviors through Natural Language Question-Answering

Mingzhe Xing, Chang Tian, Jianan Zhang, Lichen Pan, Peipei Liu, Zhaoteng Yan, Yinliang Yue

专题命中 长上下文与记忆 ：large language model(abstract,comments)；language model(abstract,comments)；LLM(abstract)；分类 cs.CL、cs.AI

Comments Large Language Models

Preference-Aware Memory Update for Long-Term LLM Agents

Haoran Sun, Zekun Zhang, Shaoning Zeng

机构 * Haoran Sun, Zekun Zhang, Shaoning Zeng（作者） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Issue Localization via LLM-Driven Iterative Code Graph Searching

Zhonghao Jiang, Xiaoxue Ren, Meng Yan, Wei Jiang, Yong Li, Zhongxin Liu

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou, China（区块链与数据安全国家重点实验室，浙江大学，杭州，中国） ； School of Big Data and Software Engineering, Chongqing University, Chongqing, China（大数据与软件工程学院，重庆大学，重庆，中国） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted by ASE 2025

Exploring and Controlling Diversity in LLM-Agent Conversation

KuanChao Chu, Yi-Pei Chen, Hideki Nakayama

机构 * The University of Tokyo（东京大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Findings

MLP-Offload: Multi-Level, Multi-Path Offloading for LLM Pre-training to Break the GPU Memory Wall

Avinash Maurya, M. Mustafa Rafique, Franck Cappello, Bogdan Nicolae

机构 * Argonne National Laboratory（阿贡国家实验室） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Comments SC'25: The International Conference for High Performance Computing, Networking, Storage and Analysis

Journal ref SC'25: The International Conference for High Performance Computing, Networking, Storage and Analysis, 2025

MeVe: A Modular System for Memory Verification and Effective Context Control in Language Models

Andreas Ottem

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

Comments 16 pages, 7 figures, held online presentation at NLPA 2025

Augmented Vision-Language Models: A Systematic Review

Anthony C Davis, Burhan Sadiq, Tianmin Shu, Chien-Ming Huang

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

CRISP-SAM2: SAM2 with Cross-Modal Interaction and Semantic Prompting for Multi-Organ Segmentation

Xinlei Yu, Changmiao Wang, Hui Jin, Ahmed Elazab, Gangyong Jia, Xiang Wan, Changqing Zou, Ruiquan Ge

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Shenzhen University（深圳大学） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：prompting(title,abstract)；分类 cs.AI、cs.LG

Comments Accepted By ACMMM25

ALCo-FM: Adaptive Long-Context Foundation Model for Accident Prediction

Pinaki Prasad Guha Neogi, Ahmad Mohammadshirazi, Rajiv Ramnath

机构 * Department of Computer Science（计算机科学系） ； Engineering, Ohio State University, Ohio, US（工程系，俄亥俄州立大学，俄亥俄州，美国） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Towards General Continuous Memory for Vision-Language Models

Wenyi Wu, Zixuan Song, Kun Zhou, Yifei Shao, Zhiting Hu, Biwei Huang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

Efficient Length-Generalizable Attention via Causal Retrieval for Long-Context Language Modeling

Xiang Hu, Zhihao Teng, Jun Zhao, Wei Wu, Kewei Tu

机构 * ShanghaiTech University（上海科技大学） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：language model(title)；post-training(abstract)；分类 cs.CL、cs.AI

Comments accepted to ICML 2025

MiniKV: Pushing the Limits of LLM Inference via 2-Bit Layer-Discriminative KV Cache

Akshat Sharma, Hangliang Ding, Jianping Li, Neel Dani, Minjia Zhang

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； SSAIL Lab（超算系统人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.LG

Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing

Chen Wu, Yin Song

机构 * Amazon Web Services（亚马逊网络服务） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments 8 pages, 6 figures, ACL 2025 (Industry Track)

Technical Report: Evaluating Goal Drift in Language Model Agents

Rauno Arike, Elizabeth Donoway, Henning Bartsch, Marius Hobbhahn

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics

Marc Glocker, Peter Hönig, Matthias Hirschmanner, Markus Vincze

机构 * Automation and Control Institute, Faculty of Electrical Engineering, TU Wien（自动化与控制研究所，电气工程学院，维也纳技术大学） ； AIT Austrian Institute of Technology GmbH, Center for Vision, Automation and Control（奥地利技术研究所（AIT）有限公司，视觉、自动化与控制中心） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted at Austrian Robotics Workshop 2025

Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows

Fangyu Lei, Jixuan Chen, Yuxiao Ye, Ruisheng Cao, Dongchan Shin, Hongjin Su, Zhaoqing Suo, Hongcheng Gao, Wenjing Hu, Pengcheng Yin, Victor Zhong, Caiming Xiong, Ruoxi Sun, Qian Liu, Sida Wang, Tao Yu

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments ICLR 2025 Oral

Presumed Cultural Identity: How Names Shape LLM Responses

Siddhesh Pawar, Arnav Arora, Lucie-Aimée Kaffee, Isabelle Augenstein

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Comments 23 Pages, 13 Figures, 4 Tables