语言大模型 / LLM

Continual Learning for Generative AI: From LLMs to MLLMs and Beyond

Haiyang Guo, Fanhu Zeng, Fei Zhu, Jiayi Wang, Xukai Wang, Jingang Zhou, Hongbo Zhao, Wenzhuo Liu, Shijie Ma, Da-Han Wang, Xu-Yao Zhang, Cheng-Lin Liu

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港科学与创新研究院人工智能与机器人中心） ； School of Computer and Information Engineering, Xiamen University of Technology（厦门理工大学计算机与信息工程学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments Preprint

RepoMaster: Autonomous Exploration and Understanding of GitHub Repositories for Complex Task Solving

Huacan Wang, Ziyi Ni, Shuo Zhang, Shuo Lu, Sen Hu, Ziyang He, Chen Hu, Jiaye Lin, Yifu Guo, Ronghao Chen, Xin Li, Daxin Jiang, Yuntao Du, Pin Lyu

机构 * UCAS（中国科学技术大学） ； CASIA（中国科学院自动化研究所） ； BUPT（北京邮电大学） ； PKU（北京大学） ； NUS（新加坡国立大学） ； StepFun ； THU（清华大学） ； SCNU（华南师范大学） ； USTC（中国科学技术大学） ； SDU（山东大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments A novel approach; Very practical

StreamMem: Query-Agnostic KV Cache Memory for Streaming Video Understanding

Yanlai Yang, Zhuokai Zhao, Satya Narayan Shukla, Aashu Singh, Shlok Kumar Mishra, Lizhu Zhang, Mengye Ren

机构 * Meta AI ； New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 15 pages, 3 figures

Semantic Anchoring in Agentic Memory: Leveraging Linguistic Structures for Persistent Conversational Context

Maitreyi Chatterjee, Devansh Agarwal

机构 * Cornell University（康奈尔大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Paper is currently in peer review

Agentic AI Frameworks: Architectures, Protocols, and Design Challenges

Hana Derouiche, Zaki Brahmi, Haithem Mazeni

机构 * University of Kairouan（卡鲁安大学） ； SMART Lab, University of Tunis（图纳大学SMART实验室） ； University of Sousse（索斯大学） ； Riadi Lab, Compus Manouba（曼努巴大学里亚迪实验室） ； University of Jandouba（贾杜巴大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Securing Agentic AI: Threat Modeling and Risk Analysis for Network Monitoring Agentic AI System

Pallavi Zambare, Venkata Nikhil Thanikella, Ying Liu

机构 * Department of Computer Science,Texas Tech University, Lubbock, Texas, USA（计算机科学系，德克萨斯技术大学，德克萨斯州，拉博克） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Submitted and under review in IEEE Transactions on Privacy

Enhancing Memory Recall in LLMs with Gauss-Tin: A Hybrid Instructional and Gaussian Replay Approach

Iing Muttakhiroh, Thomas Fevens

机构 * Department of Computer Science and Software Engineering, Concordia University, Montreal, Canada（计算机科学与软件工程系，康科迪亚大学，蒙特利尔，加拿大） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

LongIns: A Challenging Long-context Instruction-based Exam for LLMs

Shawn Gavin, Tuney Zheng, Jiaheng Liu, Quehry Que, Noah Wang, Jian Yang, Chenchen Zhang, Wenhao Huang, Ge Zhang

机构 * M-A-P ； University of Waterloo（滑铁卢大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

KVSink: Understanding and Enhancing the Preservation of Attention Sinks in KV Cache Quantization for LLMs

Zunhai Su, Kehong Yuan

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Published as a conference paper at COLM 2025

Why do LLMs attend to the first token?

Federico Barbero, Álvaro Arroyo, Xiangming Gu, Christos Perivolaropoulos, Michael Bronstein, Petar Veličković, Razvan Pascanu

机构 * University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

CaliDrop: KV Cache Compression with Calibration

Yi Su, Quantong Qiu, Yuechi Zhou, Juntao Li, Qingrong Xia, Ping Li, Xinyu Duan, Zhefeng Wang, Min Zhang

机构 * School of Computer Science and Technology, Soochow University（1 计算机科学与技术学院，苏州大学） ； Huawei Cloud（2 华为云） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

FAEDKV: Infinite-Window Fourier Transform for Unbiased KV Cache Compression

Runchao Li, Yao Fu, Mu Sheng, Xianxuan Long, Haotian Yu, Pan Li

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

DoubleDipper: Improving Long-Context LLMs via Context Recycling

Arie Cattan, Alon Jacovi, Alex Fabrikant, Jonathan Herzig, Roee Aharoni, Hannah Rashkin, Dror Marcus, Avinatan Hassidim, Yossi Matias, Idan Szpektor, Avi Caciularu

机构 * Bar-Ilan University（巴伊兰大学） ； Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Linear Memory SE(2) Invariant Attention

Ethan Pronovost, Neha Boloor, Peter Schleede, Noureldin Hendy, Andres Morales, Nicholas Roy

机构 * Zoox 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments Best paper award, Equivariant Systems Workshop at RSS

Developing Visual Augmented Q&A System using Scalable Vision Embedding Retrieval & Late Interaction Re-ranker

Rachna Saxena, Abhijeet Kumar, Suresh Shanmugam

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.CL

Comments Presented at NLP@IR workshop at SIGIR conference

KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding

Luohe Shi, Zuchao Li, Lefei Zhang, Guoming Liu, Baoyuan Qi, Hai Zhao

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Xiaomi（小米） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments To be published in The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)

Securing Transformer-based AI Execution via Unified TEEs and Crypto-protected Accelerators

Jiaqi Xue, Yifei Zhao, Mengxin Zheng, Fan Yao, Yan Solihin, Qian Lou

机构 * University of Central Florida（中央佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments 15 pages

VideoChat-Flash: Hierarchical Compression for Long-Context Video Modeling

Xinhao Li, Yi Wang, Jiashuo Yu, Xiangyu Zeng, Yuhan Zhu, Haian Huang, Jianfei Gao, Kunchang Li, Yinan He, Chenting Wang, Yu Qiao, Yali Wang, Limin Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

SkyVLN: Vision-and-Language Navigation and NMPC Control for UAVs in Urban Environments

Tianshun Li, Tianyi Huai, Zhen Li, Yichun Gao, Haoang Li, Xinhu Zheng

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 8 pages, 9 figures, has been accepted by IROS 2025

SpindleKV: A Novel KV Cache Reduction Method Balancing Both Shallow and Deep Layers

Zicong Tang, Shi Luohe, Zuchao Li, Baoyuan Qi, Guoming Liu, Lefei Zhang, Ping Wang

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； Xiaomi, Beijing, China（小米（北京，中国）） ； School of Information Management, Wuhan University（武汉大学信息管理学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted by ACL 2025 main

We Urgently Need Privilege Management in MCP: A Measurement of API Usage in MCP Ecosystems

Zhihao Li, Kun Li, Boyang Ma, Minghui Xu, Yue Zhang, Xiuzhen Cheng

机构 * Shandong University（山东大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Lilith: Developmental Modular LLMs with Chemical Signaling

Mohid Farooqi, Alejandro Comas-Leon

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI

Comments 4 pages, 0 figures, position paper

Personalised Explanations in Long-term Human-Robot Interactions

Ferran Gebellí, Anaís Garrell, Jan-Gerrit Habekost, Séverin Lemaignan, Stefan Wermter, Raquel Ros

机构 * PAL robotics (Barcelona, Spain)（PAL机器人公司（巴塞罗那，西班牙）） ； Institut de Robòtica i Informàtica Industrial (IRI-CSIC)（机器人与信息技术研究所（IRI-CSIC）） ； Universitat Politècnica de Catalunya - BarcelonaTech (UPC)（巴塞罗那技术大学（UPC）） ； University of Hamburg（汉堡大学） ； Artificial Intelligence Research Institute (IIIA-CSIC)（人工智能研究所（IIIA-CSIC）） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 8 pages. It will be published at RO-MAN 2025

Iterative Zoom-In: Temporal Interval Exploration for Long Video Understanding

Chenglin Li, Qianglong Chen, fengtao, Yin Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Towards the "Digital Me": A vision of authentic Conversational Agents powered by personal Human Digital Twins

Lluís C. Coll, Martin W. Lauer-Schmaltz, Philip Cash, John P. Hansen, Anja Maier

机构 * Technical University of Denmark（丹麦技术大学） ； School of Design（设计学院） ； University of Strathclyde（斯特拉斯克莱德大学） ； Department of Design, Manufacturing and Engineering Management（设计、制造与工程管理系） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 24 pages, 9 figures

A Troublemaker with Contagious Jailbreak Makes Chaos in Honest Towns

Tianyi Men, Pengfei Cao, Zhuoran Jin, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（认知与复杂系统决策智能重点实验室，自动化研究所，中国科学院，北京，中国） ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（人工智能学院，中国科学院大学，北京，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments ACL 2025 Main

Video-XL-2: Towards Very Long-Video Understanding Through Task-Aware KV Sparsification

Minghao Qin, Xiangrui Liu, Zhengyang Liang, Yan Shu, Huaying Yuan, Juenjie Zhou, Shitao Xiao, Bo Zhao, Zheng Liu

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Trento（特伦特大学） ； Renmin University of China（中国人民大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 12 pages, 5 Figure, 3 Table

Chain-of-Memory: Enhancing GUI Agents for Cross-Application Navigation

Xinzge Gao, Chuanrui Hu, Bin Chen, Teng Li

机构 * Anhui University（安徽大学） ； Qihoo360（奇虎360） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Context manipulation attacks : Web agents are susceptible to corrupted memory

Atharv Singh Patlan, Ashwin Hebbar, Pramod Viswanath, Prateek Mittal

机构 * princeton（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 10 pages, 6 figures

The Memory Paradox: Why Our Brains Need Knowledge in an Age of AI

Barbara Oakley, Michael Johnston, Ken-Zen Chen, Eulho Jung, Terrence J. Sejnowski

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 50 pages, 8 figures