语言大模型 / LLM

PRISM: Fast Online LLM Serving via Scheduling-Memory Co-design

PRISM: 通过调度-内存协同设计实现快速在线LLM服务

Xingyu Qu, Tianhao Lin, Yiqi Li, Zhiyu Chen, Sheng Wang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 PRISM通过协同设计调度与内存管理，优化LLM服务响应时间，减少TTFT并提升缓存命中率。

Comments 25 pages, 9 figures, Preprint

Nautilus Compass: Black-box Persona Drift Detection for Production LLM Agents

Nautilus Compass：生产LLM代理的黑盒人格漂移检测

Chunxiao Wang

机构 * Yiluo Technology Co., Ltd.（亿洛科技有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 Nautilus Compass通过提示文本层的余弦相似度检测生产编码代理的人格漂移，无需调用LLM提取事实，实现高效且低成本的代理记忆层。

Comments 19 pages, 6 figures. MIT-licensed code + reproduction scripts at github.com/chunxiaoxx/nautilus-compass

PYTHALAB-MERA: Validation-Grounded Memory, Retrieval, and Acceptance Control for Frozen-LLM Coding Agents

PYTHALAB-MERA：基于验证的内存、检索与接受控制用于冻结LLM编码代理

Mehmet Iscan

机构 * PythaLab, Yildiz Technical University（PythaLab，伊兹密尔技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PYTHALAB-MERA通过轻量级外部控制器实现验证基础的内存管理、适应性检索与延迟信用分配，提升冻结本地模型在编码任务中的验证成功率。

Comments 28 pages, 4 figures, 7 tables; local CLI artifact evaluation

Why Retrying Fails: Context Contamination in LLM Agent Pipelines

为何重试失效：LLM代理流水线中的上下文污染

Zhanfu Yang

机构 * Department of Computer Science, Rutgers University（罗格斯大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究LLM代理在多步骤工具增强任务中重试失败的上下文污染问题，提出上下文污染重试模型（CCRM），推导了五个核心结果，包括成功概率公式、重试开销定理、预算分配定理等，并通过实验证明模型的有效性。

Safe Multi-Agent Behavior Must Be Maintained, Not Merely Asserted: Constraint Drift in LLM-Based Multi-Agent Systems

安全多智能体行为必须被维护，而非仅仅被断言：基于LLM的多智能体系统中的约束漂移

Tianxiao Li, Yixing Ma, Haiquan Wen, Zhenglin Huang, Qianyu Zhou, Zeyu Fu, Guangliang Cheng

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 本文探讨了基于LLM的多智能体系统中约束漂移问题，指出安全约束在执行过程中可能丢失、扭曲或减弱，提出约束状态治理作为研究范式，以确保安全行为在轨迹中持续有效。

Comments 12 pages, 2 figures, 4 tables. Preprint

Recursive Language Models

递归语言模型

Alex L. Zhang, Tim Kraska, Omar Khattab

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出递归语言模型（RLMs），通过将长提示视为外部环境的一部分，使大语言模型能够递归调用自身处理长输入，从而在多个长上下文任务中显著提升性能。

Comments 9 pages, 43 with Appendix

How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue

LLMs在说话时应该如何倾听？对全双工语音对话中用户流路由的探讨

Hui Lu, Xueyuan Chen, Huimeng Wang, Shuhai Peng, Shiyin Kang, Xixin Wu, Zhiyong Wu

机构 * The Chinese University of Hong Kong（香港中文大学） ； SenseTime Research（商汤科技研究院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究探讨了全双工语音对话中用户流路由对LLM的影响，通过对比通道融合与交叉注意力路由策略，发现通道融合在语义接地和问答性能上更优，但易受上下文干扰；交叉注意力路由更稳健，但问答表现较差。

GenCellAgent: Generalizable, Training-Free Cellular Image Segmentation via Large Language Model Agents

GenCellAgent：基于大语言模型代理的通用、无需训练的细胞图像分割

Xi Yu, Yang Yang, Qun Liu, Yonghua Du, Sean McSweeney, Yuewei Lin

机构 * Artificial Intelligence Department, Brookhaven National Laboratory, Upton, 11973, NY, US（1 人工智能部门，布鲁赫萨尔国家实验室，乌普顿，11973，纽约，美国） ； National Synchrotron Light Source II, Brookhaven National Laboratory, Upton, 11973, NY, US（2 国家同步辐射光源II，布鲁赫萨尔国家实验室，乌普顿，11973，纽约，美国） ； Biology Department, Brookhaven National Laboratory, Upton, 11973, NY, US（3 生物学部门，布鲁赫萨尔国家实验室，乌普顿，11973，纽约，美国） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 GenCellAgent通过规划-执行-评估循环实现无需训练的细胞图像分割，自动分配最佳工具并支持文本引导分割，优于现有方法且减少标注负担。

Comments 43 pages

ConCovUp: Effective Agent-Based Test Driver Generation for Concurrency Testing

ConCovUp：面向并发测试的有效代理基于测试驱动生成

Yuandao Cai, Shuhao Fu, Wensheng Tang, Cheng Wen, Shengchao Qin, Charles Zhang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出ConCovUp框架，结合LLM与程序分析，通过静态分析提取共享内存访问及调用上下文，利用LLM驱动的逆向追踪方法生成有效并发测试，提升SMAP覆盖率。

Illusion-Aware Visual Preprocessing and Anti-Illusion Prompting for Classic Illusion Understanding in Vision-Language Models

基于 illusion 意识的视觉预处理与反 illusion 提示的经典 illusion 理解在视觉-语言模型中的应用

Junli Zha, Jiahui Wang, Xinkai Lu, Jinbo Wang

机构 * SF Technology Co., Ltd.（SF技术有限公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；prompting(title)

AI总结 本文提出无需训练的框架，通过图像预处理、反 illusion 提示工程和多票集成策略，解决视觉-语言模型对视觉错觉的感知与记忆冲突，实现90.48%和98.41%的准确率。

Comments Accepted at CVPR 2026 Workshop on 5th DataCV Challenge

Human-Inspired Memory Architecture for LLM Agents

受人类启发的记忆架构用于大语言模型代理

Doga Kerestecioglu, Alexei Robsky, Clemens Vasters, Anshul Sharma, Yitzhak Kesselman

机构 * Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种受生物启发的记忆架构，通过六个认知机制解决内存积累问题，并引入合成校准方法提升评估准确性。

Comments 10 pages, 4 tables. Preprint; comments welcome

HAGE: Harnessing Agentic Memory via RL-Driven Weighted Graph Evolution

HAGE: 通过RL驱动的加权图进化利用代理记忆

Dongming Jiang, Yi Li, Guanpeng Li, Qiannan Li, Bingzhe Li

机构 * Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系） ； Department of Electrical and Computer Engineering, University of Florida（佛罗里达大学电气与计算机工程系） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HAGE提出了一种加权多关系记忆框架，通过RL驱动的训练框架优化路由行为和边表示，提升长周期推理准确性和效率。

FocuSFT: Bilevel Optimization for Dilution-Aware Long-Context Fine-Tuning

FocuSFT：基于稀释意识的长上下文微调的双层优化

Zehua Pei, Hui-Ling Zhen, Xianzhi Yu, Sinno Jialin Pan, Mingxuan Yuan, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 FocuSFT通过双层优化框架解决长上下文微调中注意力稀释问题，提升模型在长上下文下的准确性和表现。

When Child Inherits: Modeling and Exploiting Subagent Spawn in Multi-Agent Networks

当子代理继承：在多代理网络中建模和利用子代理生成

Ziwen Cai, Yihe Zhang, Xiali Hei

机构 * University of Louisiana at Lafayette（路易斯安那州立大学拉弗奈分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究多代理网络中子代理继承带来的安全风险，指出继承内存可能传播恶意指令，提出通过显式安全不变量进行防御。

A Single-Layer Model Can Do Language Modeling

单层模型也能进行语言建模

Zanmin Wang

机构 * Proton 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出单层接地预测网络GPN，通过单个递归模块实现语言建模，实验表明其在参数量为1.3亿时达到FineWeb-Edu的18.06 perplexity，接近深度模型表现。

Comments 9 pages, 5 figures, 1 table. Code: https://github.com/steve-z-wang/grounded-prediction-network

Do Self-Evolving Agents Forget? Capability Degradation and Preservation in Lifelong LLM Agent Adaptation

自我进化代理会遗忘吗？在终身大语言模型代理适应中的能力退化与保持

Ye Yu, Xiaopeng Yuan, Haibo Jin, Heming Liu, Yaoning Yu, Haohan Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了自我进化过程中能力退化现象，提出能力保持进化原则，通过四种进化维度提升能力稳定性与适应性能。

AutoSOUP: Safety-Oriented Unit Proof Generation for Component-level Memory-Safety Verification

AutoSOUP：面向组件级内存安全验证的安全导向单元证明

Paschal C. Amusuo, Ricardo Calvo, Dharun Anandayuvaraj, Taylor Le Lievre, Kevin Kolyakov, Elijah Jorgensen, Aravind Machiry, James C. Davis

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 AutoSOUP通过安全导向单元证明自动化组件级内存安全验证，结合确定性程序合成与LLM，生成可验证的证明以提高内存安全验证的自动化水平。

Comments 13 main pages, 7 appendix pages, 2 figures, 5 listings

Architecture Matters More Than Scale: A Comparative Study of Retrieval and Memory Augmentation for Financial QA Under SME Compute Constraints

架构比规模更重要：在中小企业计算限制下的金融问答中检索与记忆增强的比较研究

Jianan Liu, Jing Yang, Xianyou Li, Weiran Yan, Yichao Wu, Penghao Liang, Mengwei Yuan

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文在中小企业计算限制下比较了检索增强生成和记忆增强推理架构，发现结构化记忆在确定性任务中更精确，而检索方法在对话场景中表现更优，提出混合部署框架以平衡准确性、可审计性和效率。

Comments Accepted at the 2026 6th International Conference on Artificial Intelligence and Industrial Technology Applications (AIITA 2026), to be published by IEEE. 12 pages, 5 figures

The Echo Amplifies the Knowledge: Somatic Marker Analogues in Language Models via Emotion Vector Re-Injection

回声放大知识：通过情感向量再注入在语言模型中引入躯体标记类比

Jared Glover

机构 * CapSen Robotics with ∮ \oint (Stokes)（CapSen机器人公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 本文通过情感向量再注入技术，探讨语言模型中情感与知识的关系，验证了情感反馈对决策的影响，复现了Damasio的核心发现。

Memory Inception: Latent-Space KV Cache Manipulation for Steering LLMs

记忆 inception：用于引导 LLMs 的潜在空间 KV 缓存操作

Andy Zeyi Liu, Michael Zhang, Ilana Greenberg, Adam Alnasser, Lucas Baker, John Sous

机构 * Yale University（耶鲁大学） ； Princeton University（普林斯顿大学） ； Jump Trading 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出 memory inception 方法，通过在选定层插入文本衍生的键值对（KV）银行，在潜在注意力空间中引导 LLMs，实现更高效的控制与更少的存储消耗。

RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache

RDKV: 用于联合擦除和量化KV缓存的率-失真位分配

Junkai Zhang, Hang Guo, Luca Benini, Yawei Li

机构 * ETH Zurich（苏黎世联邦理工学院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RDKV通过联合优化擦除与量化，提升长序列推理效率，实现9.1%的性能提升和97.81%的准确率恢复。

The First Drop of Ink: Nonlinear Impact of Misleading Information in Long-Context Reasoning

第一滴墨水：误导信息在长上下文推理中的非线性影响

Muhan Gao, Zih-Ching Chen, Kuan-Hao Huang

机构 * Department of Computer Science ； Engineering, Texas A\&M University, College Station, TX, USA ； NVIDIA AI Technology Center, NVIDIA Corporation, Santa Clara, CA, USA 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探讨了误导信息在长上下文推理中的非线性影响，发现误导信息比例增加时，性能在初期急剧下降，后续变化较小。通过理论和实证分析，揭示了误导信息对注意力的 disproportionate 影响，并指出过滤收益主要来自减少上下文长度而非去除误导信息。

Self-Attention as a Covariance Readout: A Unified View of In-Context Learning and Repetition

自注意力作为协方差读出：对上下文学习和重复的统一视角

Haoren Xu, Guanhua Fang

机构 * Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文探讨了大语言模型中上下文学习和重复生成现象的统一原理，通过自注意力机制推导出协方差读出机制，揭示了其在线性回归和生成过程中的作用。

Remember to Forget: Gated Adaptive Positional Encoding

记住遗忘：门控自适应位置编码

Riccardo Ali, Alessio Borgi, Christopher Irwin, Mario Severino, Pietro Liò

机构 * Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学） ； Department of Computer, Control and Management Engineering, Sapienza University（计算机、控制与管理工程系，萨皮恩扎大学） ； Department of Information Engineering, University of Padova（信息工程系，帕多瓦大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 GAPE通过引入内容感知偏差优化注意力逻辑，在保持旋转几何的前提下，分离距离抑制与token重要性，提升长上下文鲁棒性。

SAR-RAG: ATR Visual Question Answering by Semantic Search, Retrieval, and MLLM Generation

SAR-RAG：通过语义搜索、检索和MLLM生成实现目标识别的视觉问答

David F. Ramirez, Tim Overman, Kristen Jaskie, Joe Marvin, Andreas Spanias

机构 * SenSIP Center, School of ECEE, Arizona State University（SenSIP中心，电子与计算机工程学院，亚利桑那州立大学） ； Prime Solutions Group Inc（Prime Solutions Group公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SAR-RAG方法，结合多模态大语言模型和语义嵌入向量数据库，通过语义搜索和检索提升SAR图像目标识别的准确性，通过分类和回归指标验证效果。

Comments Accepted to 2026 SPIE Defense + Security, Automatic Target Recognition XXXVI

Positional LSH: Binary Block Matrix Approximation for Attention with Linear Biases

位置性LSH：用于带有线性偏置的注意机制的二进制块矩阵近似

Daniel Wolfson, Tal Wagner

机构 * Blavatnik School of Computer Science and AI（Blavatnik计算机科学与人工智能学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了通过局部敏感哈希（LSH）视角下的带有位置偏置的注意机制，证明了ALiBi偏置矩阵是连续块对角二进制掩码的期望，并展示了其在高概率下对块大小的谱范数和最大范数近似保证。

Bian Que: An Agentic Framework with Flexible Skill Arrangement for Online System Operations

Bian Que: 一个具有灵活技能安排的代理框架，用于在线系统运维

Bochao Liu, Zhipeng Qian, Yang Zhao, Xinyuan Jiang, Zihan Liang, Yufei Ma, Junpeng Zhuang, Ben Chen, Shuo Yang, Hongen Wan, Yao Wu, Chenyi Lei, Xiao Liang

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 Bian Que通过统一运维范式和灵活技能安排，提高了在线系统运维效率，减少了警报量，提高了根因分析准确率，缩短了故障解决时间。

Comments HomePage: https://benchen4395.github.io

DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding

DocSeeker：基于证据 grounding 的结构化视觉推理用于长文档理解

Hao Yan, Yuliang Liu, Xingchen Liu, Yuyi Zhang, Minghui Liao, Jihao Wu, Wei Chen, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Inc.（华为公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出DocSeeker，通过结构化分析、定位和推理流程解决长文档理解中的信号噪声比低和监督不足问题，实现对超长文档的鲁棒泛化。

Comments CVPR 2026 Highlight

ReST-KV: Robust KV Cache Eviction with Layer-wise Output Reconstruction and Spatial-Temporal Smoothing

ReST-KV: 基于分层输出重建与时空平滑的鲁棒KV缓存淘汰

Yongqi An, Chang Lu, Kuan Zhu, Tao Yu, Chaoyang Zhao, Hong Wu, Ming Tang, Jinqiao Wang

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（基础模型研究中心，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Wuhan AI Research（武汉人工智能研究） ； Objecteye Inc.（Objecteye公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ReST-KV方法，通过分层输出重建和时空平滑优化KV缓存淘汰，提升长序列生成效率，实测在多个基准测试中表现优异，同时显著降低解码延迟。

Comments Accepted at ICLR 2026. Project Page: https://github.com/an-yongqi/rest-kv

An Empirical Study of Multi-Agent Collaboration for Automated Research

多智能体协作在自动化研究中的实证研究

Yang Shen, Zhenyi Yi, Ziyi Zhao, Lijun Sun, Dongyang Li, Chin-Teng Lin, Yuhui Shi

机构 * University of Technology Sydney（悉尼技术大学） ； Southern University of Science and Technology（南方科技大学） ； Shenzhen Technology University（深圳技术大学） ； Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过实证研究比较了不同多智能体结构在自动化机器学习优化中的效果，发现子代理架构在时间受限下更稳定高效，而智能体团队架构在计算预算充足时能实现深度理论对齐。