语言大模型 / LLM

LLM-Metrics: Measuring Research Impact Through Large Language Model Memory

LLM-Metrics: 通过大语言模型内存测量研究影响力

Si Shen, Wenhua Zhao, Danhao Zhu

机构 * School of Economics and Management（经济管理学院） ； College of Information Management（信息管理学院） ； Department of Computer Science and Engineering（计算机科学与工程系） ； Nanjing Agricultural University（南京农业大学） ； Nanjing University of Science and Technology（南京理工大学） ； Department of Criminal Science and Technology（犯罪科学与技术系） ； Jiangsu Police Institute（江苏警察学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出LLM-Metrics，一种基于大语言模型参数内存的研究影响力评估指标，通过设计多种选择题探针评估549篇2023-2024年计算机科学论文，发现高影响力论文在学术社区中获得更大曝光，从而在LLM训练数据中形成更强的参数记忆，与引用次数呈现显著相关性。

Comments 25pages, 5figures

MemEvoBench: Benchmarking Safety Risks from Memory Misevolution in LLM Agents

MemEvoBench: 评估LLM代理中内存误进化带来的安全风险

Weiwei Xie, Shaoxiong Guo, Fan Zhang, Tian Xia, Xue Yang, Lizhuang Ma, Junchi Yan, Qibing Ren

机构 * Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） ； Shandong University（山东大学） ； Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MemEvoBench，首个评估LLM代理长期内存安全性的基准，针对对抗性内存注入、噪声工具输出和偏见反馈，通过7个领域36种风险类型的问题任务和20个Agent-SafetyBench环境改编的工作流任务，验证了内存进化对安全性的重大影响，指出静态提示防御不足，亟需加强LLM代理内存进化的安全性。

NeuSymMS: A Hybrid Neuro-Symbolic Memory System for Persistent, Self-Curating LLM Agents

NeuSymMS：一种混合神经符号记忆系统，用于持久、自管理的LLM代理

Mujahid Sultan, Sri Thuraisamy, Daya Rajaratnam

机构 * iVedha Corporation（iVedha公司） ； MLSoft Inc.（MLSoft公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 NeuSymMS通过混合神经符号架构，使LLM代理能够在多个会话中学习、记忆和推理用户信息，其核心方法是结合神经网络的事实提取和基于CLIPS的专家系统，主要贡献是提出了一个支持自管理记忆的双视野记忆模型。

Comments 7 pages

Compiling Agentic Workflows into LLM Weights: Near-Frontier Quality at Two Orders of Magnitude Less Cost

将代理工作流编译为LLM权重：在成本上减少两个数量级的情况下实现接近前沿质量

Simon Dennis, Rivaan Patil, Kevin Shabahang, Hao Guo

机构 * University of Melbourne（墨尔本大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文研究如何将代理工作流编译为LLM权重以提高效率，通过在旅行预订、Zoom支持和保险索赔等任务中验证，展示了编译方法在减少成本的同时保持高质量性能。

Comments 19 pages

Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents

Memory-R2: 长时间 horizon 记忆增强 LLM agent 的公平信用分配

Sikuan Yan, Ahmed Bahloul, Ercong Nie, Susanna Schwarzmann, Riccardo Trivisonno, Volker Tresp, Yunpu Ma

机构 * Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Huawei Heisenberg Research Center (Munich)（华为海森堡研究中心（慕尼黑）） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出 Memory-R2 框架，通过结合局部和全局组相对优化方法，解决长时间 horizon 记忆增强 LLM agent 在多会话环境中训练时由于记忆状态差异导致的信用分配不公平问题，同时联合优化记忆形成与记忆演化。

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+: 联合与解耦优化器状态的桥梁以提升大语言模型中的机器反遗忘

Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出DualOptim+，一种改进大语言模型中机器反遗忘的新优化框架，通过引入基础状态和delta状态，有效平衡遗忘与保留目标，同时提出8位量化变体以减少内存开销，实验表明其在多个任务中均表现出色。

Comments Accepted by ICML 2026

LCGuard: Latent Communication Guard for Safe KV Sharing in Multi-Agent Systems

LCGuard: 多智能体系统中安全KV共享的潜在通信守护者

Sadia Asif, Mohammad Mohammadi Amiri, Momin Abbas, Prasanna Sattigeri, Karthikeyan Natesan Ramamurthy

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LCGuard框架，通过在智能体间共享KV缓存前学习表示层面的转换，以防止敏感信息泄露，同时在多个模型家族和多智能体基准测试中验证了其在减少重建攻击成功率和保持任务性能方面的有效性。

ArborKV: Structure-Aware KV Cache Management for Scaling Tree-based LLM Reasoning

ArborKV: 一种面向树状推理的KV缓存管理方法

Yeqiu Chen, Ziyan Liu, Zhenxin Huang, Runquan Gui, Hong Wang, Lei Liu

机构 * University of Science（科学大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出ArborKV，一种结构感知的KV缓存管理方法，通过轻量级值估计器和树状分配策略，实现纯token提取式淘汰与惰性再水合，从而在保持高精度的同时减少KV内存使用，使在固定硬件预算下能支持更大规模的树状推理搜索。

Ablate-to-Validate: Are Vision-Language Models Really Using Continuous Thought Tokens?

Ablate-to-Validate: 视觉语言模型真的在使用连续思维令牌吗？

Tianyi Zhang, Mahtab Bigverdi, Ranjay Krishna

机构 * University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)

AI总结 本文提出了一种诊断原则Ablate-to-Validate，通过Token Replacement Test（TRT）测试视觉语言模型是否真正利用了连续令牌内容，发现模型性能提升可能并非源于令牌内容，而是令牌存在本身。

CacheClip: Accelerating RAG with Effective KV Cache Reuse

CacheClip: 通过有效的KV缓存重用加速RAG

Bin Yang, Qiuyu Leng, Jun Zeng, Zhenhua Wu

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出CacheClip框架，通过有效利用KV缓存重用，解决了RAG系统中TTFT瓶颈问题，同时保持高质量生成。

The Log is the Agent: Event-Sourced Reactive Graphs for Auditable, Forkable Agentic Systems

日志即代理：用于可审计、可分支代理系统的事件源反应图

Yohei Nakajima

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于事件源的反应图结构，通过将日志作为事实来源，实现了可审计、可分支的代理系统，提供了确定性回放、低成本分支和端到端溯源能力。

Comments 11 pages, 1 figure. Open-source Apache-2.0 implementation with reproducible quickstart demo, deterministic replay, fork-and-diff, and lineage tracing

An Entity Linking Agent for Question Answering

用于问答任务的实体链接代理

Yajie Luo, Yihong Wu, Muzhi Li, Jia Ao Sun, Xinyu Wang, Liheng Ma, Yingxue Zhang, Jian-Yun Nie

机构 * The Chinese University of Hong Kong（香港中文大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克AI研究院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种基于大语言模型的实体链接代理，用于解决问答任务中短且模糊用户问题的实体链接问题，通过两个实验验证了其有效性。

Comments 12 pages, 2 figures

Tyche: Composable Isolation as a Foundation to Manage Trust in the Cloud

Tyche：可组合隔离作为管理云中信任的基础

Adrien Ghosn, Charly Castes, Neelu S. Kalani, Yuchen Qian, Marios Kogias, Edouard Bugnion

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 该研究提出Tyche系统，通过可组合的隔离抽象来管理云环境中不同组件之间的信任问题，核心方法是引入安全域（SD）作为统一的隔离抽象，主要贡献是提供了一种无需牺牲兼容性的可组合隔离方案，支持在不同平台上运行。

EntmaxKV: Support-Aware Decoding for Entmax Attention

EntmaxKV: 基于支持的解码方法用于Entmax注意力

Gonçalo Duarte, Miguel Couceiro, Marcos V. Treviso

机构 * Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院） ； ELLIS Unit Lisbon（里斯本ELLIS单位） ； INESC-ID ； Instituto de Telecomunicações（电信研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出EntmaxKV，一种基于支持的解码框架，利用熵最大注意力的稀疏性在KV页面加载前进行稀疏解码，通过查询感知的页面评分、支持感知的候选选择和稀疏熵最大注意力，减少概率质量丢失，提高长上下文语言模型的效率。

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

Gated DeltaNet-2：解耦擦除与写入的线性注意力

Ali Hatamizadeh, Yejin Choi, Jan Kautz

机构 * NVIDIA 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出Gated DeltaNet-2，通过引入通道级擦除门和写入门，解耦了线性注意力中擦除与写入的控制，从而在语言模型、常识推理和检索任务中取得了最佳性能，特别是在长上下文检索任务中表现突出。

Comments Gated DeltaNet-2 technical report; code at https://github.com/NVlabs/GatedDeltaNet-2

MonoScale: Scaling Multi-Agent System with Monotonic Improvement

MonoScale: 通过单调改进扩展多智能体系统

Shuai Shao, Yixiang Liu, Bingwei Lu, Weinan Zhang

机构 * Shanghai Jiao Tong University, Shanghai, China（上海交通大学，上海，中国） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出MonoScale框架，通过生成agent条件化熟悉任务、收集交互证据并将其转化为可审计的自然语言记忆，实现多智能体系统的单调性能提升，实验表明其在GAIA和Humanity's Last Exam任务中优于简单扩展和强路由固定池基线。

LiveR: Fine-Grained Elasticity via Live Reconfiguration for Model Training

LiveR: 通过活体重新配置实现细粒度弹性

Haoyuan Liu, Kairui Zhou, Shuyao Qi, Qinwei Yang, Shengkai Lin, Shizhen Zhao, Wei Zhang

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 LiveR通过活体重新配置技术，解决了大规模模型训练中因资源波动导致的停机问题，显著减少了停机时间并提高了资源利用率。