语言大模型 / LLM

Chain-of-Memory: Lightweight Memory Construction with Dynamic Evolution for LLM Agents

链式记忆：轻量级记忆构建与动态演化用于大语言模型代理

Xiucheng Xu, Bingbing Xu, Xueyun Tian, Zihe Huang, Rongxin Chen, Yunfan Li, Huawei Shen

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出CoM框架，通过轻量级记忆构建与动态演化机制，提升LLM代理的持久知识维护与长周期决策能力，实验显示在LongMemEval和LoCoMo基准上准确率提升7.5%-10.4%，计算开销降低2.7%-6.0%。

Automation-Exploit: A Multi-Agent LLM Framework for Adaptive Offensive Security with Digital Twin-Based Risk-Mitigated Exploitation

自动化-漏洞利用：一种多智能体LLM框架，用于基于数字孪生的自适应进攻性安全与风险缓解漏洞利用

Biagio Andreucci, Arcangelo Castiglione

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出自动化-漏洞利用框架，通过多智能体系统在复杂黑盒场景中实现自适应进攻性安全，利用数字孪生技术缓解风险，有效解决内存漏洞等安全问题。

SAGE: Selective Attention-Guided Extraction for Token-Efficient Document Indexing

SAGE：基于选择性注意力的令牌高效文档索引提取

Xinzhi Wang, Peter Baile Chen, Gerardo Vitagliano, Matthew Russo, Jun Chen, Michael Cafarella, Samuel Madden, Chunwei Liu

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出SAGE方法，通过轻量本地LLM进行单次预填充，将语言模型注意力信号转化为查询特定的相关热图，从而在可控粒度下选择高相关单元，减少上下文并提升问答性能。

Comments 12 pages, 10 figures

AromaGen: Interactive Generation of Rich Olfactory Experiences with Multimodal Language Models

AromaGen：基于多模态语言模型的交互式丰富嗅觉体验生成

Yunge Wen, Awu Chen, Jianing Yu, Jas Brooks, Hiroshi Ishii, Paul Pu Liang

机构 * MIT Media Lab（MIT媒体实验室） ； Harvard Graduate School of Design（哈佛设计研究生院） ； MIT CSAIL（MIT计算机科学与人工智能实验室） 纠错

专题命中 长上下文与记忆 ：language model(title)；LLM(abstract)；分类 cs.AI

AI总结 AromaGen利用多模态语言模型实现基于文本和视觉输入的实时嗅觉生成，通过迭代优化提升嗅觉混合物的自然度，达到与真实食物香气相似的水平。

SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention

SparseBalance: 基于动态稀疏注意力的负载平衡长上下文训练

Hongtao Xu, Jianchao Tan, Yuxuan Hu, Pengju Lu, Hongyu Wang, Pingwei Sun, Yerui Sun, Yuchen Xie, Xunliang Cai, Mingzhen Li, Weile Jia

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； Meituan（美团） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出SparseBalance算法系统协同设计框架，通过动态稀疏调整和稀疏感知批处理策略，解决长上下文训练中的负载不平衡问题，提升模型精度与系统效率。

Memanto: Typed Semantic Memory with Information-Theoretic Retrieval for Long-Horizon Agents

Memanto：基于信息论检索的类型语义记忆用于长周期智能体

Seyed Moein Abtahi, Rasa Rahnema, Hetkumar Patel, Neel Patel, Majid Fekri, Tara Khani

机构 * Moorcheh 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Memanto通过信息论检索引擎实现高效持久记忆，无需复杂知识图谱，提升长周期智能体性能，实现89.8%和87.1%的高准确率。

Comments 13 Pages, 10 Tables, 8 Figures

BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering

BERAG：基于贝叶斯集成的检索增强生成用于基于知识的视觉问答

Jinghong Chen, Jingbiao Mei, Guangyu Yang, Bill Byrne

机构 * Department of Engineering（工程系） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 BERAG通过将语言模型条件于单个检索文档而非单一上下文，解决检索增强生成中文档贡献不明和长上下文中的信息丢失问题，提升视觉问答任务性能。

FeudalNav: A Simple Framework for Visual Navigation

FeudalNav: 一种用于视觉导航的简单框架

Faith Johnson, Bryan Bo Cao, Shubham Jain, Ashwin Ashok, Kristin Dana

机构 * Rutgers University（罗格斯大学） ； Stony Brook University（石溪大学） ； Georgia State University（佐治亚州立大学） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)

AI总结 本文提出FeudalNav框架，通过分层结构实现导航决策，利用视觉相似性构建隐空间记忆模块，无需地图即可在新环境中导航，并通过人机交互提升导航性能。

Comments 8 Pages, 6 figures and 4 tables. arXiv admin note: substantial text overlap with arXiv:2411.09893, arXiv:2402.12498