arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-06-03 至 2026-06-03 共收录 19 信号源:cs.CL, cs.AI, cs.LG

1. 长上下文与记忆 19 篇

2605.01386 2026-06-03 cs.CL 92%

MemORAI: Memory Organization and Retrieval via Adaptive Graph Intelligence for LLM Conversational Agents

MemORAI: 通过自适应图智能实现LLM对话代理的记忆组织与检索

Hung Pham Van, Nguyen Manh Hieu, Khang Pham Tran Tuan, Nam Le Hai, Linh Ngo Van, Nguyen Thi Ngoc Diep, Trung Le

机构 * Independent Researcher(独立研究者) Hanoi University of Science and Technology(河内科学技术大学) VNU University of Engineering and Technology(VNU工程大学) Monash University(墨尔本大学)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出MemORAI框架,通过选择性记忆过滤、富来源追踪的多关系图存储和查询自适应子图检索,解决LLM长期对话中记忆缺失、信息稀释和检索不精准的问题,在LOCOMO和LongMemEval基准上达到最优性能。

Comments ACL Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03678 2026-06-03 cs.AI 90%

EvoDrive: Pareto Evolution for Safety-Critical Autonomous Driving via Self-Improving LLM Agents

EvoDrive: 通过自我改进的LLM智能体实现安全关键自动驾驶的帕累托进化

Tong Nie, Yuewen Mei, Yihong Tang, Junlin He, Jie Deng, Jian Sun, Wei Ma

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.AI

AI总结 提出EvoDrive,首个基于LLM的自动化智能体进化框架,通过模拟器接地演员-评论家架构和帕累托存档,在安全关键场景生成中实现对抗性与真实性的多目标优化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.06254 2026-06-03 cs.IR 89%

EviRerank: Adaptive Evidence Construction for Long-Document LLM Reranking

EviRerank:面向长文档LLM重排序的自适应证据构建

Minghan Li, Eric Gaussier, Juntao Li, Guodong Zhou

专题命中 长上下文与记忆 :LLM(title,title_cn)

AI总结 针对解码器-only LLM重排序长文档时推理成本高、相关信号被无关上下文稀释的问题,提出EviRerank框架,通过轻量选择器分块、自适应证据预算(AEB)和摘要增强(SA)构建紧凑证据上下文,再用LLM重排序,在多个基准上超越全文档重排序和强基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.10387 2026-06-03 cs.DB cs.AI 89%

Test-Time Optimization of Physical Query Plans with LLMs

基于LLM的物理查询计划测试时优化

Mehmet Hamza Erol, Xiangpeng Hao, Federico Bianchi, Ciro Greco, Jacopo Tagliabue, James Zou

机构 * Stanford University(斯坦福大学) University of Wisconsin-Madison(威斯康星大学麦迪逊分校) TogetherAI Bauplan

专题命中 长上下文与记忆 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出DBPlanBench框架,利用LLM在测试时通过语义推理和进化搜索优化物理查询计划,在OLAP查询中实现1.05-1.12倍中位数加速,并支持小规模到大规模的迁移。

Comments Code is available at: https://github.com/BauplanLabs/DBPLANBENCH

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03083 2026-06-03 cs.AI 89%

DELTAMEM: Incremental Experience Memory for LLM Agents via Residual Trees

DELTAMEM: 通过残差树为LLM智能体增量式经验记忆

Haoran Tan, Zeyu Zhang, Zhicheng Cao, Rui Li, Xu Chen

机构 * Beijing Key Laboratory of Research on Large Models and Intelligent Governance(北京大模型与智能治理重点实验室) Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(下一代智能搜索与推荐工程技术研究中心,教育部) Gaoling School of Artificial, Renmin University of China(中国人民大学人工智能学院) Duke University School of Medicine(杜克大学医学学院)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出DeltaMem框架,通过构建两个独立的残差树(目标条件任务经验和场景级环境知识)组织经验记忆,利用增量节点减少冗余,并通过失败惩罚相似度扫描和自主合并机制实现高效检索与自组织,在多种交互环境中优于现有基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.24008 2026-06-03 cs.AI 86%

SPARK: Search Personalization via Agent-Driven Retrieval and Knowledge-sharing

SPARK:通过智能体驱动的检索和知识共享实现搜索个性化

Gaurab Chhetri, Subasish Das, Tausif Islam Chowdhury

机构 * Texas State University(德克萨斯州立大学)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出SPARK框架,利用基于角色的多智能体LLM协作实现动态个性化搜索,通过协调器激活相关专家智能体,结合记忆和推理模块,从分布式行为中涌现个性化特性。

Comments This is the author's preprint. Accepted to WEB&GRAPH 2026 (co-located with WSDM 2026), Boise, Idaho, USA, Feb 26, 2026. Final version will appear in WSDM 2026 Companion Proceedings. Conf: https://wsdm-conference.org/2026/ Workshop: https://aiimlab.org/events/WSDM_2026_WEB_and_GRAPH_2026_Workshop_on_Web_and_Graphs_Responsible_Intelligence_and_Social_Media.html

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03197 2026-06-03 cs.CL 84%

MemTrain: Self-Supervised Context Memory Training

MemTrain:自监督上下文记忆训练

Ziheng Li, Xingrun Xing, Haoqing Wang, Zhi-Hong Deng, Yehui Tang

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(通用人工智能国家重点实验室,智能科学与技术学院,北京大学) Samsung Research, Beijing, China(三星研究院,北京,中国)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);post-training(abstract);分类 cs.CL

AI总结 提出自监督框架MemTrain,通过两个耦合代理任务(端到端掩码重建和中间记忆召回)利用无标签维基百科语料增强LLM代理的上下文记忆能力,显著提升下游长文本推理性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.16392 2026-06-03 cs.AI 83%

RGMem: Renormalization Group-inspired Memory Evolution for Language Agents

RGMem:基于重正化群启发的语言智能体记忆演化

Ao Tian, Yunfeng Lu, Xinxin Fan, Changhao Wang, Lanzhi Zhou, Yeyao Zhang, Yanfang Liu

机构 * School of Computer Science Engineering, Beihang University, Beijing, China School of Reliability Systems Engineering, Beihang University, Beijing, China State Key Laboratory of Complex \& Critical Software Environment National Key Laboratory of Reliability State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences

专题命中 长上下文与记忆 :language agent(title);LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出RGMem框架,利用重正化群思想对长期对话记忆进行多尺度粗粒化、阈值更新和重缩放,实现从事实到用户偏好的层次化整合,在LOCOMO和PersonaMem基准上超越现有记忆系统。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03463 2026-06-03 cs.AI cs.CL 82%

DMF: A Deterministic Memory Framework for Conversational AI Agents

DMF:对话式AI代理的确定性记忆框架

Matteo Stabile, Enrico Zimuel

机构 * Roma Tre University(罗马三大学)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 提出一种CPU优先的确定性记忆框架DMF,通过经典NLP分析、向量几何和数学评分替代生成式记忆压缩,实现零令牌成本且与Mem0相当的准确性。

Comments 21 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03841 2026-06-03 cs.AI 81%

EvoDS: Self-Evolving Autonomous Data Science Agent with Skill Learning and Context Management

EvoDS: 具有技能学习和上下文管理的自进化自主数据科学智能体

Zherui Yang, Fan Liu, Yansong Ning, Hao Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出EvoDS,通过自主技能获取和自适应上下文压缩策略,结合强化学习训练,使数据科学智能体能够自进化并显著提升多阶段迭代任务的性能。

Comments Accepted by KDD2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03075 2026-06-03 cs.CV 78%

TGV-KV: Text-Grounded KV Eviction for Vision-Language Models

TGV-KV:面向视觉语言模型的文本引导KV驱逐方法

Jizhihui Liu, Ruizi Han, Miao Zhang, Rui Shao, Xuebo Liu, Weili Guan, Yaowei Wang

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 长上下文与记忆 :language model(title,abstract)

AI总结 针对视觉语言模型中视觉信息冗余导致的KV缓存内存消耗问题,提出基于文本引导的KV驱逐方法TGV-KV,通过文本-视觉预算分配、文本加权排序和文本优先保留策略,在保持高精度的同时显著提升推理吞吐量。

Comments Accepted by ICML-2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07123 2026-06-03 cs.CL 77%

Language Bias under Conflicting Information in Multilingual LLMs

多语言大模型中冲突信息下的语言偏见

Robert Östling, Murathan Kurfalı

机构 * Stockholm University(斯德哥尔摩大学) RISE Research Institutes of Sweden(瑞典RISE研究机构)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);prompting(abstract);分类 cs.CL

AI总结 本研究通过扩展“干草堆中的冲突针”范式至多语言环境,评估了不同规模的多语言大模型在回答问题时对冲突信息中不同语言的偏好,发现模型普遍存在语言偏见,尤其是对俄语的普遍偏见和对中文的偏好,且提示语言与信息语言匹配时更受青睐。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02812 2026-06-03 cs.AI cs.CL 73%

Traj-Evolve: A Self-Evolving Multi-Agent System for Patient Trajectory Modeling in Lung Cancer Early Detection

Traj-Evolve:用于肺癌早期检测中患者轨迹建模的自进化多智能体系统

Sihang Zeng, Matthew Thompson, Ruth Etzioni, Meliha Yetisgen

机构 * University of Washington(华盛顿大学) Fred Hutch Cancer Center(Fred Hutch癌症中心) Google(谷歌)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 提出Traj-Evolve,一种结合经验池和多智能体强化学习的自进化多智能体系统,通过检索相似患者和参数优化,在肺癌早期检测中优于9个强基线模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.03644 2026-06-03 cs.AI 70%

AdapShot: Adaptive Many-Shot In-Context Learning with Semantic-Aware KV Cache Reuse

AdapShot: 自适应多示例上下文学习与语义感知的KV缓存重用

Jie Ou, Jinyu Guo, Shiyao Guo, Yuang Li, Ruiqi Wu, Zhaokun Wang, Wenyi Li, Wenhong Tian

机构 * School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件学院)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出AdapShot方法,通过基于熵的探针机制动态优化示例数量,并结合语义感知的KV缓存重用策略,实现高效的多示例上下文学习,性能提升约10%,速度提升4.64倍。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27762 2026-06-03 cs.AI 70%

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

PEAM: 通过经验对比内化的参数化具身智能体记忆在Minecraft中的应用

Yuchen Guo, Junli Gong, Weicheng Wang, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

机构 * Northwestern University(西北大学) Northeastern University(东北大学) South China University of Technology(华南理工大学) Hong Kong Baptist University(香港 Baptist大学) Beijing Normal - Hong Kong Baptist University(北京师范大学-香港 Baptist大学)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出PEAM框架,通过对比内化失败-纠正轨迹对,将经验转化为参数化技能,实现Minecraft中具身智能体的持续学习与高效执行。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14589 2026-06-03 cs.CL 70%

EndPrompt: Efficient Long-Context Extension via Terminal Anchoring

EndPrompt: 通过终端锚定实现高效长上下文扩展

Han Tian, Luxuan Chen, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Jinman Zhao, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Linghe Kong, Dawei Yin

机构 * Nankai University(南开大学) Baidu Inc.(百度公司) Shanghai Jiao Tong University(上海交通大学) Independent Researcher(独立研究者)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出EndPrompt方法,仅使用短训练序列通过终端锚定实现长上下文扩展,在LLaMA模型上从8K扩展到64K,性能超越全长度微调等方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.20183 2026-06-03 cs.CL 70%

Dual-Cluster Memory Agent: Resolving Multi-Paradigm Ambiguity in Optimization Problem Solving

双簇记忆智能体:解决优化问题求解中的多范式歧义

Xinyu Zhang, Yuchen Wan, Boxuan Zhang, Zesheng Yang, Lingling Zhang, Bifan Wei, Jun Liu

机构 * School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院) Ministry of Education Key Laboratory of Intelligent Networks and Network Security, China(教育部智能网络与网络security重点实验室) Shaanxi Province Key Laboratory of Big Data Knowledge Engineering, China(陕西省大数据知识工程重点实验室)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出双簇记忆智能体(DCM-Agent),通过无训练方式利用历史解决方案构建双簇记忆,并采用记忆增强推理动态导航解路径,在七个优化基准上平均性能提升11%-21%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03099 2026-06-03 cs.CL cs.AI 62%

PhotoCraft: Agentic Reasoning with Hierarchical Self-Evolving Memory for Deep Image Search

PhotoCraft: 具有层次自进化记忆的深度图像搜索代理推理

Kailin Lyu, Zhiqiang Yuan, Jianwei He, Qiwei Yan, Xuanbo Su, Nanxing Hu, Yang Liu, Ce Hao, Shengqian Qin, Lianyu Hu, Jinchao Zhang, Jie Zhou

机构 * Pattern Recognition Center, WeChat AI, Tencent Inc.(微信AI模式识别中心,腾讯公司) Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) Zhongguancun Academy(中关村学院) Nanyang Technological University(南洋理工大学) Shanghai Jiao Tong University(上海交通大学)

专题命中 长上下文与记忆 :LLM(abstract);分类 cs.CL、cs.AI

AI总结 提出PhotoCraft,一种无需训练的分层记忆系统,通过工作、情景和语义记忆增强多模态大语言模型,实现深度图像搜索中的多步推理和知识迁移,在DISBench上提升检索性能达18.5%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03329 2026-06-03 cs.AI 57%

InfoMem: Training Long-Context Memory Agents with Answer-Conditioned Information Gain

InfoMem: 基于答案条件信息增益训练长上下文记忆智能体

Tiancheng Han, Yong Li, Wuzhou Yu, Qiaosheng Zhang, Wenqi Shao

机构 * Tongji University(同济大学) Shanghai Innovation Institute(上海创新研究院) Shanghai AI Laboratory(上海人工智能实验室)

专题命中 长上下文与记忆 :LLM(abstract_cn);分类 cs.AI

AI总结 提出InfoMem奖励机制,通过评估最终记忆对真实答案的每token对数似然增益,训练分块记忆智能体以提升长上下文任务性能。

Comments 17 pages, 7 figrues,

详情

展开后加载摘要…

URL PDF HTML 收藏