arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-06-17 至 2026-06-17 共收录 17 信号源:cs.CL, cs.AI, cs.LG

1. 长上下文与记忆 17 篇

2606.17182 2026-06-17 cs.LG cs.DC cs.LO cs.MA cs.PL 新提交 90%

Verified Detection and Prevention of Concurrency Anomalies in Multi-Agent Large Language Model Systems

多智能体大语言模型系统中并发异常的可验证检测与预防

Sajjad Khan

机构 * independent researcher(独立研究员)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);large language model(title);language model(title);分类 cs.LG

AI总结 针对多智能体LLM系统,形式化四种并发异常并建立一致性层级,通过Verus验证检测器正确性,并在Rust运行时中实现预防。

Comments 32 pages, 2 figures, 6 tables. Verus/TLA+ verification artifact, reference Rust runtime, and Python harnesses, plus a supplementary appendix (Sections A-F, Tables S1-S6), included as ancillary files

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.25065 2026-06-17 cs.OS cs.AI cs.DC 版本更新 90%

Vulcan: Instance-specialized, Verifiable Systems Heuristics Through LLM-driven Search

Vulcan:通过LLM驱动的搜索实现实例特化的可验证系统启发式方法

Rohit Dwivedula, Divyanshu Saxena, Sujay Yadalam, Eric Hayden Campbell, Daehyeok Kim, Aditya Akella

机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.AI

AI总结 提出Vulcan框架,利用LLM生成系统启发式方法,通过隔离决策逻辑和受限语言Anvil保证安全,在调度、缓存和内存管理上取得显著性能提升。

Comments 19 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.26476 2026-06-17 cs.CL cs.AI cs.LG cs.PF cs.SE 版本更新 87%

Regression Language Models for Code

代码的回归语言模型

Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

机构 * Cornell University(康奈尔大学) Google DeepMind(谷歌DeepMind) Google Cloud(谷歌云)

专题命中 长上下文与记忆 :language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 提出回归语言模型(RLM),利用冻结的大语言模型编码器直接从文本预测代码执行结果(如内存占用、延迟、神经网络精度等),在多个任务上达到高相关度。

Comments Published in International Conference on Machine Learning (ICML) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15903 2026-06-17 cs.CL cs.AI 新提交 82%

Control-Plane Placement Shapes Forgetting: An Architectural Study of Agent Memory Across Thirteen System Configurations

控制平面放置塑造遗忘:跨十三种系统配置的智能体记忆架构研究

Dongxu Yang

机构 * DeepLethe

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.CL、cs.AI

AI总结 研究LLM在智能体记忆管道中的位置(控制平面 vs 召回平面)对遗忘失败模式的影响,通过13种配置在385例对抗测试集上的实验,揭示了三种放置机制的互补覆盖范围,并提出了ForgetEval评估套件。

Comments 25 pages including appendices. Code, benchmark, and adapters released under MIT at https://github.com/deeplethe/lethe

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17328 2026-06-17 cs.AI 新提交 81%

MemTrace: Probing What Final Accuracy Misses in Long-Term Memory

MemTrace: 探知长期记忆中最终准确率所遗漏的信息

Xianxuan Long, Zhikai Chen, Shenglai Zeng, Shouren Wang, Kai Guo, Jiliang Tang

机构 * Michigan State University(密歇根州立大学) Case Western Reserve University(凯斯西储大学)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI

AI总结 提出MemTrace基准,以知识点为单位,沿记忆年龄、问题类型和证据条件三个维度评估LLM代理的长期记忆,发现证据使用是主要瓶颈。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17203 2026-06-17 cs.SE cs.AI 新提交 81%

Trust-Aware Multi-Agent Traceability: Confidence-Calibrated Knowledge Graphs for Consistent Software Artifact Management

信任感知的多智能体可追溯性:用于一致软件工件管理的置信度校准知识图谱

Mohamed Essam, Kareem Wael, Azza Hassan, Ahmed Haitham, Mahmoud Soliman, Samer Saber, Ibrahim Habib

机构 * CairoMotive Cairo, Egypt(开罗动力埃及)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI

AI总结 提出一种信任感知协调框架,通过共享知识图谱和校准置信度分数,结合嵌入检索与LLM多准则分析的两阶段可追溯性链接预测管道,解决多智能体系统中错误传播问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27023 2026-06-17 cs.AI 版本更新 79%

Boosting Knowledge Graph Foundation Models via Enhanced Negative Sampling

通过增强负采样提升知识图谱基础模型

Yinan Liu, Wenjin Xu, Zhiyuan Zha, Xiaochun Yang, Bin Wang

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 长上下文与记忆 :foundation model(title,abstract);分类 cs.AI

AI总结 提出自适应负采样方法KMAS,通过动态调整困难负三元组比例,增强知识图谱基础模型在零样本补全任务中的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16534 2026-06-17 cs.DC 新提交 75%

Generated, Parallel, Scalable? A Study of Agentic AI-Generated Julia Code on Supercomputers

生成、并行、可扩展?超级计算机上智能体AI生成的Julia代码研究

Linus Bantel, Anna-Lena Roth, Jonas Posner, Dirk Pflüger

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);prompting(abstract)

AI总结 研究智能体AI生成并行Julia代码的能力,发现小规模输入可靠但大规模扩展时出现死锁等问题,商业模型优于开源模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01761 2026-06-17 cs.LG cs.AI 版本更新 74%

Position: Modular Memory is the Key to Continual Learning Agents

Position: 模块化记忆是持续学习智能体的关键

Vaggelis Dorovatas, Malte Schwerin, Andrew D. Bagdanov, Lucas Caccia, Antonio Carta, Laurent Charlin, Barbara Hammer, Tyler L. Hayes, Timm Hess, Christopher Kanan, Dhireesha Kudithipudi, Xialei Liu, Vincenzo Lomonaco, Jorge Mendez-Mendez, Darshan Patil, Ameya Prabhu, Elisa Ricci, Tinne Tuytelaars, Gido M. van de Ven, Liyuan Wang, Joost van de Weijer, Jonghyun Choi, Martin Mundt, Rahaf Aljundi

机构 * University of Bremen(不莱梅大学) Seoul National University(首尔国立大学) Computer Vision Center Barcelona(巴塞罗那计算机视觉中心) University of Florence(佛罗伦萨大学) Microsoft Research(微软研究院) HEC Montreal, Mila--Quebec AI Institute, Canada CIFAR AI Chair(蒙特利尔HEC学院、魁北克人工智能研究所、加拿大CIFAR人工智能 chair) Bielefeld University(比勒海姆大学) Georgia Institute of Technology(佐治亚理工学院) University of Rochester(罗切斯特大学) University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校) Nankai University(南开大学) LUISS University(卢西亚诺大学) Stony Brook University(石溪大学) University of Tübingen(图宾根大学) University of Trento, FBK(特伦托大学,FBK) Tsinghua University(清华大学) University of Groningen(Groningen大学)

专题命中 长上下文与记忆 :foundation model(abstract,comments);pretraining(abstract);分类 cs.AI、cs.LG

AI总结 本文提出通过模块化记忆结合权重内学习与上下文学习,解决持续学习中的灾难性遗忘问题,实现大规模持续适应。

Comments ICML 2026 Position Track Spotlight. This work stems from discussions held at the Dagstuhl seminar on Continual Learning in the Era of Foundation Models (October 2025)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17872 2026-06-17 cs.LG cs.AI 新提交 73%

AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor

AnchorKV: 通过拒绝锚点的软惩罚实现安全感知的KV缓存压缩

Ning Ni, Yingjie Lao

机构 * Department of Computer Science, Tufts University(塔夫茨大学计算机科学系) Department of Electrical and Computer Engineering, Tufts University(塔夫茨大学电气与计算机工程系)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 提出AnchorKV,一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法,在保持实用性的同时显著提升安全性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17798 2026-06-17 cs.CV cs.AI 新提交 70%

LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams

LiveStarPro: 具有分层记忆的主动式流视频理解用于长时域流

Zhenyu Yang, Kairui Zhang, Bing Wang, Shengsheng Qian, Changsheng Xu

机构 * IEEE

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出LiveStarPro,通过流验证解码、流因果注意力掩码和树结构分层记忆三个组件,实现长时域流媒体视频的主动理解,在语义正确性和时序误差上分别提升28.9%和降低18.2%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17735 2026-06-17 cs.AI 新提交 70%

Shattering the Autoregressive Curse: Dynamic Epistemic Entropy Orchestrated Erasable Reinforcement Learning for LLMs

打破自回归诅咒:动态认知熵编排的可擦除强化学习用于大语言模型

Ziliang Wang, Kang An, Faqiang Qian, Jialu Cai, Cijun Ouyang, Yuhang Wang, Qibing Ren, Yichao Wu

机构 * SenseTime(商汤科技) Shanghai Jiao Tong University(上海交通大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出动态认知熵编排的可擦除强化学习(E³RL),通过将模型内生的局部自回归交叉熵作为认知不确定性坐标,利用分段自适应动态阈值和优势分配精准切除逻辑缺陷并重用KV缓存,解决长序列推理中的自回归级联崩溃问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17518 2026-06-17 cs.DC 新提交 67%

SpecGen: Accelerating Agentic Kernel Optimization with Speculative Generation

SpecGen: 利用推测生成加速智能体内核优化

Jihu Guo, Sitian Lu, Tenghui Ma, Wei Gao, Zhisheng Ye, Xingcheng Zhang, Dahua Lin

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 针对智能体内核优化中生成延迟长、反馈不足和资源利用率低的问题,提出SpecGen系统,通过推测生成在推理过程中提前产生候选内核,并行验证剖析,动态调整资源,并利用远程KV缓存减少前缀重计算,显著降低端到端时间并提升内核加速比。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09313 2026-06-17 cs.CV 版本更新 67%

Attention Sinks in Diffusion Transformers: A Causal Analysis

扩散变换器中的注意力 sinks:一种因果分析

Fangzheng Wu, Brian Summa

机构 * Department of Computer Science, Tulane University, New Orleans, LA, USA(路易斯安那州新奥尔良大学计算机科学系)

专题命中 长上下文与记忆 :language model(abstract,abstract_cn)

AI总结 研究探讨了扩散变换器中注意力 sinks 的作用,通过动态识别并抑制注意力接收者,发现其对文本-图像对齐和偏好代理影响有限,但强干预下出现特定边界。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18246 2026-06-17 cs.CL 新提交 57%

Variable-Width Transformers

变宽Transformer

Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, Yoon Kim

机构 * MIT(麻省理工学院) MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL

AI总结 提出一种中间窄、两端宽的变宽Transformer架构,通过无参数残差缩放机制实现非均匀容量分配,在语言模型困惑度、FLOPs和KV缓存上优于均匀宽度基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18235 2026-06-17 cs.AI 新提交 57%

EvolveNav: Proactive Preflection and Self-Evolving Memory for Zero-Shot Object Goal Navigation

EvolveNav: 用于零样本目标导航的主动预反思与自进化记忆

Qi Chai, Wenhao Shen, Nanjie Yao, Yue Xia, Kaiyong Zhao, Jie Ma, Guosheng Lin, Hao Wang

机构 * HKUST(GZ)(香港科技大学(广州)) Nanyang Technological University(南洋理工大学) Xi’an Jiaotong University(西安交通大学) XGRIDS(深圳格物智联)

专题命中 长上下文与记忆 :foundation model(abstract);分类 cs.AI

AI总结 提出自进化零样本目标导航框架,通过从历史轨迹提取规则并基于置信上界检索,结合记忆引导预反思模块,减少无效探索,成功率提升10.1%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17183 2026-06-17 cs.RO 新提交 50%

VL-MemKnG: Hybrid Memory with a Spatio-Temporal Knowledge Graph for Question Answering over Long Egocentric Navigation Trajectories

VL-MemKnG:结合时空知识图谱的混合记忆用于长程自我中心导航轨迹问答

Svetlana Lukina, Mohamad Al Mdfaa, Gloria Haro, Sergey Zagoruyko, Gonzalo Ferrer

机构 * Mobile Robotics Laboratory, Artificial Intelligence Center(移动机器人实验室,人工智能中心) Skoltech(斯科尔科沃科学技术学院) Intelligent Multimodal Vision Analysis Group, Department of Engineering, Universitat Pompeu Fabra(智能多模态视觉分析组,工程系,庞培法布拉大学) Independent Researcher(独立研究员)

专题命中 长上下文与记忆 :language model(abstract)

AI总结 提出VL-MemKnG混合记忆框架,结合时空知识图谱与片段级上下文记忆,通过混合检索推理模块提升长程自我中心视频导航问答的准确性和效率。

详情

展开后加载摘要…

URL PDF HTML 收藏