arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-17 至 2026-04-17 共收录 13 信号源:cs.CL, cs.AI, cs.LG

1. 长上下文与记忆 13 篇

2604.14993 2026-04-17 cs.DC cs.PF 88%

Serving Chain-structured Jobs with Large Memory Footprints with Application to Large Foundation Model Serving

为具有大内存足迹的链式作业服务而设计的链式结构作业服务

Tingyang Sun, Ting He, I-Hong Hou

专题命中 长上下文与记忆 :foundation model(title,abstract);LLM(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文研究了大基础模型服务中的链式结构作业服务问题,提出了一种基于块放置和缓存分配的新型问题解决方案,通过流水线并行化解决了服务器链组成问题,显著提升了响应时间。

Comments Technical report

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14473 2026-04-17 cs.AI 87%

Response-Aware User Memory Selection for LLM Personalization

面向响应的用户记忆选择用于LLM个性化

Jillian Fisher, Jennifer Neville, Chan Young Park

机构 * Department of Computer Science and Engineering, University of Washington, Seattle, WA, United States of America(华盛顿大学计算机科学与工程系) Microsoft Research, Redmond, WA, United States of America(微软研究院)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出RUMS方法,通过测量记忆与模型输出的互信息选择用户记忆,提升响应质量并降低计算成本。

Comments Code at: https://github.com/jfisher52/Response_Utility_Optimized_Memory_Selection

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14339 2026-04-17 cs.CL 81%

Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation

重组上下文:RoPE扰动的自我蒸馏用于长上下文适应

Zichong Li, Chen Liang, Liliang Ren, Tuo Zhao, Yelong Shen, Weizhu Chen

机构 * Georgia Institute of Technology(佐治亚理工学院) Microsoft(微软)

专题命中 长上下文与记忆 :SFT(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出RoPE扰动的自我蒸馏方法,通过扰动RoPE索引生成不同视角的训练序列,提升模型对位置变化的鲁棒性,实验显示在长上下文任务中表现更优。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.03686 2026-04-17 cs.AI 81%

AI4S-SDS: A Neuro-Symbolic Solvent Design System via Sparse MCTS and Differentiable Physics Alignment

AI4S-SDS: 一种基于稀疏MCTS和可微物理对齐的神经符号溶剂设计系统

Jiangyu Chen

机构 * State Key Laboratory for Novel Software Technology at Nanjing University(南京大学新型软件技术国家重点实验室) School of Computer Science, Nanjing University(南京大学计算机科学学院) Suzhou Laboratory(苏州实验室)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出AI4S-SDS系统,通过稀疏MCTS和可微物理对齐,解决化学配方设计中的高维组合空间问题,提升探索多样性并实现物理约束下的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15169 2026-04-17 cs.LG 79%

Assessing the Potential of Masked Autoencoder Foundation Models in Predicting Downhole Metrics from Surface Drilling Data

评估掩码自编码基础模型在从地面钻井数据预测井下指标中的潜力

Aleksander Berezowski, Hassan Hassanzadeh, Gouri Ginde

机构 * Schulich School of Engineering(施鲁奇工程学院) Department of Electrical and Software Engineering(电气与软件工程系) University of Calgary(卡尔加里大学) Department of Chemical and Petroleum Engineering(化学与石油工程系)

专题命中 长上下文与记忆 :foundation model(title,abstract);分类 cs.LG

AI总结 本文评估MAEFMs在从地面钻井数据预测井下指标中的潜力,发现其在时间序列建模中具有优势,建议未来进行实证验证。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.22175 2026-04-17 cs.CL 79%

DySCO: Dynamic Attention-Scaling Decoding for Long-Context Language Models

DySCO:动态注意力缩放解码用于长上下文语言模型

Xi Ye, Wuwei Zhang, Fangcong Yin, Howard Yen, Danqi Chen

机构 * Princeton Language and Intelligence, Princeton University(普林斯顿语言与智能,普林斯顿大学) Department of Computer Science, New York University(纽约大学计算机科学系)

专题命中 长上下文与记忆 :language model(title,abstract);分类 cs.CL

AI总结 DySCO通过动态调整注意力机制提升长上下文推理能力,利用检索头识别关键token并增强其权重,在多个基准测试中取得25%的性能提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14922 2026-04-17 cs.LG cs.CL 73%

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

LongAct:利用内在激活模式促进长上下文强化学习

Bowen Ping, Zijun Chen, Tingfeng Hui, Qize Yu, Chenxuan Li, Junchi Yan, Baobao Chang

机构 * Peking University(北京大学) Shanghai Jiao Tong University(上海交通大学) Beijing University of Posts and Telecommunications(北京邮电大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 本文提出LongAct方法,通过利用长上下文推理中的稀疏结构,改进大语言模型的训练,提升长上下文处理能力与泛化性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14362 2026-04-17 cs.CL cs.AI cs.IR 73%

APEX-MEM: Agentic Semi-Structured Memory with Temporal Reasoning for Long-Term Conversational AI

APEX-MEM: 基于时序推理的代理半结构化记忆用于长期对话AI

Pratyay Banerjee, Masud Moshtaghi, Shivashankar Subramanian, Amita Misra, Ankit Chadha

机构 * Amazon(亚马逊)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 APEX-MEM通过结合属性图、只追加存储和多工具检索代理,解决大语言模型在长期对话记忆中的可靠性问题,实现88.88%的LOCOMO问答准确率和86.2%的LongMemEval表现。

Comments Accepted to ACL 2026 Mains

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.12452 2026-04-17 cs.CL 70%

Latent-Condensed Transformer for Efficient Long Context Modeling

基于MLA的潜在压缩Transformer用于高效长上下文建模

Zeng You, Yaofo Chen, Qiuwu Chen, Ying Sun, Shuhai Zhang, Yingjian Li, Yaowei Wang, Mingkui Tan

机构 * South China University of Technology(南方科技大学) Pengcheng Laboratory(鹏城实验室) AIGCode Harbin Institute of Technology(哈尔滨工业大学) Pazhou Laboratory(琶洲实验室)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出Latent-Condensed Attention,通过在MLA的潜在空间内压缩上下文,减少计算成本和KV缓存,同时保持性能。

Comments Accepted by ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05418 2026-04-17 cs.CV cs.AI 70%

VideoStir: Understanding Long Videos via Spatio-Temporally Structured and Intent-Aware RAG

VideoStir:通过时空结构化和意图感知的RAG理解长视频

Honghao Fu, Miao Xu, Yiwei Wang, Dailing Zhang, Jun Liu, Yujun Cai

机构 * University of Queensland(昆士兰大学) University of California, Merced(加州大学默塞德分校) Institute of Automation, CAS(中国科学院自动化研究所) Lancaster University(兰卡斯特大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 VideoStir通过构建时空图和意图相关性评分器,改进长视频RAG框架,实现基于意图的结构化推理,无需辅助信息即可竞争现有最佳基线。

Comments Accepted by ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.03236 2026-04-17 cs.AI 70%

MAGMA: A Multi-Graph based Agentic Memory Architecture for AI Agents

MAGMA:一种基于多图的代理记忆架构用于AI代理

Dongming Jiang, Yi Li, Guanpeng Li, Bingzhe Li

机构 * Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系) Department of Electrical and Computer Engineering, University of Florida(佛罗里达大学电气与计算机工程系)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 MAGMA通过多图结构实现记忆表示,提升长时序推理任务的性能,提供透明推理路径和细粒度检索控制。

Comments ACL 2026 Main

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.05493 2026-04-17 cs.RO 67%

cuRoboV2: Dynamics-Aware Motion Generation with Depth-Fused Distance Fields for High-DoF Robots

cuRoboV2:基于深度融合距离场的动态感知运动生成用于高自由度机器人

Balakumar Sundaralingam, Adithyavairavan Murali, Stan Birchfield

机构 * NVlabs

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 cuRoboV2通过融合深度信息的距离场技术,实现高自由度机器人的安全、可行和反应式运动生成,提升了单臂机械臂到完整人形机器人的运动生成能力。

Comments cuRoboV2 Technical Report with code url

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.13671 2026-04-17 cs.CV 50%

AgentIAD: Agentic Industrial Anomaly Detection via Adaptive Memory Augmentation

AgentIAD: 通过自适应记忆增强的代理工业异常检测

Junwen Miao, Penghui Du, Yingying Fan, Yi Liu, Yu Wang, Runze He, Lida Huang, Yan Wang

机构 * AIR, Tsinghua University(清华大学AIR) Etude AI Stony Brook University(石溪大学)

专题命中 长上下文与记忆 :language model(abstract)

AI总结 本文提出AgentIAD框架,通过统一的动作空间实现迭代工业检测,利用视觉记忆和检索记忆进行多轮感知-行动推理,提升异常检测准确性和可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏