arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-28 至 2026-04-28 共收录 18 信号源:cs.CL, cs.AI, cs.LG

1. 长上下文与记忆 18 篇

2604.23069 2026-04-28 cs.CL 92%

ContextWeaver: Selective and Dependency-Structured Memory Construction for LLM Agents

ContextWeaver:面向LLM代理的选型与依赖结构化记忆构建

Yating Wu, Yuhao Zhang, Sayan Ghosh, Sourya Basu, Anoop Deoras, Jun Huan, Gaurav Gupta

机构 * UT Austin(得克萨斯大学奥斯汀分校) AWS AI Labs(AWS人工智能实验室)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出ContextWeaver,通过构建推理步骤图谱,实现LLM代理的记忆选择与依赖结构化,提升长上下文交互性能,减少推理步骤与token消耗。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.24647 2026-04-28 cs.CL cs.AI 91%

DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference

DepthKV:面向长上下文LLM推理的分层KV缓存压缩

Zahra Dehghanighobadi, Asja Fischer

机构 * Ruhr University Bochum(博德姆鲁尔大学) UAR Research Center for Trustworthy Data Science and Security(UAR可信数据科学与安全研究中心)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出DepthKV,通过分层敏感度分配优化KV缓存预算,提升长上下文LLM推理效率,优于统一剪枝方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.02922 2026-04-28 cs.LG 87%

RetroInfer: A Vector Storage Engine for Scalable Long-Context LLM Inference

RetroInfer:一种用于可扩展长上下文LLM推理的向量存储引擎

Yaoqi Chen, Jinkai Zhang, Baotong Lu, Qianxi Zhang, Chengruidong Zhang, Jing Liu, Jingjia Luo, Di Liu, Huiqiang Jiang, Qi Chen, Bailu Ding, Xiao Yan, Jiawei Jiang, Chen Chen, Mingxing Zhang, Cheng Li, Yuqing Yang, Fan Yang, Mao Yang

机构 * 1 University of Science

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 RetroInfer通过引入Wave索引和Wave缓冲区,提升长上下文推理的效率与准确性,实现4.4倍于全注意力的解码吞吐量。

Comments 16 pages; Accepted by VLDB 2026

Journal ref PVLDB, 19(5): 1016-1031, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.21275 2026-04-28 cs.DC cs.AI 87%

InfiniPipe: Elastic Pipeline Parallelism for Efficient Variable-Length Long-Context LLM Training

InfiniPipe:弹性流水线并行用于高效可变长度长上下文LLM训练

Shiju Wang, Yujie Wang, Ao Sun, Fangcheng Fu, Zijian Zhu, Bin Cui, Xu Han, Kaisheng Ma

机构 * Tsinghua University(清华大学) Peking University(北京大学) Shanghai Jiao Tong University(上海交通大学) Beijing University of Posts and Telecommunications(北京邮电大学)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.AI

AI总结 本文提出弹性流水线并行和阶段感知切片级自适应检查点,以应对资源和工作负载异质性,实验证明InfiniPipe比现有系统快1.69倍。

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.01157 2026-04-28 cs.DB cs.IR 87%

Beyond Quacking: Deep Integration of Language Models and RAG into DuckDB

超越鸭子叫:将语言模型和RAG深度整合到DuckDB中

Anas Dorbani, Sunny Yasser, Jimmy Lin, Amine Mhedhbi

专题命中 长上下文与记忆 :language model(title,abstract);LLM(abstract,abstract_cn);large language model(abstract)

AI总结 本文提出FlockMTL,通过整合语言模型和RAG技术,简化了知识密集型分析应用的开发,采用模型驱动的函数和SQL抽象优化实现效率。

Journal ref Proc. VLDB Endow. (PVLDB), Vol. 18, No. 12, pp. 5415-5418 (2025)

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.23626 2026-04-28 cs.CL 86%

GraphPlanner: Graph Memory-Augmented Agentic Routing for Multi-Agent LLMs

GraphPlanner: 多智能体LLM的图记忆增强代理路由

Tao Feng, Haozhen Zhang, Zijie Lei, Peixuan Han, Jiaxuan You

机构 * Department of Computer Science(计算机科学系)

专题命中 长上下文与记忆 :LLM(title_cn,summary_cn);分类 cs.CL

AI总结 GraphPlanner通过图记忆增强代理路由方法,提升多智能体LLM在任务规划和多轮协作中的性能,实现更高的准确率和计算效率。

Journal ref ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16909 2026-04-28 cs.CL cs.AI 84%

PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations

PRISM:探究语言模型幻觉中的推理、指令和来源记忆

Yuhe Wu, Guangyu Wang, Yuran Chen, Jiatong Zhang, Yutong Zhang, Yujie Chen, Jiaming Shang, Guang Zhang, Zhuang Liu

机构 * HKUST(GZ)(香港科技大学(广州)) NYUSH(纽约大学上海分校) DUFE(东华大学) CUHK(SZ)(香港城市大学(深圳)) CUFE(中国金融学院)

专题命中 长上下文与记忆 :LLM(title);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 PRISM通过四个维度分析语言模型幻觉,提供细粒度诊断评估,揭示不同模型在指令遵循、记忆检索和逻辑推理上的权衡。

Comments Accepted by ACL main conference 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.24715 2026-04-28 cs.CL cs.LG 81%

Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling

长上下文意识的升级:混合大语言模型扩展的新前沿

Parsa Ashrafi Fashi, Utkarsh Saxena, Mehdi Rezagholizadeh, Aref Jafari, Akash Haridas, Mingyu Yang, Vansh Bhatia, Guihong Li, Vikram Appia, Emad Barsoum

机构 * AMD

专题命中 长上下文与记忆 :LLM(title);post-training(abstract);分类 cs.CL、cs.LG

AI总结 本文提出HyLo方法,通过架构适应与高效Transformer块结合,提升长上下文能力,实现上下文长度扩展32倍,内存消耗降低90%,在混合架构中表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.21768 2026-04-28 cs.LG cs.AI 81%

Extending Precipitation Nowcasting Horizons via Spectral Fusion of Radar Observations and Foundation Model Priors

通过雷达观测与基础模型先验的频谱融合扩展降水现在预报时间范围

Yuze Qin, Qingyong Li, Zhiqing Guo, Wen Wang, Yan Liu, Yangli-ao Geng

机构 * 1 Key Laboratory of Big Data \& Artificial Intelligence in Transportation (Ministry of Education), Beijing Jiaotong University, Beijing, China 2 CMA Key Laboratory of Transportation Meteorology, Nanjing Innovation Institute for Atmospheric Sciences, Nanjing, China

专题命中 长上下文与记忆 :foundation model(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出PW-FouCast框架,通过频谱融合雷达数据与气象先验,解决雷达图像与气象数据表示差异问题,提升降水预报可靠性与时间范围。

Comments Accepted by IJCNN 2026. Code is available at https://github.com/Onemissed/PW-FouCast

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.23553 2026-04-28 cs.DC 80%

ClusterFusion++: Expanding Cluster-Level Fusion to Full Transformer-Block Decoding

ClusterFusion++: 扩展集群级融合至完整Transformer-块解码

ChiHeng Jin, Hongche Yu, Xihui Chen

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出ClusterFusion++,通过融合Transformer解码器全块中的各层操作,提升Pythia模型的吞吐量,同时保持高输出保真度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.08127 2026-04-28 cs.AI 79%

BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks

BlindGuard: 保护基于大语言模型的多智能体系统免受未知攻击

Rui Miao, Yixin Liu, Yili Wang, Xu Shen, Yue Tan, Yiwei Dai, Shirui Pan, Xin Wang

机构 * School of Artificial Intelligence, Jilin University(吉林大学人工智能学院) School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院)

专题命中 长上下文与记忆 :LLM(title,abstract);分类 cs.AI

AI总结 本文提出BlindGuard,一种无需标注的多智能体系统防御方法,通过层次编码器和腐蚀引导检测器有效检测多种攻击类型,优于监督基线。

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.24657 2026-04-28 cs.CR cs.AI 70%

AgentWard: A Lifecycle Security Architecture for Autonomous AI Agents

AgentWard: 为自主AI代理设计的生命周期安全架构

Yixiang Zhang, Xinhao Deng, Jiaqing Wu, Yue Xiao, Ke Xu, Qi Li

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出AgentWard架构,通过跨层协调实现对自主AI代理五个阶段的安全防护,展示了一个原型实现,为运行时安全控制提供了具体蓝图。

Comments 7 pages, 1 figure;

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.24218 2026-04-28 cs.SE cs.AI 70%

RefEvo: Agentic Design with Co-Evolutionary Verification for Agile Reference Model Generation

RefEvo: 基于共进化验证的代理设计用于敏捷参考模型生成

Yifan Zhang, Jianmin Ye, Jiahao Yang, Xi Wang

机构 * School of Integrated Circuits, Southeast University, China(东南大学集成电路学院,中国) National Center of Technology Innovation for EDA, China(EDA技术创新国家中心,中国)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 RefEvo通过动态设计规划、共进化验证机制和规格锚定策略,提升SoC设计参考模型的敏捷性和可靠性,实现95%的通过率和71.04%的上下文优化。

Comments 6 pages, 7 figures, accepted by ISEDA2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.15846 2026-04-28 cs.CL 70%

Gated Tree Cross-Attention for Checkpoint-Compatible Syntax Injection in Decoder-Only LLMs

基于门控树交叉注意力的检查点兼容语法注入解码器-only LLMs

Xinyu Gao, Shaonan Wang, Nai Ding

机构 * College of Biomedical Engineering & Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院) Department of Language Science and Technology, The Hong Kong Polytechnic University(香港理工大学语言科学与技术系)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出一种检查点兼容的门控树交叉注意力机制,用于在解码器-only LLMs中注入语法结构,提升语法鲁棒性而不影响问答和常识推理性能。

Comments ACL 2026 MainConference

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00520 2026-04-28 cs.MA 67%

Toward a Safe Internet of Agents

迈向安全的智能体互联网

Juan A. Wibowo, George C. Polyzos

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出安全智能体系统的框架,通过分层分析揭示智能体安全的核心原则,为构建安全可靠的智能体AI提供指导。

Comments 44 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.12631 2026-04-28 cs.MA 67%

Joint Optimization of Multi-agent Memory System

多智能体记忆系统的联合优化

Wenyu Mao, Haoyang Liu, Haosong Tan, Yaorui Shi, Jiancan Wu, An Zhang, Xiang Wang

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 本文提出CoMAM框架,通过端到端强化学习和自适应信用分配机制,解决多智能体记忆系统中代理间依赖性和协作优化问题,实验表明其优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.03269 2026-04-28 cs.CV cs.LG 57%

LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory

LoGeR:长上下文几何重建与混合记忆

Junyi Zhang, Charles Herrmann, Junhwa Hur, Chen Sun, Ming-Hsuan Yang, Forrester Cole, Trevor Darrell, Deqing Sun

专题命中 长上下文与记忆 :foundation model(abstract);分类 cs.LG

AI总结 LoGeR通过混合记忆模块实现长序列的高精度3D重建,无需后优化,有效解决长视频中的上下文一致性问题,优于现有方法。

Comments Project page: https://LoGeR-project.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00130 2026-04-28 cs.MA cs.AI math.DS 57%

Agentic Hives: Equilibrium, Indeterminacy, and Endogenous Cycles in Self-Organizing Multi-Agent Systems

代理蜂群:自组织多智能体系统中的均衡、不确定性与内生循环

Jean-Philippe Garnier

机构 * BrainiaK

专题命中 长上下文与记忆 :language model(abstract);分类 cs.AI

AI总结 本文提出代理蜂群框架,研究自组织多智能体系统中人口动态、均衡存在性及内生循环等核心问题,通过多部门增长理论证明七个分析结果,构建参数空间治理工具。

详情

展开后加载摘要…

URL PDF HTML 收藏