arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 4789 信号源:cs.CL, cs.AI, cs.LG

1. 长上下文与记忆 4789 篇

2602.14262 2026-05-26 cs.AR 67%

ABI: A tightly integrated, unified, sparsity-aware, reconfigurable, compute near-register file/cache GPU architecture with light-weight softmax for deep learning, linear algebra, and Ising compute

ABI: 一种紧密集成、统一、稀疏感知、可重构、近寄存器文件/缓存计算的GPU架构,配备轻量级softmax,用于深度学习、线性代数和伊辛计算

Siddhartha Raman Sundara Raman, Jaydeep P. Kulkarni

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 提出一种紧密集成的近内存GPU架构,通过自定义稀疏感知电路和轻量级softmax电路,在CNN、GCN、线性规划、大语言模型和伊辛工作负载上实现6-16倍加速和6-13倍能效提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.12364 2026-05-22 cs.CR cs.OS 67%

Tyche: Composable Isolation as a Foundation to Manage Trust in the Cloud

Tyche:可组合隔离作为管理云中信任的基础

Adrien Ghosn, Charly Castes, Neelu S. Kalani, Yuchen Qian, Marios Kogias, Edouard Bugnion

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 该研究提出Tyche系统,通过可组合的隔离抽象来管理云环境中不同组件之间的信任问题,核心方法是引入安全域(SD)作为统一的隔离抽象,主要贡献是提供了一种无需牺牲兼容性的可组合隔离方案,支持在不同平台上运行。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20818 2026-05-21 cs.CV 67%

OSGNet with MLLM Reranking @ Ego4D Episodic Memory Challenge 2026

OSGNet with MLLM Reranking @ Ego4D Episodic Memory Challenge 2026

Yisen Feng, Leigang Qu, Haoyu Zhang, Qiaohui Chu, Meng Liu, Xuemeng Song, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)) National University of Singapore(新加坡国立大学) Pengcheng Laboratory(鹏城实验室) Shandong Jianzhu University(山东建筑大学) Southern University of Science and Technology(南方科技大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出一种基于多模态大语言模型(MLLM)的重排序框架,用于解决Ego4D事件记忆挑战2026中的自然语言查询和目标步 tracks,通过结合现有定位模型OSGNet的候选片段和MLLM的视频-语言推理能力,提升时间片段的定位精度。

Comments Champion solution for the Natural Language Queries and GoalStep tracks of the Ego4D Challenge at the CVPR EgoVis Workshop 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.16819 2026-05-20 cs.CV 67%

Character-Centered Dialogue Generation from Scene-Level Prompts

从场景级提示生成以角色为中心的对话

Taewon Kang, Ming C. Lin

机构 * University of Maryland at College Park, United States(马里兰大学学院市分校,美国)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本研究提出了一种模块化流程,将动作级提示转化为视觉和听觉上一致的对话,丰富了基于场景的故事叙述。通过预训练的视觉-语言编码器提取高级视觉语义,并结合结构化提示引导大型语言模型生成对话。引入递归叙述银行以保持跨场景的上下文和情感一致性,最终生成具有表现力的角色条件语音,产生完整的视听叙事。

Comments Accepted to the 2026 IEEE International Conference on Image Processing (ICIP 2026). 18 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19594 2026-05-20 cs.RO 67%

MCNav: Memory-Aware Dynamic Cognitive Map for Zero-shot Goal-oriented Navigation

MCNav: 用于零样本目标导向导航的记忆感知动态认知图

Jingyu Li, Zhe Liu, Wenxiao Wu, Li Zhang

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) University of Hong Kong(香港大学) Huazhong University of Science and Technology(华中科技大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出MCNav,一种记忆感知的动态认知图导航框架,通过高效查询已探索区域的相关物体信息,解决零样本目标导向导航中目标丢失或误识别的问题,通过目标再验证和遗漏目标再探索策略,结合黑名单和双检机制,实现最先进的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18233 2026-05-19 cs.CV 67%

Enhancing Train-Free Infinite-Frame Generation for Consistent Long Videos

增强无列车无限帧生成以实现一致的长视频

X. Feng, J. Zhu, M. Wu, C. Chen, F. Mao, H. Guo, J. Wu, X. Chu, K. Huang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学人工智能学院,北京,中国) The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China(复杂系统认知与决策智能重点实验室,中国科学院自动化研究所,北京,中国) AMAP, Alibaba Group, Beijing, China(AMAP,阿里巴巴集团,北京,中国)

专题命中 长上下文与记忆 :foundation model(abstract,abstract_cn)

AI总结 本文提出MIGA方法,通过两阶段对齐机制和双一致性增强机制,解决训练与推理不匹配和长时一致性维持的问题,从而提升长视频生成效果。

Comments Accepted by ICML 2026~

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08216 2026-05-19 cs.MA 67%

MemCoT: Test-Time Scaling through Memory-Driven Chain-of-Thought

MemCoT: 通过记忆驱动的链式推理实现测试时扩展

Haodong Lei, Junming Liu, Yirong Chen, Ding Wang, Hongsong Wang

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出MemCoT,一种通过记忆驱动的链式推理实现测试时扩展的框架,通过引入多视角长期记忆感知模块和任务条件双短期记忆系统,有效解决大规模碎片化长上下文推理中的幻觉和灾难性遗忘问题,实验证明其在LoCoMo和LongMemEval-S基准测试中达到SOTA性能。

Comments 14 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15556 2026-05-18 cs.HC 67%

TopoClaw: A Human-Centric and Topology-Aware Agent Operating System

TopoClaw:一种以人为本且拓扑感知的代理操作系统

Heyuan Huang, Yeyi Guan, Jihong Wang, Mingzhi Wang, Jiamu Zhou, Xiangmou Qu, Jiaxin Yin, Xin Liao, Xingyu Lou, Jun Wang

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 TopoClaw提出一种以人为本的拓扑感知代理操作系统,通过物理设备拓扑与社会关系拓扑的耦合结构,实现跨设备动作放置、跨用户身份归属和跨上下文权限治理,提升分布式协作与安全管控能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15514 2026-05-18 cs.CL cs.AI cs.LG 67%

RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably

RoPE在长上下文中无法区分位置或令牌,证明性分析

Yufeng Du, Phillip Harris, Minyang Tian, Eliu A Huerta, Srikanth Ronanki, Subendhu Rongali, Aram Galstyan, Hao Peng

机构 * University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) University of Bonn(波恩大学) Argonne National Laboratory(阿贡国家实验室) Amazon AGI(亚马逊人工智能研究院)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文证明RoPE在长上下文中因失去局部偏倚和令牌相关性一致性而失效,无法区分位置或令牌,且增加RoPE基值只能牺牲位置区分能力。

Comments 35 pages, 11 figures, submitted to NeurIPS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.11616 2026-05-13 cs.CV 67%

Grounding by Remembering: Cross-Scene and In-Scene Memory for 3D Functional Affordances

通过记忆实现 grounding:跨场景和场景内的记忆用于3D功能 affordances

Qirui Wang, Jingyi He, Yining Pan, Xulei Yang, Shijie Li

机构 * TUM(慕尼黑工业大学) A*STAR(新加坡科技研究局)

专题命中 长上下文与记忆 :language model(abstract);prompting(abstract)

AI总结 本文提出AFFORDMEM框架,通过跨场景和场景内的记忆实现3D功能 affordances的grounding,无需微调和标注,提升AP50性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09032 2026-05-12 cs.CL cs.AI cs.LG 67%

A Quantum Inspired Variational Kernel and Explainable AI Framework for Cross Region Solar and Wind Energy Forecasting

一种受量子启发的变分核和可解释AI框架用于跨区域太阳能和风能预测

Pavan Manjunath, Thomas Prufer

机构 * Independent Research Scholar, Germany(德国独立研究学者)

专题命中 长上下文与记忆 :foundation model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种四阶段混合框架,结合经典模型和量子启发变分核,实现跨区域太阳能和风能预测,提升预测精度和可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08716 2026-05-12 cs.AI cs.CL cs.LG 67%

Bias by Necessity: Impossibility Theorems for Sequential Processing with Convergent AI and Human Validation

必要偏差:具有收敛AI和人类验证的序列处理的不可能定理

Jikun Wu, Dongxin Guo, Siu-Ming Yiu

机构 * Stellaris AI Limited(Stellaris AI有限公司) Brain Investing Limited(Brain Investing有限公司) The University of Hong Kong(香港大学)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨了序列信息处理中某些认知偏差是否不可避免,通过三个不可能定理证明了优先效应、锚定和顺序依赖在自回归语言模型中的必要性,并通过实验验证了这些偏差的量化预测。

Comments 6 pages, 3 figures, 5 tables. Accepted to CogSci 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08258 2026-05-12 cs.MA 67%

Designing Intelligent Enterprise Agents: A Capability-Aligned Multi-Agent Architecture

设计智能企业代理:一种能力对齐的多代理架构

John deVadoss

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 本文提出CEAD架构,通过能力对齐设计优化企业代理系统,评估显示其在安全成功率上优于其他架构。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.14337 2026-05-08 cs.CV 67%

On the Nature of Attention Sink that Shapes Decoding Strategy in Omni-LLMs

关于塑造 Omni-LLMs 解码策略的注意力 sink 性质

Suho Yoo, Youngjoon Jang, Joon Son Chung

机构 * KAIST(韩国科学技术院) VGG, University of Oxford(牛津大学视觉感知实验室)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文研究 Omni-LLMs 中注意力 sink 的行为,发现其不仅反映头部冗余,还承担额外功能,提出 OutRo 方法通过特征空间对齐和放松因果掩码提升解码性能。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.22285 2026-05-04 cs.CV 67%

VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding

VideoDetective:通过外在查询和内在相关性进行长视频理解的线索搜索

Ruoliu Yang, Chu Wu, Caifeng Shan, Ran He, Chaoyou Fu

机构 * Nanjing University(南京大学) Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出VideoDetective框架,通过结合查询与片段的相关性及片段间亲和力,有效定位长视频问答中的关键片段,提升多模态大语言模型在长视频理解中的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.17196 2026-05-01 cs.CL cs.AI cs.LG 67%

Understanding and Improving Length Generalization in Hierarchical Sparse Attention Models

理解并改进层次稀疏注意力模型中的长度泛化

Jiaqi Leng, Xiang Hu, Junxiong Wang, Jianguo Li, Wei Wu, Yucheng Lu

机构 * Fudan University(复旦大学) Tencent AI Lab(腾讯AI实验室) Cornell University(康奈尔大学) Ant Group(蚂蚁集团) Ant International(蚂蚁国际) NYU Shanghai(纽约大学上海分校)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过系统分析揭示了层次稀疏注意力模型中长度泛化的核心设计原则,提出三种关键组件:非线性Chunk编码器、旁路残差路径和预训练中的稀疏选择,从而在RULER和BABILong数据集上实现了免训练的长度外推。

Comments ICLR 2026 camera-ready version

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05030 2026-04-29 cs.CL cs.AI cs.LG 67%

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

相关联记忆:复杂希尔伯特空间中的序列建模

Gowrav Vishwakarma, Christopher J. Agostino

机构 * Xavoc Technocrats Pvt.\ Ltd., , India

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出相关联记忆(PAM)模型,利用复杂值序列建模在复杂希尔伯特空间中实现更有效的语言建模,通过对比实值和复值架构,发现复值架构在参数规模增加时具有更快的改进速度。

Comments submitting to APS Open Science, 13 pages, 3 figure, code and training logs available at https://github.com/gowrav-vishwakarma/qllm2

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.07499 2026-04-29 cs.CL cs.AI cs.LG 67%

When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs

当思维遇见事实:长上下文语言模型的可重用推理

Soyeong Jeong, Taehee Jung, Sung Ju Hwang, Joo-Kyung Kim, Dongyeop Kang

机构 * KAIST(韩国科学技术院) Amazon(亚马逊) University of Minnesota(明尼苏达大学)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Thought Templates用于长上下文语言模型的可重用推理,通过迭代更新策略提升多跳推理能力,并展示其在多种基准测试中的优越表现。

Comments ACL Findings 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00520 2026-04-28 cs.MA 67%

Toward a Safe Internet of Agents

迈向安全的智能体互联网

Juan A. Wibowo, George C. Polyzos

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出安全智能体系统的框架,通过分层分析揭示智能体安全的核心原则,为构建安全可靠的智能体AI提供指导。

Comments 44 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.12631 2026-04-28 cs.MA 67%

Joint Optimization of Multi-agent Memory System

多智能体记忆系统的联合优化

Wenyu Mao, Haoyang Liu, Haosong Tan, Yaorui Shi, Jiancan Wu, An Zhang, Xiang Wang

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 本文提出CoMAM框架,通过端到端强化学习和自适应信用分配机制,解决多智能体记忆系统中代理间依赖性和协作优化问题,实验表明其优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18580 2026-04-22 cs.LG cs.AI cs.CL 67%

Sessa: Selective State Space Attention

Sessa: 选择性状态空间注意力

Liubomyr Horbatko

机构 * Liubomyr Horbatko

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 Sessa通过在递归反馈路径中引入注意力机制,实现对长上下文信息的选择性检索,理论证明其记忆衰减更慢,实验显示在长上下文任务中表现最佳。

Comments v2: revised abstract for clarity; main results unchanged. Code available at: https://github.com/LibratioAI/sessa

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.27681 2026-04-22 cs.HC 67%

Personalized AI Scaffolds Synergistic Multi-Turn Collaboration in Creative Work

个性化AI支架促进创意工作中多轮协作的协同效应

Sean Kelley, David De Cremer, Christoph Riedl

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 本文通过实验验证个性化AI能提升创意任务质量,通过心理测评和工作风格访谈构建个性化模型,发现个性化AI在提升表现、信任和创造力方面优于通用AI。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18575 2026-04-21 cs.CV 67%

ReCap: Lightweight Referential Grounding for Coherent Story Visualization

ReCap:轻量级指代 grounding 以实现连贯故事可视化

Aditya Arora, Akshita Gupta, Pau Rodriguez, Marcus Rohrbach

机构 * 1 Technical University of Darmstadt \& hessian.AI, Germany -2em

专题命中 长上下文与记忆 :LLM(abstract);language model(abstract)

AI总结 ReCap 提出一种轻量级框架,通过视觉锚点提升角色稳定性与视觉一致性,无需修改基础扩散模型,在两个故事可视化基准上取得新高。

Comments Diffusion Models, Story Visualization

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17893 2026-04-21 cs.HC 67%

Empowering Vocabulary Learning Through Teaching AI: Using LLMs as a Student to Perform Learning by Teaching in Vocabulary Acquisition

通过教学AI赋能词汇学习:利用LLMs作为学生在词汇获取中进行学习教学

Tokio Uchida, Ko Watanabe, Andrew Vargo, Shoya Ishimaru, Ralph L. Rose, Ayaka Sugawara, Andreas Dengel, Koichi Kise

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出利用LLMs生成动态问题以提升学习效果,研究发现其在记忆保持和个性化学习方面优于传统方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17692 2026-04-21 cs.AR 67%

AccelCIM: Systematic Dataflow Exploration for SRAM Compute-in-Memory Accelerator

AccelCIM:面向SRAM计算存内加速器的系统数据流探索

Chenhao Xue, Yukun Wang, An Guo, Yuhui Shi, Jinwei Zhou, Xiping Dong, Yihan Yin, Yuanpeng Zhang, Tianyu Jia, Wei Gao, Qiang Wu, Xin Si, Jun Yang, Guangyu Sun

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 本文提出AccelCIM框架,系统探索SRAM存内加速器的数据流,解决传统方法的两大局限:系统化设计空间和严格评估方法,通过模拟与布局分析提升DNN加速器性能。

Comments Accepted by DAC'26

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16983 2026-04-21 eess.SP 67%

Graph-Guided Adaptive Channel Elimination for KV Cache Compression

图引导自适应通道消除用于KV缓存压缩

Enwei Tong, Yao Zhu, Yuanchao Bai, Kai Wang, Xianming Liu, Xiangyang Ji

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出GRACE框架,通过图优化方法改进KV缓存压缩,通过建模通道交互实现最优通道子集选择,实验表明可将缓存大小减少60%且性能损失小。

Comments ICME2026 paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.10029 2026-04-21 cs.IR 67%

Self-Distilled Reinforcement Learning for Co-Evolving Agentic Recommender Systems

基于共演代理推荐系统的自我蒸馏强化学习

Zongwei Wang, Min Gao, Hongzhi Yin, Junliang Yu, Tong Chen, Quoc Viet Hung Nguyen, Shazia Sadiq, Tianrui Li

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出CoARS框架,通过交互奖励和自我蒸馏信用分配,解决传统ARs在交互性和轨迹监督方面的不足,提升推荐性能和用户对齐度。

Comments 13 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15623 2026-04-20 cs.AR 67%

Overmind NSA: A Unified Neuro-Symbolic Computing Architecture with Approximate Nonlinear Activations and Preemptive Memory Bypass

Overmind NSA:一种具有近似非线性激活和抢先记忆绕过功能的统一神经符号计算架构

Weilun Wang, Zirui Wang, Wantong Li

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出Overmind架构,通过Padé近似、抢先记忆绕过和软件栈优化,解决神经符号计算中的计算瓶颈,实现高能效和吞吐量。

Comments Accepted to DAC 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.05493 2026-04-17 cs.RO 67%

cuRoboV2: Dynamics-Aware Motion Generation with Depth-Fused Distance Fields for High-DoF Robots

cuRoboV2:基于深度融合距离场的动态感知运动生成用于高自由度机器人

Balakumar Sundaralingam, Adithyavairavan Murali, Stan Birchfield

机构 * NVlabs

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 cuRoboV2通过融合深度信息的距离场技术,实现高自由度机器人的安全、可行和反应式运动生成,提升了单臂机械臂到完整人形机器人的运动生成能力。

Comments cuRoboV2 Technical Report with code url

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.12048 2026-04-15 cs.SE 67%

ORBIT: Guided Agentic Orchestration for Autonomous C-to-Rust Transpilation

ORBIT: 用于自主C到Rust转换的引导代理 orchestration

Muhammad Farrukh, Baris Coskun, Tapti Palit, Michalis Polychronakis

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 ORBIT 提出一种自主代理框架,通过动态上下文收集和依赖引导 orchestration 实现项目级 C到Rust转换,显著提升大规模代码转换的准确性和安全性。

详情

展开后加载摘要…

URL PDF HTML 收藏