AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
保留什么，遗忘什么：大语言模型和智能体中内存压缩的率失真视角
机构 * University of California, Irvine（加州大学尔湾分校）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG
AI总结 研究大语言模型和智能体内存压缩问题，提出基于率失真视角统一分类各层方法，构建七轴分类法并转移机制，还针对相关问题未被测量及缺乏统一基准的情况，转化为提案、实验、原则并梳理开放问题。
A-TMA: 解耦长期智能体记忆中的状态感知记忆故障
机构 * National University of Singapore（新加坡国立大学）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 针对长期记忆中状态不一致导致的幽灵记忆问题，提出A-TMA方法，通过状态感知覆盖层在存储、检索和回答三个层面解耦故障，在冲突密集基准上显著提升时间F1。
Psy-Chronicle: 一个用于合成长周期校园心理辅导对话的结构化流水线
机构 * University of Science and Technology Beijing（北京科技大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文提出Psy-Chronicle，一种结构化数据生成框架，用于合成长周期校园心理辅导对话，通过生成学期跨度的时间压力事件图和学生与辅导员代理的交互模拟，构建了包含100个学生档案和9万条对话的CPCD数据集，并通过CPCD-Bench评估模型的长周期校园辅导能力，实验结果表明CPCD有效提升了模型的会话级响应生成和长周期记忆召回能力。
VTC: 基于虚拟张量的DNN编译以消除数据移动
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Georgia Institute of Technology（佐治亚理工学院） ； Microsoft（微软）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG
AI总结 VTC通过引入虚拟张量概念，首次实现消除所有不必要的数据移动，提升DNN编译效率，减少内存占用。
Comments Accepted to OSDI'26
用于稀疏分布式内存的秩排序N选M码：在针对当代神经形态架构的噪声鲁棒性中解开表示和学习效应
机构 * Independent Researcher（独立研究者） ； Bengaluru, India（印度班加罗尔）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG
AI总结 研究针对大语言模型持续学习受限问题，评估秩排序N选M编码替代稀疏分布式内存阈值二进制编码器。通过重新实现验证架构等效，实验表明其在容量和误码率鲁棒性上有优势，还分析了编码能量，为相关架构提供指导。
Comments 14 pages, 8 tables, 2 figures. Revisits rank-order sparse distributed memory for continual learning and memory-augmented AI. Includes comparisons with CALM and SpikingMamba, statistical evaluation, and real embedding experiments
PraMem：用于长时行为预测的实践衍生经验记忆
机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Fudan University（复旦大学） ； Kuaishou Technology（快手科技）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 研究长时行为预测问题，针对大语言模型在该任务中的不足，提出PraMem范式，通过对历史序列预实践构建经验记忆辅助长时行为预测，实验证明其性能优于现有方法。
AOI：通过动态调度和分层内存压缩实现的上下文感知多智能体操作
机构 * Columbia University（哥伦比亚大学） ； Hunan University（湖南大学） ； Central University of Finance and Economics（中央财经大学） ； Chongqing University（重庆大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； AI Agent Lab, Vokram Group（Vokram集团人工智能代理实验室） ； College of William and Mary（威廉与玛丽学院） ； University of Texas（得克萨斯大学） ； Zhengzhou University of Light Industry（郑州轻工业大学） ； Emory University（埃默里大学） ； Department of Nephrology, Affiliated Hospital of Guangdong Medical University（广东医科大学附属医院肾病科）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 本文提出AOI框架，通过动态任务调度和分层内存压缩，提升复杂IT基础设施的自主运维能力，实现72.4%的上下文压缩和94.2%的任务成功率。
Comments new revision
CompLLM：长上下文问答的压缩方法
机构 * Amazon（亚马逊） ； Center For Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 研究针对大语言模型处理长上下文的计算挑战，提出CompLLM软压缩技术。核心方法是将上下文分段独立压缩，具有效率、可扩展性和可重用性。贡献是提升处理速度、减小缓存大小且性能可比甚至超越未压缩情况。
MMIR-TCM：面向中医临床决策支持的记忆集成多模态推理与检索
机构 * Institute of Biopharmaceutics and Health Engineering, Tsinghua Shenzhen International Graduate School（清华深圳国际研究生院生物医药与健康工程研究院） ； Chinese Medicine Guangdong Laboratory（广东省中医药实验室） ； Beijing Normal University（北京师范大学） ； First Hospital of Hebei Medical University（河北医科大学第一医院） ； Lishui Hospital of Zhejiang University（浙江大学丽水医院） ； XiaoMing TCM Hospital（小明中医医院）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出MMIR-TCM框架，结合多模态大模型、记忆增强分割与检索增强生成，解决中医舌诊中的主观性和语义鸿沟问题，在MedTCM数据集上优于GPT-4o等模型。
TiRex-2: 将 TiRex 推广到多变量数据和流式处理
机构 * ELLIS Unit Linz, LIT AI Lab & Institute for Machine Learning, JKU Linz, Austria（ELLIS 林茨单元，LIT AI 实验室与机器学习研究所，林茨约翰·开普勒大学，奥地利） ； NXAI Lab, Linz, Austria（NXAI 实验室，林茨，奥地利） ； NXAI GmbH, Linz, Austria（NXAI 有限公司，林茨，奥地利） ； Interdisciplinary Transformation University Austria, Linz, Austria（奥地利跨学科转型大学，林茨，奥地利）
专题命中 长上下文与记忆 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG
AI总结 提出基于 xLSTM 的循环时间序列基础模型 TiRex-2，通过记忆中心设计实现多变量预测与流式处理，在零样本任务上达到最优性能。
DeepTrans Studio：将专家干预转化为智能翻译工作流中的团队共享知识
机构 * School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院） ； School of Foreign Languages, East China Normal University（华东师范大学外国语言学系） ； School of Foreign Studies, Shanghai University（上海大学外国语言学院） ； Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 提出DeepTrans Studio协作翻译平台，通过让专家在智能工作流中干预并保存决策到共享记忆，将一次性修正转化为可复用的团队知识，解决翻译协作中知识孤岛问题。
Comments 4 pages, 2 figures. Accepted to CSCW 2026 Demo. Code and demo video: https://github.com/hint-lab/deeptrans-studio, https://youtu.be/cNpafhHAEjg
当稀疏性如何缓解大语言模型中的深度诅咒
机构 * Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； ELLIS Institute Tübingen（ELLIS图宾根研究所） ； ETH Zürich（苏黎世联邦理工学院） ； Tübingen AI Center（图宾根人工智能中心） ； Zuse Institute Berlin（柏林祖泽研究所） ； Technical University of Berlin（柏林工业大学） ； Emory University（埃默里大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文研究稀疏性机制如何缓解大语言模型深度诅咒，通过实验发现稀疏性可降低输出方差并提升层间区分度，提出训练深度有效LLM的实用规则，提升下游任务准确率4.6%。
Comments 32 pages, 29 figures
遗忘，然后回忆：通过概要稀疏注意力实现可学习的压缩与选择性展开
机构 * Stanford University（斯坦福大学）
专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.LG
AI总结 本文提出一种通过概要稀疏注意力实现可学习的压缩与选择性展开机制，结合紧凑的全局表示与目标访问细粒度证据，提升长上下文大语言模型的效率与性能。
SocialPersona: 基于多模态社交媒体上下文的个性化画像与回复基准测试
机构 * Harbin Institute of Technology（哈尔滨工业大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 提出SocialPersona基准，评估多模态大语言模型从社交媒体时间线推断用户偏好并用于对话的能力，实验表明模型在细粒度与近期偏好上表现不足。
混合线性注意力机制的系统分析
机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； ByteDance Seed（字节跳动种子） ； University of Groningen（格罗宁根大学） ； CASIA（中国科学院自动化研究所） ； PolyU ； M-A-P
专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.CL
AI总结 系统评估六种线性注意力变体在独立和混合架构下的性能，发现独立性能优越的模型在混合中不一定表现好，推荐HGRN-2或GatedDeltaNet以3:1至6:1的线性-全注意力比例达到Transformer级召回率。
SAFARI: 通过主动调查扩展长时域智能体故障归因
机构 * Department of Engineering Sciences（工程科学系） ； Applied Mathematics, Northwestern University（应用数学，西北大学）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 提出SAFARI框架，用工具增强的诊断循环替代线性上下文加载，结合短期记忆解耦诊断准确性与上下文限制，在Who&When和TRAIL GAIA数据集上分别提升20%和19%，并在超出上下文窗口5倍时保持0.58精度。
Comments Published at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026
MEMPROBE：通过隐藏用户状态恢复探测长期智能体记忆
机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； KU Leuven（库尔勒大学） ； UC San Diego（圣地亚哥大学）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL
AI总结 提出MEMPROBE基准，通过从智能体记忆重建隐藏用户状态来直接评估长期记忆，发现任务完成与记忆可恢复性是不同的能力。
无需妥协的遗忘：固定预算下流式KV缓存驱逐的Nexus采样
机构 * Department of Computer Science, Grinnell College（格林内尔学院计算机科学系） ； Department of Computer Science, Rice University（莱斯大学计算机科学系） ； Lambda, Inc（Lambda公司） ； Workato（Workato公司）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.LG
AI总结 提出Nexus采样方法，通过迭代注意力计算和加权水库采样替代确定性top-K选择，在固定预算下保留微妙重要令牌，理论证明其长期优势，实验在80%驱逐率下性能接近密集注意力。
双锚定：解决视觉语言导航中的状态漂移问题
机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室） ； National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； Xi’an Jiaotong University（西安交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Johns Hopkins University（约翰霍普金斯大学） ； Joy Future Academy, JD（京东探索研究院）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出双锚定框架，通过指令进度锚定和记忆地标锚定分别解决进度漂移和记忆漂移，显著提升长场景导航成功率。
Comments Accepted by ECCV26
表示干预使大语言模型在终身学习中实现知识记忆控制
机构 * Dartmouth College（达特茅斯学院） ； NEC Laboratories America（NEC美国实验室） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文提出RILKE方法，通过在模型表示空间中进行干预，实现大语言模型的终身知识控制，有效更新知识并保持通用性。
Comments In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics: ACL 2026, Oral Presentation
FuseSampleAgg: 预算知识图谱刷新与验证的单遍邻域估计
机构 * University of Novi Sad（诺维萨德大学） ； Shanghai Key Lab of Intelligent Information Processing（上海智能信息处理重点实验室） ； College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Fudan University（复旦大学） ； Institute of Automation（自动化研究所） ； Chinese Academy of Sciences（中国科学院）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.LG
AI总结 提出一种融合的PyTorch CUDA算子，通过单遍采样和聚合实现邻域均值估计，避免显式子图构建，在保持GraphSAGE-mean语义的同时，将端到端步延迟提升2.24-3.48倍，瞬态内存降低至1/160。
Comments 11 pages. Code and reproducibility scripts: https://github.com/SV25-22/FuseSampleAgg
随机化 YaRN 提升长上下文推理的长度泛化能力
机构 * New York University（纽约大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 提出随机化 YaRN 方法，通过结合 YaRN 位置外推、随机位置编码和长度课程，在短上下文训练数据上提升模型对长上下文（16K-128K）的推理性能。
RaMem: 面向长期智能体记忆的上下文重建
机构 * University of Southern California（南加州大学）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 针对长期记忆中的上下文坍塌问题，提出RaMem框架，通过证据锚定、回忆条件归纳、有效性感知检索和上下文保留合成四个阶段，将检索到的记忆片段转化为可验证的上下文证据，在多个基准上平均F1提升超10%。
自生成：一种自我进化代理协议
机构 * Nanyang Technological University（南洋理工大学） ； Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； City University of Hong Kong（香港城市大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI
AI总结 本文提出了一种自生成协议（AGP），该协议通过分离进化内容与进化过程，解决了现有代理协议在跨实体生命周期管理、版本追踪和安全更新接口方面的不足。基于AGP，作者展示了自生成系统（AGS），该系统能够动态实例化、检索和优化协议注册的资源，通过多个具有长视界规划和工具使用的挑战性基准测试，验证了代理资源管理和闭环自我进化的有效性。
StackPlanner: 一种具有任务经验记忆管理的集中式分层多智能体系统
机构 * School of Computer Science, Peking University（北京大学计算机学院） ； National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； School of Public Affaris, Zhejiang University（浙江大学公共管理学院） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； GRG Banking Equipment Co., Ltd.（GRG银行设备有限公司） ； Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿中心） ； Peking University Information Technology Institute (Tianjin Binhai)（北京大学信息技术研究院（天津滨海））
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出StackPlanner分层多智能体框架，通过显式记忆控制解耦高层协调与子任务执行，并利用结构化经验记忆和强化学习复用协调经验，解决长期协作中的记忆膨胀和错误累积问题。
FundaPod: 一个具有知识图谱记忆的多角色智能体平台，用于AI辅助的基础投资研究
机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； UMass Boston（马萨诸塞大学波士顿分校）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出FundaPod平台，通过多角色独立研究、知识图谱记忆和事后裁决机制，支持人类投资经理进行透明、可验证的基础投资决策。
Comments 32 pages; 12 figures
无感关怀：情感动态作为人-AI智能体协作的控制层
机构 * East China Normal University（华东师范大学） ； National University of Singapore（新加坡国立大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文综述情感动态在人-AI智能体协作中的作用，提出将情感视为协调层而非AI内部属性，用于校准信任、委托和治理。
LiveStarPro: 具有分层记忆的主动式流视频理解用于长时域流
机构 * IEEE
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出LiveStarPro，通过流验证解码、流因果注意力掩码和树结构分层记忆三个组件，实现长时域流媒体视频的主动理解，在语义正确性和时序误差上分别提升28.9%和降低18.2%。
打破自回归诅咒：动态认知熵编排的可擦除强化学习用于大语言模型
机构 * SenseTime（商汤科技） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出动态认知熵编排的可擦除强化学习（E³RL），通过将模型内生的局部自回归交叉熵作为认知不确定性坐标，利用分段自适应动态阈值和优势分配精准切除逻辑缺陷并重用KV缓存，解决长序列推理中的自回归级联崩溃问题。
Semantic Flip: 用于具身问答和空间定位中鲁棒拒绝的合成OOD生成
机构 * RGA Inc.（RGA公司）
专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.AI
AI总结 提出Semantic Flip框架，通过合成辅助OOD样本训练轻量拒绝模块，使冻结的视觉语言模型在无外部OOD标注下实现鲁棒拒绝，在具身问答和空间定位基准上优于强提示基线。
Comments 18 pages, 3 figures. Code and data: https://github.com/ndb796/SemanticFlip ; project page: https://ndb796.github.io/SemanticFlip
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈