语言大模型 / LLM

Calibrating Transformer Attention via Task-Space Sensitivity Feedback

从虚假焦点到真实精确：基于混淆的对抗性注意力学习在Transformer中

Yawei Liu

机构 * Chinese Academy of Sciences, Computer Network Information Center（中国科学院计算机网络信息中心） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出AFA机制，通过对抗性训练优化Transformer模型的注意力分布，提升情感分析任务的准确性。

Comments 9 pages, 3 figures

OR-Agent: Bridging Evolutionary Search and Structured Research for Automated Algorithm Discovery

OR-Agent：连接进化搜索与结构化研究以实现自动化算法发现

Qi Liu, Ruochen Hao, Can Li, Wanjing Ma

机构 * Key Laboratory of Road and Traffic Engineering of the Ministry of Education（教育部道路与交通工程重点实验室） ； College of Transportation, Tongji University（同济大学交通运输学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 OR-Agent通过结构化树形工作流和进化-系统化构想机制，实现自动化算法发现的高效探索与科学发现。

StateRAG: Typed State Contracts for Complex Retrieval-Augmented Generation

EfficientGraph-RAG：面向跨任务检索增强生成的结构化检索状态管理

Miaohe Niu, Pengxiang Li, Jingbo Zhu, Tong Xiao

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Tsinghua University, China（清华大学） ； Kunming University of Science and Technology, China（昆明理工大学） ； NiuTrans Research, Shenyang, China（沈阳NiuTrans研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 提出EfficientGraph-RAG框架，通过显式定义检索状态（TAM、MARS、SMP三个机制）实现结构化状态管理，在多个基准上提升答案质量并降低大模型token消耗。

Dense Local Dependencies Induce Attention-Logit Explosion and Training Instability During Long-Sequence Transformer Training

密集局部依赖会在长序列Transformer训练期间引发注意力对数爆炸和训练不稳定性

Suvadeep Hajra

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本研究揭示长序列Transformer训练中注意力对数爆炸的主因是密集局部依赖，经实验验证该增长由依赖密度驱动，提出显式建模密集局部依赖的长上下文Transformer设计原则。

MemTX: Transactional Belief Commit for Stateful Agent Memory

MemTX：用于有状态智能体内存的事务性信念提交

Xiaoyang Li, Yiqi Wang, Haohui Lu, Zhi Chen, Mo Li, Pingan Song, Mingkai Zheng, Taotao Cai

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体通过共享内存协调时内存写入问题，提出事务性信念提交协议MemTX，通过携带多种信息、在事务中暂存写入等方式，经机器检查确保不变量，在多主干上领先基线且无下游危害。

Comments Preprint

LazyMem: Retrieve Broadly, Construct Selectively for Efficient Long-Term Agent Memory

LazyMem：广泛检索，按需构建以实现高效长期智能体记忆

Jing Yu, Yibo Zhao, Jiaming Zhang, Xiang Li

机构 * School of Data Science and Engineering, East China Normal University（数据科学与工程学院，华东师范大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体长期记忆中原始对话历史的问题，提出LazyMem方法，将记忆构建推迟到查询时，通过轻量级模型处理候选池，经特定训练方式，在基准测试中取得高准确率，减少记忆令牌数和延迟。

Comments 29 pages, under review

VTM-Nav: Harnessing Cross-Episode Experience for Object-Goal Navigation with Hierarchical Visual-Topological Memory

VTM-Nav：用于跨情节对象目标导航的分层视觉拓扑记忆

Xiaoran Xu, Yupeng Wu, Tianyu Xue, Yifan Xu, Xuanran Dong, Xiaoshan Yang, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 研究跨情节对象目标导航问题，提出无训练的VLM导航框架\method，其带有分层视觉拓扑记忆，通过粗到细匹配检索经验，在三个基准测试中性能最佳，证明跨数据集结构化视觉拓扑经验复用有效且鲁棒。

XALPHA: A Memory-Driven AI Quant Researcher for Hypothesis-to-Code Alpha Discovery

XALPHA：一个用于从假设到代码的阿尔法发现的内存驱动人工智能量化研究员

Fengyuan Liu, Yuchen Fu, Yuqi Wang, Qi Liu

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 针对金融市场难以发现交易信号问题，介绍内存驱动的XAlpha人工智能量化研究员，它通过多源研究内存系统，实现从假设到代码的闭环阿尔法发现过程，实验表明其比基线有更强的阿尔法发现性能。

Ruby: Unmasking Unsafe Rust in Stripped Binaries via Machine Learning

Ruby：通过机器学习揭示剥离二进制文件中的不安全Rust

Xiang Cheng, Sangdon Park, HyungSeok Han, Xiaokuan Zhang, Taesoo Kim

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Pohang University of Science and Technology（釜山科学技术大学） ； Microsoft（微软公司） ； George Mason University（乔治·梅奥大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.LG

AI总结 研究旨在揭示Rust二进制文件中的不安全区域，核心方法是用机器学习工具Ruby捕获二进制指令差异，主要贡献为识别大部分不安全区域且误报率低，应用于指导符号执行和模糊测试有显著速度提升并帮助修复安卓库漏洞。

Comments Accepted to DSN 2026

Platonic Representations for Poverty Mapping: Unified Vision-Language Codes or Agent-Induced Novelty?

贫困地图绘制的柏拉图式表示：统一的视觉语言代码还是智能体诱导的新颖性？

Satiyabooshan Murugaboopathy, Connor T. Jerzak, Adel Daoud

机构 * AI and Global Development Lab（人工智能与全球发展实验室） ； Institute for Analytical Sociology（分析社会学研究所） ； Institute of Computer Science（计算机科学研究所） ； Department of Government（政府系） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究社会经济指标在卫星图像和网络文本中的信息印记，开发多模态框架经五条管道预测家庭财富，贡献包括融合视觉与文本提升预测、发现部分表示对齐证据、发布大规模多模态数据集。

Comments ICSC 2026

Dynamic Symmetric Point Tracking: Tackling Non-ideal Reference in Analog In-memory Training

动态对称点跟踪：解决模拟内存训练中的非理想参考问题

Quan Xiao, Jindan Li, Zhaoxian Wu, Tayfun Gokmen, Tianyi Chen

机构 * Department of Electrical and Computer Engineering, Cornell University, New York, NY（康奈尔大学电气与计算机工程系） ； IBM T. J. Watson Research Center, Yorktown Heights, NY（IBM 沃森研究中心） ； Rensselaer Polytechnic Institute, Troy, NY（伦塞拉尔理工学院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 针对模拟内存计算中非理想器件导致的权重更新偏向对称点问题，提出动态对称点估计方法，在训练中跟踪对称点并保证收敛，结合数字信号处理技术增强性能。

MemBuilder: Reinforcing LLMs for Long-Term Memory Construction via Attributed Dense Rewards

MemBuilder: 通过具有属性的密集奖励强化LLMs以进行长期记忆构建

Zhiyu Shen, Ziming Wu, Fuming Lai, Shaobing Lian, Yanghui Rao

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Tencent Inc.（腾讯公司） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL

AI总结 MemBuilder通过具有属性的密集奖励强化LLMs，解决长期对话中保持一致性的挑战，提升多维记忆构建能力，实验表明其在长期对话基准测试中表现优异。

Comments 19 pages (9 main + 10 appendix), 7 figures, 3 tables

Hierarchical Fast-Slow ReAct Agent for Zero-Shot Object-Goal Navigation

用于零样本物体目标导航的分层快慢ReAct智能体

Zhaochen Lan, Zhi Yang, Yuxiang Fu, Mengxiang Lin

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 该研究针对零样本物体目标导航，提出分层快慢ReAct智能体，结合价值图控制器与坐标锚定记忆及VLM，在HM3D、MP3D验证集上取得零样本方法最高成功率，远前沿审议可提升性能。

Comments 11 pages, 6 figures

SPFinder: Improving the Context Length and Scalability for Tracing Known Vulnerability Patches

SPFinder：提升已知漏洞补丁追踪的上下文长度与可扩展性

Jiangrui Zheng, Xueqing Liu, Guanqun Yang, Siyan Wen, Qiushi Liu, Xiaoyin Wang

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 SPFinder是一种用于追踪已知漏洞补丁的可扩展检索框架，通过分层嵌入和三阶段检索解决长上下文与可扩展性问题，在多数据集评估中优于现有方法，可实用关联CVE补丁。

Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers

文本模板令牌是扩散Transformer中的隐式语义寄存器

Maohua Li, Qirui Li, Yanke Zhou, Yiduo Li, Zhaosheng Chi, Chao Xu, Cuifeng Shen, Yixuan Xu, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

机构 * Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 研究文本到图像扩散Transformer中内部计算，引入因果可解释性框架，发现结构模板令牌充当隐式语义寄存器，据此设计剪枝规则，还揭示其生成计算组织方式，提供了DiTs内部机制的因果视图。

DisDP: Disaggregating Compute, Network, and Storage for Model-Sharded Data-Parallel Training

DisDP：用于模型分片数据并行训练的计算、网络和存储解耦

Mo Sun, Zihan Yang, Changyue Liao, Yingtao Li, Jie Zhang, Kaiqi Chen, Fei Wu, Zeke Wang

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 研究针对模型分片数据并行训练中网络通信开销大问题，提出DisDP架构，通过将计算、网络和存储解耦，把集合操作卸载到智能网卡和交换机，存储卸载到增强型参数服务器，提升了GPU利用率，实验验证了该方法的高效性。

Comments Accepted by ISCA 2026

Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering

闭环：自回归生成渲染的无训练重访一致性

Wenchao Ma, Changran Liu, Sharon X. Huang, Haomiao Jiang

机构 * Roblox（罗布乐思） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)

AI总结 研究自回归生成渲染中相机重访位置时的不一致问题，利用3D引擎提供的时间和空间对应关系，将姿态匹配的历史潜在块检索到KV缓存，并使注意力偏向对应区域，在相关数据集上实验，提升了重访一致性且不损失视频质量。

Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

通过置信感知加权提高零样本CLIP的对抗鲁棒性

Nikoo Naghavian, Mostafa Tavassolipour

机构 * School of ECE, College of Engineering University of Tehran（电子工程学院，工程学院，伊朗塔里哈大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 研究如何提高零样本CLIP的对抗鲁棒性，提出置信感知加权方法，该方法含置信感知损失和特征对齐正则化两个关键组件，实验证明其在强对抗攻击下优于现有方法且内存效率更高。

Comments Preprint

ME-IQA: Memory-Enhanced Image Quality Assessment via Re-Ranking

ME-IQA: 通过重新排序增强的记忆图像质量评估

Kanglong Fan, Tianhe Wu, Wen Wen, Jianzhao Liu, Le Yang, Yabin Zhang, Yiting Liao, Junlin Li, Li Zhang

机构 * City University of Hong Kong（香港城市大学） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 ME-IQA通过构建记忆库和利用推理摘要检索语义和感知对齐的邻居，将VLM重构为概率比较器，并通过门控反思和记忆巩固提升未来决策，从而实现更密集的失真敏感预测，缓解离散崩溃问题。

Comments Published as a conference paper at ECCV 2026

Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents

利用VLA：通过记忆引导智能体将冻结的视觉语言动作模型转化为可靠的操作原语

Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

机构 * Tsinghua University（清华大学） ； Striding AI（驰行人工智能公司） ； Purdue University（普渡大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Infinigence AI（英飞智研人工智能公司） ； Zhongguancun Academy（中关村学院） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 研究语言条件下操作问题，提出Harness VLA框架，将冻结VLA与分析原语库结合，通过学习操作范围扩展预训练VLA，在多种扰动操作任务中相比基线有大幅提升。

Test-Time Adaptation via Cache Personalization for Facial Expression Recognition in Videos

基于缓存个性化的时间测试适应用于视频面部表情识别

Masoumeh Sharafi, Muhammad Osama Zeeshan, Soufiane Belharbi, Alessandro Lameiras Koerich, Marco Pedersoli, Eric Granger

机构 * LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA系统工程系，蒙特利尔工程学院，加拿大） ； LIVIA, Dept. of Software and IT Engineering, ETS Montreal, Canada（LIVIA软件与信息工程系，蒙特利尔工程学院，加拿大） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 本文提出TTA-CaP方法，通过缓存实现高效视频面部表情识别的模型个性化，减少计算开销并提升跨主体和环境变化的性能。

A Note on k-NN Gating in RAG

关于检索增强生成（RAG）中k近邻门控的一个注释

Gérard Biau, Claire Boyer

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 为检索增强生成（RAG）提出统计代理框架，推导出最优查询级门控，通过检索不一致性分析幻觉并建模查询-内存不匹配，还进行了数值验证。

Vision-Language Memory for Spatial Reasoning

用于空间推理的视觉语言记忆

Zuntao Liu, Yi Du, Taimeng Fu, Shaoshu Su, Cherie Ho, Chen Wang

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 研究针对当前视觉语言模型在视频空间推理中未达人类水平的问题，提出VLM²，通过双记忆模块，即工作记忆和情景记忆，实现固定成本下的高效空间推理，在多基准测试中取得最优性能，推动视觉空间智能发展。

Comments Accepted to European Conference on Computer Vision (ECCV), 2026

Q-GeoMem: Question-Guided Geometric Memory for Video Spatial Reasoning

Q-GeoMem：面向视频空间推理的问题引导几何记忆

Xianqiang Gao, Qizhi Chen, Delin Qu, Haoming Song, Zhigang Wang, Bin Zhao, Dong Wang, Xuelong Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Lab（上海人工智能实验室） ； Northwestern Polytechnical University（西北工业大学） ； TeleAI 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 提出Q-GeoMem框架，通过问题引导的几何记忆机制，结合细粒度上下文库和语义几何证据库，在视频空间推理任务中实现最先进性能。

RoMa v2: Harder Better Faster Denser Feature Matching

RoMa v2：更优更快更密集的特征匹配

Johan Edstedt, David Nordström, Yushan Zhang, Georg Bökman, Jonathan Astermark, Viktor Larsson, Anders Heyden, Fredrik Kahl, Mårten Wadenbäck, Michael Felsberg

机构 * Linköping University（_linköping大学） ； Chalmers University of Technology（_chalmers技术大学） ； University of Amsterdam（_阿姆斯特丹大学） ； Centre for Mathematical Sciences, Lund University（_数学科学中心，吕勒奥大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 研究针对现有密集匹配器在复杂场景中表现不佳及高精度模型慢等弱点，通过系列改进构建新架构与损失函数，采用解耦管道加速训练、减少内存使用，利用基础模型提升鲁棒性，新匹配器达新的技术水平。

Comments ECCV 2026 camera ready

Quantitative Decomposition of Speckle Decorrelation for Inverse Problems in Complex Wave Scattering

复波散射反问题中散斑去相关的定量分解

Qihang Zhang, Haoyu Yue, Ninghe Liu, Danlin Xu, Renjie Zhou, Liangcai Cao, George Barbastathis

专题命中 长上下文与记忆 ：prompting(abstract)

AI总结 研究复波散射反问题，揭示反向散射去相关可量化为两项，分别源于表面和体积散射，通过实验验证理论预测，为反问题提供先进正向模型并举例验证。

Comments 6 figures

PA-VAD: Diffusion-Based Pseudo-Only Video Anomaly Detection via Domain-Aligned Memory Updates

PA-VAD: 基于扩散的伪异常视频异常检测通过域对齐记忆更新

Satoshi Hashimoto, Yanan Wang, Hitoshi Nishimura, Mori Kurokawa

机构 * KDDI Research, Inc.（KDDI研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 提出PA-VAD框架，仅用真实正常视频和扩散合成伪异常视频训练检测器，通过域对齐正则化模块（DARM）消除伪异常特征偏差，在多个基准上超越使用真实异常视频的方法。

Comments Accepted to ECCV 2026

From Local Corrections to Generalized Skills: Improving Neuro-Symbolic Policies with MEMO

从局部修正到通用技能：利用MEMO改进神经符号策略

Benjamin A. Christie, Yinlong Dai, Mohammad Bararjanianbahnamiri, Simon Stepputtis, Dylan P. Losey

机构 * Collab ； Dept. of Mechanical Engineering, Virginia Tech, Blacksburg, USA.（机械工程系，弗吉尼亚理工学院，黑斯堡，美国） ； TEA Lab（TEA实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 针对机器人神经符号策略中技能不足的问题，提出MEMO框架，通过收集、聚类和改写多用户自然语言修正，构建检索增强的技能手册，动态扩展技能库，实现新任务泛化。

FrameVGGT: Coherence-Preserving Memory for Bounded Streaming Geometry

FrameVGGT：几何对齐的帧级内存用于有界流式VGGT

Zhisong Xu, Takeshi Oishi

机构 * Institute of Industrial Science（工业科学研究所） ； The University of Tokyo（东京大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 FrameVGGT从几何支持角度重新审视有界内存流式处理，通过组织帧级增量KV贡献为连贯段，实现稳定几何支持与内存平衡。

Comments 23pages including appendix checklist

HY-WU (Part I): An Extensible Functional Neural Memory Framework and An Instantiation in Text-Guided Image Editing

HY-WU (第一部分): 一种可扩展的功能性神经记忆框架及其在文本引导图像编辑中的应用

Mengxuan Wu, Xuanlei Zhao, Ziqiao Wang, Ruicheng Feng, Zhangyang Wang, Kai Wang

机构 * Tencent HY Team（腾讯 HY 团队） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 提出HY-WU框架，通过功能性神经记忆模块即时生成实例特定权重更新，避免共享权重覆盖导致的干扰，解决持续学习与个性化中的灾难性遗忘问题。