语言大模型 / LLM

Building Production-Ready Probes For Gemini

为Gemini构建生产级探针

János Kramár, Joshua Engels, Zheng Wang, Bilal Chughtai, Rohin Shah, Neel Nanda, Arthur Conmy

机构 * Google（谷歌） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出新的探针架构以应对长上下文分布变化，并通过实验验证其在网络安全领域的有效性，同时展示了自动化AI安全研究的初步成果。

Comments v4 (another minor acknowledgements fix)

MemAdapter: Fast Alignment across Agent Memory Paradigms via Generative Subgraph Retrieval

MemAdapter：通过生成子图检索实现跨代理记忆范式的快速对齐

Xin Zhang, Kailai Yang, Chenyue Li, Hao Li, Qiyu Wei, Jun'ichi Tsujii, Sophia Ananiadou

机构 * The University of Manchester（曼彻斯特大学） ； Stanford University（斯坦福大学） ； Imperial College London（伦敦帝国理工学院） ； National Institute of Advanced Industrial Science（国家先进工业科学与技术研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MemAdapter通过生成子图检索实现跨代理记忆范式的快速对齐，提升记忆检索灵活性并降低对齐成本，实验显示其性能优于现有系统。

aiXcoder-7B-v2: Training LLMs to Fully Utilize the Long Context in Repository-level Code Completion

aiXcoder-7B-v2: 训练 LLMs 完全利用仓库级代码补全中的长上下文

Jia Li, Hao Zhu, Huanyu Liu, Xianjie Shi, He Zong, Yihong Dong, Kechi Zhang, Siyuan Jiang, Zhi Jin, Ge Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 aiXcoder-7B-v2通过COLA方法提升仓库级代码补全的长上下文利用能力

Comments Camera-ready version for ASE2025

IGMiRAG: Intuition-Guided Retrieval-Augmented Generation with Adaptive Mining of In-Depth Memory

IGMiRAG: 基于直觉引导的检索增强生成与深度记忆适应性挖掘

Xingliang Hou, Yuyan Liu, Qi Sun, haoxiu wang, Hao Hu, Shaoyi Du, Zhiqiang Tian

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 IGMiRAG通过直觉引导的检索增强生成框架，结合超图和演绎路径，提升多粒度知识对齐和深度记忆挖掘，实现更高效有效的生成性能。

Comments 29 pages, Information Retrieval

KVzap: Fast, Adaptive, and Faithful KV Cache Pruning

KVzap：快速、自适应和忠实的KV缓存修剪

Simon Jegou, Maximilian Jeblick

机构 * NVIDIA（英伟达） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 KVzap通过快速且自适应的KV缓存修剪方法，在保持高精度的同时实现显著的缓存压缩，适用于长上下文和推理任务。

ENGRAM: Effective, Lightweight Memory Orchestration for Conversational Agents

ENGRAM: 有效的、轻量级的内存编排用于对话代理

Daivik Patel, Shrenik Patel

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 ENGRAM通过轻量级内存编排实现对话代理的长周期一致性，利用类型化内存和密集检索在多个基准测试中取得优异成绩。

Code Digital Twin: A Knowledge Infrastructure for AI-Assisted Complex Software Development

代码数字孪生：面向AI辅助复杂软件开发的知识基础设施

Xin Peng, Chong Wang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 代码数字孪生通过整合混合知识表示和多阶段提取管道，为AI辅助复杂软件开发提供可持续的演进路径。

Comments A vision paper that will be continuously updated

Beyond Speedup -- Utilizing KV Cache for Sampling and Reasoning

超越加速 -- 利用KV缓存进行采样与推理

Zeyu Xing, Xing Li, Hui-Ling Zhen, Mingxuan Yuan, Sinno Jialin Pan

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出将KV缓存作为轻量级表示用于采样与推理，展示了其在链式嵌入和快速/缓慢思考切换任务中的有效性，显著提升了推理效率。

Comments Accepted by ICLR26

Mitigating Attention Sinks and Massive Activations in Audio-Visual Speech Recognition with LLMs

利用大语言模型缓解音频视觉语音识别中的注意力下沉和大规模激活

Anand, Umberto Cappellazzo, Stavros Petridis, Maja Pantic

机构 * University of British Columbia, Canada（不列颠哥伦比亚大学） ； Imperial College London, UK（伦敦帝国学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文提出了一种简单有效的去相关损失，通过减少BOS与其它token的余弦相似性，缓解音频视觉语音识别中的注意力下沉和大规模激活问题，同时在高下采样率下降低词错误率。

Comments IEEE ICASSP 2026. The code is available at https://github.com/umbertocappellazzo/Llama-AVSR

Cognitive AI framework 2.0: advances in the simulation of human thought

认知AI框架2.0：人类思维模拟的进展

Rommel Salas-Guerra

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 认知AI框架2.0通过统一的记忆架构和受控的知识更新，提升人机交互的个性化与适应性，解决可扩展性、偏见缓解和伦理合规等挑战。

CauScientist: Teaching LLMs to Respect Data for Causal Discovery

CauScientist: 教授大语言模型尊重数据进行因果发现

Bo Peng, Sirui Chen, Lei Xu, Chaochao Lu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tongji University（同济大学） ； École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CauScientist通过结合大语言模型与概率统计，提升因果发现的准确性与可靠性，实现显著的F1分数提升和召回率提高。

TALM: Dynamic Tree-Structured Multi-Agent Framework with Long-Term Memory for Scalable Code Generation

TALM：具有长期记忆的动态树结构多智能体框架用于可扩展的代码生成

Ming-Tung Shen, Yuh-Jzer Joung

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 TALM通过动态树结构多智能体框架结合长期记忆机制，提升复杂代码生成任务中的推理性能和令牌效率。

Tensor Product Attention Is All You Need

张量积注意力是所有你所需要的

Yifan Zhang, Yifeng Liu, Huizhuo Yuan, Zhen Qin, Yang Yuan, Quanquan Gu, Andrew Chi-Chih Yao

机构 * IIIS, Tsinghua University（清华大学信息科学技术学院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TPA通过张量分解实现高效注意力机制，T6模型在语言建模任务中超越传统基线，提升性能与内存效率。

Comments Published in NeurIPS 2025 (Spotlight); Project Page: https://github.com/tensorgi/TPA

Phaedrus: Predicting Dynamic Application Behavior with Lightweight Generative Models and LLMs

Phaedrus：利用轻量级生成模型和大语言模型预测动态应用程序行为

Bodhisatwa Chatterjee, Neeraj Jadhav, Santosh Pande

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 Phaedrus通过轻量级生成模型和大语言模型预测动态应用程序行为，实现无需执行的高效编译器优化。

Journal ref OOPSLA 2026

From Paper to Structured JSON: An Agentic Workflow for Compliant BMR Digital Transformation

从论文到结构化JSON：一种合规BMR数字转型的代理工作流程

Bhavik Agarwal, Nidhi Bendre, Viktoria Rojkova

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文提出了一种基于AI的工作流程，将无结构的BMRs转换为结构化的JSON，通过分块、并行大语言模型提取和固定模式，实现合规的BMR数字化，提升处理效率并解锁历史制造数据。

The Pneuma Project: Reifying Information Needs as Relational Schemas to Automate Discovery, Guide Preparation, and Align Data with Intent

Pneuma项目：将信息需求作为关系模式来自动化发现、指导准备并使数据与意图一致

Muhammad Imam Luthfi Balaka, Raul Castro Fernandez

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)

AI总结 Pneuma项目通过将信息需求转化为关系模式，利用语言模型实现自动化发现与文档生成，提升数据与意图的一致性。

Comments CIDR 2026 Paper

Video Detective: Seek Critical Clues Recurrently to Answer Question from Long Videos

视频侦探：通过反复寻找关键线索来回答长视频中的问题

Henghui Du, Chunjie Zhang, Xi Chen, Chang Zhou, Di Hu

机构 * Gaoling School of Artificial Intelligence（北京中国人民大学人工智能学院） ； Renmin University of China（中国人民大学） ； AI Technology Center Online Video Business Unit（人工智能技术中心在线视频业务部） ； Tencent PCG（腾讯PCG） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 VideoDetective通过问题感知的记忆机制，使大语言模型能高效处理长视频问答任务，减少计算资源消耗并提升关键信息提取能力。

Bringing The Consistency Gap: Explicit Structured Memory for Interleaved Image-Text Generation

弥合一致性差距：用于交错图像-文本生成的显式结构化记忆

Zeteng Lin, Xingxing Li, Wen You, Xiaoyang Li, Zehan Lu, Yujun Cai, Jing Tang

机构 * Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州）） ； University of Queensland（昆士兰大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)

AI总结 IUT-Plug通过显式结构化记忆机制解决多模态生成中的上下文漂移问题，提升长序列一致性。

Bridging Your Imagination with Audio-Video Generation via a Unified Director

通过统一导演模型实现想象力与音频视频生成的连接

Jiaxu Zhang, Tianshu Hu, Yuan Zhang, Zenan Li, Linjie Luo, Guosheng Lin, Xin Chen

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 UniMAGE通过统一导演模型整合脚本起草与关键帧生成，提升非专业人士制作多镜头电影的能力。

Accelerated Inorganic Materials Design with Generative AI Agents

利用生成式AI代理加速无机材料设计

Izumi Takahara, Teruyasu Mizoguchi, Bang Liu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 MatAgent通过结合生成模型和预测模型，利用大语言模型的推理能力，实现高效、可解释的无机材料设计与发现。

TAMEing Long Contexts in Personalization: Towards Training-Free and State-Aware MLLM Personalized Assistant

在个性化中延长上下文：迈向无训练和状态感知的MLLM个性化助手

Rongpei Hong, Jian Lang, Ting Zhong, Yong Wang, Fan Zhou

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Aiwen Technology Co., Ltd.（Aiwen科技有限公司） ； Intelligent Digital Media Technology Key Laboratory of Sichuan Province（四川省智能数字媒体技术重点实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文提出TAME框架，通过双记忆和RA2G范式实现无训练、状态感知的MLLM个性化，提升长上下文对话能力。

Comments Accepted by KDD 2026 research track. Code and data are available at https://github.com/ronpay/TAME

Does SWE-Bench-Verified Test Agent Ability or Model Memory?

SWE-Bench-Verified测试的是代理能力还是模型记忆？

Thanosan Prathifkumar, Noble Saji Mathews, Meiyappan Nagappan

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 研究发现SWE-Bench-Verified基准可能反映模型训练记忆而非真实问题解决能力，建议转向更注重污染控制的新数据集。

From Frames to Clips: Training-free Adaptive Key Clip Selection for Long-Form Video Understanding

从帧到片段：训练免费的自适应关键片段选择用于长形式视频理解

Guangyu Sun, Archit Singhal, Burak Uzkent, Mubarak Shah, Chen Chen, Garin Kessler

机构 * Amazon（亚马逊公司） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 F2C通过自适应关键片段选择提升长视频理解，比均匀采样在多个基准上表现更优。

Hindsight is 20/20: Building Agent Memory that Retains, Recalls, and Reflects

事后诸葛亮：构建具有保留、回忆和反思能力的智能体记忆

Chris Latimer, Nicoló Boschi, Andrew Neeser, Chris Bartholomew, Gaurav Srivastava, Xuan Wang, Naren Ramakrishnan

机构 * The Washington Post（华盛顿邮报） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Hindsight通过结构化内存架构提升智能体在长对话中的记忆与推理能力，显著提高多会话和开放领域问题的准确率。

Exploring Automated Recognition of Instructional Activity and Discourse from Multimodal Classroom Data

探索多模态课堂数据中教学活动和话语的自动化识别

Ivo Bueno, Ruikun Hou, Babette Bühler, Tim Fütterer, James Drimalla, Jonathan Kyle Foster, Peter Youngs, Peter Gerjets, Ulrich Trautwein, Enkelejda Kasneci

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)

AI总结 本文通过多模态分析方法，实现了课堂活动中教学活动和话语的自动化识别，展示了微调模型在视频和 transcripts 上的高准确率，为可扩展的教师反馈系统提供了基础。

Comments This article has been accepted for publication in the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

Towards autonomous normative multi-agent systems for Human-AI software engineering teams

迈向自主规范的多智能体系统用于人机软件工程团队

Hoa Khanh Dam, Geeta Mahala, Rashina Hoda, Xi Zheng, Cristina Conati

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文提出自主规范的多智能体系统，通过大型语言模型赋能，实现人机协作的高效软件开发。

Telco-oRAG: Optimizing Retrieval-augmented Generation for Telecom Queries via Hybrid Retrieval and Neural Routing

Telco-oRAG: 通过混合检索与神经路由优化电信查询的检索增强生成

Andrei-Laurentiu Bornea, Fadhel Ayed, Antonio De Domenico, Nicola Piovesan, Tareq Si Salem, Ali Maatouk

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 Telco-oRAG通过混合检索与神经路由优化，提升电信领域问题回答的准确性和效率，实现开源大模型在电信基准测试中接近GPT-4水平。

Comments 12 pages, 10 figures, 4 tables

Breaking Forgetting: Training-Free Few-Shot Class-Incremental Learning via Conditional Diffusion

打破遗忘：通过条件扩散实现无训练的少样本类增量学习

Haidong Kang, Ketong Qian, Yi Lu

机构 * Northeastern University（东北大学） ； School of Information and Intelligent Science（信息与智能科学学院） ； Whiting School of Engineering（工程学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文提出无训练的少样本类增量学习方法，通过条件扩散过程替代梯度优化，缓解灾难性遗忘并提升泛化能力。

Can We Predict the Next Question? A Collaborative Filtering Approach to Modeling User Behavior

Bokang Fu, Jiahao Wang, Xiaojing Liu, Yuli Liu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

APVR: Hour-Level Long Video Understanding with Adaptive Pivot Visual Information Retrieval

Hong Gao, Yiming Bao, Xuezhen Tu, Bin Zhong, Linan Yue, Minling Zhang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

Comments Accepted by AAAI 2026