语言大模型 / LLM

A Scalable Pipeline for LLM-Teacher Distillation Labeling: Work-Stealing Job Scheduling and Memory-Aware GPU Concurrency

面向LLM教师蒸馏标注的可扩展流水线：工作窃取作业调度与内存感知GPU并发控制

Ravi Satya Durga Prasad Yenugula

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出了一种用于LLM教师蒸馏标注的可扩展流水线，通过工作窃取作业调度、内存感知GPU并发控制及重标注基准方法，解决了标注的质量成本与GPU集群负载问题，性能优于静态分片且可复现。

Comments 8 pages, 1 figure, 3 tables. Code, tests, and all run artifacts: this https URL (https://github.com/rsdpyenugula/hybrid-labeling-training)

Cached LLM Probability Retrieval for Speech Recognition

用于语音识别的缓存大语言模型概率检索

Sheng Li, Takahiro Shinozaki, Tatsuya Kawahara

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM直接重评分ASR假设成本高的问题，本文提出无需训练的缓存LLM概率检索方法，在多数设置下优于1-pass ASR，是轻量有效的ASR适配方案。

Comments under review

QUMem: Personalized Memory for Query-Conditioned User-State Inference in LLM Agents

QUMem：面向大语言模型智能体查询条件用户状态推理的个性化记忆

Heng Wang, Yifei Li, Lingling Zhang, Pengyu Li, Xinyu Che, Xinyu Zhang, Zesheng Yang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 QUMem 是一种结构化记忆框架，通过分割交互历史、分解记忆类型、多查询检索等方法，在 PersonaMem 和 KnowU-Bench 上实现了查询条件用户状态推理的最优性能，提升了大语言模型智能体的长期个性化能力。

Comments 9pages,3figures

HyperSkill: Self-Evolving LLM Agents via Hypergraph-Structured Skill Memory

HyperSkill：基于超图结构技能记忆的自进化大语言模型智能体

Ruiyao Xu, Tiankai Yang, Wei-Chieh Huang

机构 * University of Southern California（南加州大学） ； University of Illinois at Chicago（伊利诺伊大学芝加哥分校） ； Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 本文提出HyperSkill超图记忆框架，解决LLM智能体记忆设计的存储、检索与进化问题，在多数据集上较10种基线取得显著性能提升。

Comments 25 pages

Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents

Evo-Harness：面向自进化智能体的上下文到 harness 的技能编译

Tianxin Wei, Zhan Shi, Minhua Lin, Bing He, Zewen Liu, Yisi Sang, Yuanchen Bei, Xuying Ning, Jiaru Zou, Ting-Wei Li, Xiao Lin, Yanjun Zhao, Chi Wang, Benoit Dumoulin, Dakuo Wang, Jingrui He, Hanqing Lu

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有自进化 LLM 智能体方法的不足，提出 Evo-Harness 框架，通过上下文到 harness 的技能编译提炼单次执行的噪声上下文，在五个现实基准上验证了其有效性，为 LLM 智能体即时学习提供了原则性理解。

HyMem: Hierarchical Context Management for Long-Horizon Agents via Information Isolation

HyMem：基于信息隔离的长程智能体分层上下文管理

XinQi Wang, Jinwei Xiao, Sijia Cui, Hongming Zhang, Yanna Wang, Qingyang Zhang, Bo Xu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanjing Artificial Intelligence Research of IA（IA南京人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM智能体长程任务上下文杂乱导致推理性能下降的问题，提出分层上下文管理框架HyMem，通过功能分层隔离推理与规划，在GAIA、Browsecomp-plus数据集上取得优于基线的性能。

Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search

大型发现模型：基于经验的基于模型的开放式搜索

Zhongwei Yu, Yan Song, Xue Yan, Anjie Liu, Xingyu Lu, Yihang Chen, Huichi Zhou, Siyuan Guo, Luoyang Sun, Sihan Chen, Xiangning Yu, Jun Wang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究提出大型发现模型（LDM），结合生成模型与贝叶斯非参数奖励替代模型，在神经网络训练、抗体设计和分子优化场景中，相比LLM反思或传统统计搜索，实现了更优的性能提升，可作为通用发现引擎。

Evolving Skill-Structured Attack Memory Enhances LLM Jailbreaking

演化技能结构攻击记忆增强大语言模型越狱

Junke Zhang, Jianwei Wang, Sishuo Chen, Yizhang He, Qingshuai Feng, Zhengyi Yang

专题命中 长上下文与记忆 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出MemAttack框架，通过技能结构化的攻击记忆建模、生命周期驱动的记忆演化和探索-利用平衡的记忆选择，实现高效的黑盒越狱攻击，在AdvBench上达到98.00%攻击成功率。

Comments Under review

Mental Model Management: An Operator-Based Framework for LLM Memory

心智模型管理：一种基于算子的大语言模型记忆框架

Oliver Kramer

机构 * University of Oldenburg（奥尔登堡大学） ； Computational Intelligence Lab（计算智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型缺乏显式紧凑演化概念表示机制的问题，提出基于算子的 3M 框架，通过心智模型整合新信息，可完成知识提取、更新等操作，以进化策略为例说明其运行逻辑。

EgoCITE: Context-Augmented Indexing and Time-Aware Retrieval for Long-Horizon Egocentric Memory

EgoCITE：面向长时程自我中心记忆的上下文增强索引与时序感知检索

Le Zhang, Ke Sun

机构 * University of Michigan（密歇根大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对长时程自我中心记忆系统的索引不可靠、忽略时序意图的问题，提出EgoCITE框架，经多数据集评估，其准确率优于基线且成本显著低于长上下文LLM智能体。

Q-First: Attention and Feed-Forward Concurrency at the Smallest Change to the Block

Q-First：在块的最小改动下实现注意力与前馈的并发

WenJie Fan

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 该研究提出Q-First协议，通过交换LLM解码器块的注意力与前馈子层顺序消除依赖，实现并发，验证其精度并训练8种变体证明改动影响有界且符合要求。

Comments 17 pages,3 figures

$τ_0$-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation

$τ_0$-VLA：一种具有世界模型引导测试时计算能力的分层机器人基础模型

Xiaowei Cai, Yunuo Cai, Bingao Chen, Jingxiao Chen, Zhi Chen, Siyuan Feng, Tengyu Hou, Jingshun Huang, Han Jiang, Runkun Ju, Dong Li, Mingxiang Li, Shaowei Li, Xinchen Li, Yifan Li, Yi Liu, Zhongyuan Liu, Jianlan Luo, Junwen Miao, Ruiqi Ni, Buqing Nie, Mingjie Pan, Xinlin Ren, Jianheng Song, Jiaxu Wang, Peiqi Wang, Sen Wang, Xiaoyan Wang, Dafeng Wei, Dongming Wu, Pengwei Xie, Pu Yang, Hangjian Ye, Xiangyu Yue, Jinyu Zhang, Qinglin Zhang, Xueyong Zhao, Pengfei Zhou, Yue Zhou

机构 * Shanghai Innovation Institute（上海创新研究院） ； Agibot Finch（智元 Finch（智元鹦鹉）） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)

AI总结 $τ_0$-VLA是一种分层机器人基础模型，通过世界模型引导的测试时计算分配额外资源优化子任务生成，经40115小时异构真实数据训练后，可提升长时程机器人操作的闭环成功率。

Comments 18 pages, 5 figures. Project page: this https URL (https://tau0-vla.github.io/)

Discovering KV Cache Eviction Policies via LLM-Guided Program Evolution

通过大语言模型引导的程序演化发现KV缓存驱逐策略

Pratik Poudel, Yanzhao Wu, Sumit Jha, Jason Liu

专题命中 长上下文与记忆 ：LLM(title,abstract)

AI总结 本文提出CacheCraft方法，通过大语言模型引导的程序演化自动发现KV缓存驱逐策略，得到FRC评分器，在多模型多压缩率下性能优于基线，还提供了可迁移的自动策略发现方案。

When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

当上下文产生误导时：用于稳健检索增强生成的意图引导解码

Haolin Jin, Pengyue Yang, Huaming Chen

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有RAG系统固定信任策略的缺陷，提出意图引导解码（IGD）框架，经多基准评估，可显著提升事实恢复能力，同时保持或改善上下文遵循行为。

AutoMem: A Text-Gradient Recursive Self-Improvement Framework for Automated Memory Architectures Search

AutoMem：面向自动化记忆架构搜索的文本梯度递归自改进框架

Lin Du, Jie Zhou, Yuxuan Cai, Kai Chen, Qin Chen, Xin Li, Bo Zhang, Wei Li, Liang He

机构 * School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 AutoMem是面向任务自适应记忆架构搜索的文本梯度递归自改进框架，通过经验引导架构搜索与失败引导模块诊断，在多基准测试中性能优于人工设计基线，实现了准确率与效率的良好权衡。

Don't Drop the BATON: Long-Horizon Robot Manipulation via Agentic Subtask Exploration and Transition-aware Memory

不要放弃BATON：通过智能体子任务探索和感知转换的记忆实现长程机器人操作

Bingxin Xu, Yuzhang Shang, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对长程机器人操作的误差累积与子任务转换问题，提出BATON方法，通过子任务探索与感知转换记忆，在RoboMemArena基准上提升任务成功率11.6%、累计成功率14.9%。

Noesis: Bidirectional Graph-RAG with Adaptive Parallelism and Cross-Knowledge-Base Semantic Discovery

Noesis：具备自适应并行性与跨知识库语义发现的双向图检索增强生成

Nicola Cogotti

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出具备自适应并行性与跨知识库语义发现的双向图检索增强生成架构Noesis，通过四种算法解决现有Graph-RAG系统的三类局限，在HotpotQA数据集上超越GraphRAG，实现更优性能。

Comments 14 pages, 6 figures, 4 tables. Patent pending

Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents

利用记忆：记忆智能体中记忆载体的整体评估

Wei-Chieh Huang, Weizhi Zhang, Yuchen Wu, Yankai Chen, Eric Hanchen Jiang, Wooseong Yang, Yiwei Yang, Henry Peng Zou, Hanrong Zhang, Ying Nian Wu, Haolun Wu, Kai-Wei Chang, Philip S. Yu, Xue Liu, Aylin Caliskan

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Washington（华盛顿大学） ； McGill University（麦吉尔大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究评估了记忆智能体的多种记忆载体，发现无通用最优载体，不同载体适配不同场景，为自适应智能体记忆系统设计提供了实证指导。

When Your Agent Opens the Chat App: Agent-Controlled Search over Raw Chat Logs Rivals Structured Memory

当你的智能体打开聊天应用时：智能体控制的原始聊天日志搜索可与结构化记忆相媲美

Ruizhe Li, Licheng Zhang, Benfeng Xu, Mingxuan Du, Zheren Fu, Weidong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； MetaStone Technology（MetaStone科技公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出无语义结构的智能体控制搜索界面ReFind，在MemoryAgentBench等任务上，其检索准确率优于HippoRAG 2等结构化记忆系统，证明可控词汇检索可替代复杂记忆结构实现高效会话记忆任务。

Proteus: Incremental Memory Activation for Long-Context Sequence Modeling

Proteus：面向长上下文序列建模的增量式内存激活机制

Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

机构 * Mila（米拉计算科学研究所） ； Google（谷歌公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Proteus 是一种增量式内存激活机制，可嵌入多种神经内存架构，应用于 SWLA 等模型后，能在长上下文相关任务上实现性能提升，证明调度有效容量对序列建模的适用性。

What to Remember, What to Reveal: Privacy-Aware Memory for Conversational Agents

该记住什么，该透露什么：面向对话智能体的隐私感知记忆

Wenjie Wang, Wenhe Si, Xinyue Xu, Yue Xu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 该研究针对对话智能体的隐私风险，提出SP-Mem隐私感知记忆架构，通过全生命周期隐私设计实现更强个性化并减少不必要隐私暴露，还构建了相关基准。

Bridging the Gap between Labeled and Unlabeled Data via Unified Flow with Feature Memory Bank

通过带特征记忆库的统一流缩小标注数据与未标注数据之间的差距

Shanwen Wang, Xin Sun, Danfeng Hong, Junyu Dong, Patrick Le Callet

机构 * City University of Macau（澳门城市大学） ； Southeast University（东南大学） ； Ocean University of China（中国海洋大学） ； Nantes Université（南特大学） ； Ecole Centrale Nantes（南特中央理工学院） ； CAPACITES SAS ； CNRS（法国国家科学研究中心） ； LS2N（南特数字科学实验室） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 针对半监督语义分割中伪标签质量差的问题，提出带特征记忆库的统一流方法，结合视觉基础模型与遥感领域教师优化标注与未标注数据，在遥感数据集上优于当前最优方法。

MicroVerse: An Instrument for Measuring Self-Authored Identity Drift in Long-Horizon Multi-Agent Language-Model Simulations

MicroVerse：用于测量长 horizon 多智能体语言模型模拟中自我构建身份漂移的工具

Sky Ng, Brihi Joshi, Ishan Gupta, Shirley Huang, Zonglin Di, Yun Shen, Qianfeng Wen, Yifan Simon Liu, Ruoqi Gao, Yilan (Eliza)Fan, Zhiwei Zhang, Muhammad Ahmed Mohsin, Yucheng Lu, Xiaoyi Liu, Heming Liu, Qianyu Zhu, Hanwen Xing, Zhengyang Shan, My Chiffon Nguyen, Guanghui Min, Jianheng (Jaden)Hou, Yunze (Lorenzo) Xiao, Keyang Xuan, Hannah Collison, Jintao Huang, Jiatong Li, Sankalp Jajee, Yunhan Zhao, Bing Hu, Xupeng Chen, Binghang Lu, Weihang Xiao, Aravind Mohan, Bolun Sun, Yunshu Wu, Yuanda Xu, Runyu Zhang, Zheyuan Deng, Xinchen (Cara)Tan, Dianzhuo Wang, Yijun Wang, Yixuan He, Koutian Wu, Cheng Cheng, Xiaomin Li, Yuexing Hao

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 MicroVerse 是测量长 horizon 多智能体 LM 模拟中身份漂移的工具，通过 50×50 环境等设计开展实验，发现反自我欺骗自发出现且系统对阈值鲁棒。

Intent-Driven Situation Tracking for User-Centric Multi-Turn Agents

面向以用户为中心的多轮智能体的意图驱动情境跟踪

Meiling Tao, Yiling Tao, Peng Wang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI

AI总结 该研究针对以用户为中心的多轮智能体，提出无需训练的IDSS框架，通过维护明确情境状态提升任务完成度等性能，为智能体情境跟踪提供有效方案。

GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG

GraphLoom：面向多模态KG-RAG的可靠性校准图证据路由

Zafar Ali, Asad Khan, Aalia Malik, Pavlos Kefalas

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Aristotle University（亚里士多德大学） ； Dashub（达舒布） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出GraphLoom框架，通过可靠性校准的图证据路由实现多模态KG-RAG，在ScienceQA等数据集上提升了答案质量与证据忠实度。

On the Principles Behind Neural Network Optimizers

神经网络优化器背后的原理

Yushun Zhang

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.LG

AI总结 本论文为优化器Adam建立了有原则的基础，通过海森矩阵结构分析其在Transformer上优于SGD的原因，提出内存减半且性能不变的新优化器Adam-mini，还为其他NN优化器提供了新见解。

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

深层中的值向量是否需要来自残差流的上下文？

Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

机构 * Independent（独立） ； Drexel University（德雷塞尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 研究通过提出Bank of Values（BoV）方法，在深层注意力层中使用无上下文的值向量来保留原始token信息，从而提升模型性能并减少计算和内存开销。

Comments 13 pages, 5 figures. Code: this https URL (https://github.com/RiddleHe/nanochat)

DB-SpMSpV: Dual-View Blocked Sparse Matrix-Sparse Vector Multiplication for Dynamic GPU Workloads

DB-SpMSpV：面向动态GPU工作负载的双视角分块稀疏矩阵-稀疏向量乘法

Xing Cong, Chenhao Xie, Rui Wang, Zhongzhi Luan, Yi Liu, Depei Qian

专题命中 长上下文与记忆 ：LLM(abstract_cn)

AI总结 本文提出面向动态GPU工作负载的双视角分块SpMSpV框架DB-SpMSpV，集成至DB-BFS和DB-Decoding后，在A100和RTX 4090上相比现有方法实现了显著加速。

Comments 11 pages, 10 figures, Accepted by ICPP 2026;