语言大模型 / LLM

Heterogeneous Parallelism for Multimodal Large Language Model Training

多模态大语言模型训练的异构并行

Yashaswi Karnati, Kamran Jafari, Akash Mehra, Li Ding, Pranav Prashant Thombre, Ali Roshan Ghias, Shifang Xu, Parth Mannan, Yu Yao, Hao Wu, Eric Harper, Ashwath Aithal, Nima Tajbakhsh

机构 * NVIDIA 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 针对多模态大语言模型训练中单一LLM中心并行布局导致的吞吐量瓶颈，提出异构并行抽象，允许各模块独立布局和放置，并通过边界通信器实现张量语义保持，实验表明可提升TFLOPS/GPU最高49.3%。

Shopping Companion: Benchmarking and Training LLM Agents for Long-Horizon Preference-Grounded E-Commerce Tasks

购物助手：面向长期偏好引导的电子商务任务的LLM智能体基准测试与训练

Zijian Yu, Kejun Xiao, Huaipeng Zhao, Tao Luo, Xiaoyi Zeng

机构 * Alibaba International Digital Commercial Group（阿里巴巴国际数字商业集团） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 针对电子商务中缺乏长期偏好感知购物任务基准和细粒度训练监督的问题，提出了Shopping Companion Bench基准和免标注工具级奖励方法，有效提升了LLM智能体的偏好捕获与任务性能。

APS: Bias-Controlled Adaptive Prototype Simulation for Population-Scale LLM Agents

APS：面向群体规模LLM智能体的偏差控制自适应原型模拟

Quan Zheng, Yan Gao, Shaobin He, Haoxiang Guan, Yuanhe Tian, Jie Feng, Ming Wang, Shuxin Zheng, Zhen Liu

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 提出自适应原型模拟（APS）框架，通过原型响应、影子审计和尾部保护机制减少在线LLM调用，实现群体规模多轮模拟的高效近似，并在千万级智能体模拟中实现381倍加速且保持低分布差异。

Comments 32 pages, 5 figures

MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models

MemGuard：防止长期记忆增强型大语言模型中的记忆污染

Hyeonjeong Ha, Jeonghwan Kim, Cheng Qian, Jiayu Liu, William M. Campbell, Yue Wu, Yuji Zhang, Kathleen McKeown, Dilek Hakkani-Tur, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； Capital One 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MemGuard，一种类型感知的记忆框架，通过显式分配功能角色、维护类型隔离记忆间的关联并选择性组合必要类型的证据，防止异构记忆污染，提升记忆可靠性最高28.27%并减少检索token数最高5.8倍。

HARP: Measuring Harm Amplification in Multi-Agent LLM Systems

HARP: 多智能体大语言模型系统中的危害放大测量

Md Hafizur Rahman, Zafaryab Haider, Tanzim Mahfuz, Prabuddha Chakraborty

机构 * Electrical and Computer Engineering University of Maine（电气与计算机工程大学缅因州大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 提出HARP方法，通过比较清洁与扰动执行轨迹，量化多智能体LLM系统中局部扰动如何传播为全局危害，并在金融七智能体系统中验证了不同攻击和防御的效果。

Comments 39 pages, 12 figures, 12 tables, and 1 algorithm

AMA-Bench: Evaluating Long-Horizon Memory for Agentic Applications

AMA-Bench：评估智能体应用的长时记忆

Yujie Zhao, Boqin Yuan, Junbo Huang, Haocheng Yuan, Zhongming Yu, Haozhou Xu, Lanxiang Hu, Abhilash Shankarampeta, Zimeng Huang, Wentao Ni, Yuandong Tian, Jishen Zhao

机构 * UCSD（加州大学圣塔克拉拉分校） ； Recursive 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AMA-Bench基准，通过真实与合成轨迹评估LLM智能体的长时记忆，并基于因果图与工具增强检索提出AMA-Agent系统，在基准上提升11.16%准确率。

Rethinking Memory as Continuously Evolving Connectivity

重新思考记忆作为持续演化的连接性

Jizhan Fang, Buqiang Xu, Zhixian Wang, Haoliang Cao, Xinle Deng, Baohua Dong, Hangcheng Zhu, Ruohui Huang, Gang Yu, Ying Wei, Guozhou Zheng, Feiyu Xiong, Haofen Wang, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； MemTensor ； Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出 FluxMem 框架，将记忆建模为异构图并通过三个阶段（初始连接形成、反馈驱动优化、长期巩固）动态演化拓扑结构，以解决现有记忆增强型 LLM 代理在动态环境中的脆弱性问题。

Comments Ongoing work

Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory

学习面向运行时智能体记忆的查询感知预算层级路由

Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出 BudgetMem 框架，通过强化学习训练的轻量级路由器实现查询感知的预算层级路由，以在运行时平衡任务性能与记忆构建成本。

Comments Accepted by ICML 2026. Code is available at https://github.com/ViktorAxelsen/BudgetMem

LRanker: LLM Ranker for Massive Candidates

LRanker: 面向海量候选集的大语言模型排序器

Tao Feng, Zijie Lei, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 提出LRanker框架，通过候选聚合编码器和基于图的测试时缩放机制，解决大语言模型在海量候选集排序中受限于上下文长度和高计算成本的问题，在多个场景下实现显著性能提升。

LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know?

LiveBrowseComp: 搜索智能体是在搜索，还是仅仅在验证它们已知的信息？

HuiMing Fan, Xiao Wang, Zheng Chu, Qianyu Wang, Zhuoyao Wang, Ming Liu, Bing Qin, XingYu

机构 * Harbin Institute of Technology（哈尔滨理工大学） ； Xiaohongshu（小红书） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文通过诊断方法发现基于LLM的搜索智能体存在内在知识依赖（IKD），即依赖模型内部知识而非外部证据，并引入LiveBrowseComp基准来评估超越内在知识覆盖的深度搜索能力。

Learning When to Optimize: Verified Optimization Skills from Expert GPU-Kernel Lineages

学习何时优化：来自专家GPU内核谱系的验证优化技能

Shuoming Zhang, Qiuchu Yu, Yangyu Zhang, Ruiyuan Xu, Xiyu Shi, Guangli Li, Xiaobing Feng, Huimin Cui, Jiacheng Zhao

机构 * SKLP, Institute of Computing Technology, Chinese Academy of Sciences（SKLP，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出KLineage方法，通过反向遍历专家GPU内核实现并提取可重用的优化技能，学习优化的适用条件，从而提升LLM代理生成内核的优化质量与效率。

Comments Preprint, Under Review

MGRetrieval: Memory-Guided Reflective Retrieval for Long-Term Dialogue Agents

MGRetrieval: 面向长期对话代理的记忆引导反思检索

Tan Wang, Yunwei Dong

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MGRetrieval方法，通过记忆引导的反思检索构建精确检索路径，逐步积累关键记忆，提升长期对话代理中相关证据的检索效果。

EpiAgent: An Agent-Centric System for Ancient Inscription Restoration

EpiAgent: 一种以智能体为中心的古铭文修复系统

Shipeng Zhu, Ang Chen, Na Nie, Pengfei Fang, Min-Ling Zhang, Hui Xue

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其跨学科应用关键实验室（东南大学），教育部，中国） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（计算机网络与信息集成关键实验室（东南大学），教育部，中国） ； Nanjing University Museum, Nanjing University, China（南京大学博物馆，南京大学，中国） ； The China Centre for Linguistic and Strategic Studies, Nanjing University, China（中国语言战略研究中心，南京大学，中国） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 提出基于智能体的EpiAgent系统，通过分层规划与LLM协调多模态分析、历史经验和专用工具，实现灵活自适应的古铭文修复，在真实退化铭文上取得更优修复质量和泛化能力。

Comments Accepted by CVPR 2026

Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation

Uni-LaViRA：面向统一具身导航的语言-视觉-机器人动作翻译

Hongyu Ding, Sizhuo Zhang, Ziming Xu, Jinwen Guo, Hongxiu Liu, Xingzhi Cheng, Zixuan Chen, Haifei Qi, Duo Wang, Hao Xu, Jieqi Shi, Yifan Zhang, Jing Huo, Jian Cheng, Yang Gao, Jiebo Luo

机构 * Nanjing University（南京大学） ； Beihang University（北京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； BMW (Nanjing) Information Technology Co., Ltd.（宝马（南京）信息技术有限公司） ； University of Rochester（罗切斯特大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出Uni-LaViRA统一智能体架构，通过语言-视觉-机器人动作翻译结构，结合待办列表记忆和二次机会回溯机制，在零训练下实现四类导航任务和四种真实机器人的零样本泛化，性能匹配或超越近期训练式导航基础模型。

Comments Project page: https://xetroubadour.github.io/Uni-LaViRA/

Position: The Turing-Completeness of Autoregressive Transformers Relies Heavily on Context Management

立场：自回归Transformer的图灵完备性高度依赖于上下文管理

Guanyu Cui, Zhewei Wei, Kun He

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； DEKE Lab, Renmin University of China, Beijing, China（中国人民大学北京校区DEKE实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过区分固定系统和缩放族两种设置，论证了上下文管理方法对自回归Transformer计算能力的决定性影响，并指出缩放族设置下的图灵完备性证明不适用于实际部署的固定系统。

Comments Accepted to the ICML 2026 Position Paper Track

SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces

SkillSafetyBench：在技能面攻击表面下评估智能体安全性

Chang Jin, An Wang, Zeming Wei, Kai Wang, Biaojie Zeng, Qiaosheng Zhang, Chao Yang, Jingjing Qu, Xia Hu, Xingcheng Xu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Peking University（北京大学） ； East China Normal University（华东师范大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SkillSafetyBench基准，通过155个对抗案例评估大语言模型智能体在技能、本地工件和执行环境文件等非用户攻击下的安全失败模式。

HGMEM: Hypergraph-based Working Memory to Improve Multi-step RAG for Long-Context Complex Relational Modeling

HGMem：基于超图的工作记忆以改进长上下文复杂关系建模的多步RAG

Chulun Zhou, Chunkang Zhang, Guoxin Yu, Fandong Meng, Jie Zhou, Wai Lam, Mo Yu

机构 * The Chinese University of Hong Kong.（香港中文大学） ； Pengcheng Laboratory.（鹏城实验室） ； WeChat AI, Tencent（微信AI，腾讯） ； University of Chinese Academy of Sciences.（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出HGMem超图工作记忆系统，通过超边表示记忆单元并渐进形成高阶交互，增强多步RAG中的全局理解和复杂推理能力。

Comments ICML 2026; Code released at https://github.com/Encyclomen/HGMem

Periodic RoPE for Infinite Context LLMs

周期性RoPE：面向无限上下文的大型语言模型

Simin Huo

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出周期性RoPE（P-RoPE）位置编码机制，结合滑动窗口注意力和无位置编码的全局注意力，避免位置耗尽，理论上支持无限上下文窗口。

Comments 5 pages

Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse

注意力汇聚在注意力层中锻造原生MoE：针对头部坍塌的汇聚感知训练

Zizhuo Fu, Wenxuan Zeng, Runsheng Wang, Meng Li

机构 * Institute for Artificial Intelligence, Peking University, Beijing（人工智能研究院，北京大学，北京） ； School of Integrated Circuits, Peking University, Beijing（集成电路学院，北京大学，北京） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过理论和实证证明注意力汇聚自然构建了注意力层内的混合专家机制，并提出汇聚感知训练算法以缓解头部坍塌问题，提升模型性能。

Comments 2026 International Conference on Machine Learning (ICML)

Multi-Mixer Models: Flexible Sequence Modeling with Shared Representations

多混合器模型：基于共享表示的灵活序列建模

Kevin Y. Li, Asher Trockman, Ananda Theertha Suresh, Ziteng Sun

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Google Research（谷歌研究） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出Oryx混合模型，通过序列轴上的灵活切换（注意力与线性递归）实现高效长上下文处理，在1.4B规模下平均语言建模任务提升0.7个百分点。

Augmenting Attention with Exponentially Decaying Memory Improves Query-Aware KV Sparsity

用指数衰减记忆增强注意力提升查询感知的KV稀疏性

Xiuying Wei, Caglar Gulcehre

机构 * EPFL（苏黎世联邦理工学院） ； CLAIRE（人工智能实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文通过引入指数衰减记忆模块增强注意力机制，在稀疏注意力推理中显著提升查询感知方法的准确性，并在多个任务上验证了其有效性。

Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning

Skill0.5：面向智能体强化学习中分布外泛化的联合技能内化与利用

Jiapeng Zhu, Jianxiang Yu, Yibo Zhao, Chengcheng Han, Qi Gu, Xunliang Cai, Xiang Li, Weining Qian

机构 * East China Normal University（华东师范大学） ； Meituan Longcat Team（美团Longcat团队） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Skill0.5框架，通过区分通用技能内化与任务特定技能利用，结合动态难度感知路由器，在ALFWorld和WebShop上提升了分布内和分布外场景的性能。

SkillGrad: Optimizing Agent Skills Like Gradient Descent

SkillGrad: 像梯度下降一样优化智能体技能

Hanyu Wang, Yifan Lan, Bochuan Cao, Lu Lin, Jinghui Chen

机构 * College of Information Sciences and Technology（信息科学与技术学院） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； University Park, PA, USA 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出SkillGrad框架，将技能包视为结构化参数，通过轨迹级损失、文本梯度诊断和动量记忆覆盖进行类梯度下降优化，在表格问答任务上平均提升6.7个百分点。

Agentic Separation Logic Specification Synthesis

智能体分离逻辑规范合成

Tarun Suresh, David Korczynski, Julien Vanegue

机构 * Bloomberg（贝莱德） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出 Spec-Agent 智能体系统，通过静态分析、运行时堆追踪和反例引导迭代，为大型 C++ 代码库合成分离逻辑规范，在百万行级代码上达到 85% 有效规范合成率且无假阳性。

Comments 9 pages, 3 appendices

ClinicalAgents: Multi-Agent Orchestration for Clinical Decision Making with Dual-Memory

ClinicalAgents：具有双记忆的临床决策多智能体编排

Zhuohan Ge, Haoyang Li, Yubo Wang, Nicole Hu, Chen Jason Zhang, Qing Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ClinicalAgents多智能体框架，通过蒙特卡洛树搜索动态编排和双记忆架构模拟临床推理，显著提升诊断准确性和可解释性。

Comments Accepted to the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

DriveWAM: Video Generative Priors Enable Scalable World-Action Modeling for Autonomous Driving

DriveWAM: 视频生成先验实现自动驾驶的可扩展世界-动作建模

Chen Shi, Jinrui Xu, Shaoshuai Shi, Kehua Sheng, Bo Zhang, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Voyager Research, Didi Chuxing（Voyager Research，滴滴出行） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；foundation model(abstract)

AI总结 提出DriveWAM，通过将预训练视频扩散Transformer适配为自回归视频-动作策略，并引入场景演化驾驶引导和选择性KV记忆，实现可扩展的世界-动作建模，在NAVSIM和PhysicalAI基准上取得强规划性能。

Lost in the Evidence? Reproducing Document Position and Context Size Effects in RAG

迷失在证据中？重现RAG中的文档位置和上下文大小效应

Jorge Gabín, Anxo Perez, Javier Parapar

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 本文通过系统可重复性研究，分析了检索增强生成中文档排序和上下文大小的影响，提出了主题采样校准方法，并揭示了理想设置与现实RAG管道之间的差异。

Comments Accepted at SIGIR 2026: 49th International ACM SIGIR Conference on Research and Development in Information Retrieval

ATLAS: All-round Testing of Long-context Abilities across Scales

ATLAS: 跨尺度的长上下文能力全面测试

Deli Huang, Cunguang Wang, Hongyin Tang, Zhe Tang, Linsen Guo, Dongyu Ru, Ruoshi Yuan, Ziyue Zhu, Xiaoyu Li, Ziwen Wang, Chen Zhang, Anchun Gui, Wen Zan, Jiaqi Zhang, Xuezhi Cao, Jingang Wang, Xunliang Cai, Yixin Cao

机构 * Meituan（美团） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 提出ATLAS基准框架，通过分层分类、长度感知AUC评分和ATLAScore聚合指标，系统评估长上下文语言模型在不同长度和任务上的性能退化与能力分布。

Comments 29 pages, 13 figures. Preprint

Fast KV Compaction via Attention Matching

通过注意力匹配实现快速KV压缩

Adam Zweiger, Xinghong Fu, Han Guo, Yoon Kim

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出通过注意力匹配在潜在空间快速压缩键值缓存的方法，以保持注意力输出并实现高达50倍压缩且质量损失小。