语言大模型 / LLM

Softplus Attention with Re-weighting Boosts Length Extrapolation in Large Language Models

Softplus注意力与重加权提升大语言模型的长度外推能力

Bo Gao, Michael W. Spratling, Letizia Gionfrida

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种两阶段注意力机制，用Softplus和l1归一化替代Softmax，并引入基于不变熵的动态缩放因子和重加权机制，以提升数值稳定性、缓解注意力下沉现象，并显著改善长度外推性能。

Comments Accepted by ICML 2026

TrafficClaw: A Generalizable LLM Agent in the Unified Physical Environment for Urban Traffic Control

TrafficClaw：面向城市交通控制的统一物理环境中的可泛化LLM智能体

Siqi Lai, Pan Zhang, Yuping Zhou, Jindong Han, Yansong Ning, Hao Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Shandong University（山东大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出TrafficClaw，一种基于大语言模型的可泛化交通控制智能体，通过统一物理环境、可执行时空推理与多阶段智能体强化学习，实现跨子系统的协调优化。

Persona Attack: Incremental Memory Injection Jailbreak Attack against Large Language Models

人格攻击：针对大型语言模型的增量记忆注入越狱攻击

Junyoung Park, Seongyong Ju, Sunghwan Park, Jaewoo Lee

机构 * Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI

AI总结 提出一种基于记忆注入的越狱方法Persona Attack，通过逐步操纵模型上下文窗口，使模型在记忆积累中优先处理注入指令，从而绕过安全对齐，在特定配置下攻击成功率可达95%。

Can LLM Agents Sustain Long-Horizon Organizational Dynamics?

LLM智能体能否维持长期组织动态？

Xuancheng Zhu, Yang Yue, Shuaibing Wan, Zihan Dou, Xiaohan Zhang, Yongrui Liu, Guoshun Nan

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；language agent(abstract)；分类 cs.AI

AI总结 提出TaskWeave分层智能体框架，通过记忆中心的协调机制（规划-分解-诊断-对齐循环和依赖感知追踪记忆）实现长期组织模拟，实验表明该框架能维持连贯的组织动态并产生可靠的人工制品。

Unified Context Evolution for LLM Agents

统一上下文演化：面向LLM智能体

Zixuan Zhu, Yitong Hu, Yong Dai, Junfeng Fang, Chunyang Jiang, Senkang Hu, Yuzhi Zhao

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出统一上下文演化（UCE）框架，通过将智能体经验外部化为四种类型的可演化上下文单元（ECU），实现跨任务的知识积累与动态调度，在ALFWorld和WebShop上显著提升性能。

LLMs Need Encoders for Semantic IDs Too

LLM 也需要语义 ID 的编码器

Xiangyi Chen, Zelun Wang, Xinyi Li, Yi-Ping Hsu, Jaewon Yang, Jiajing Xu

机构 * Pinterest United States（Pinterest美国公司） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.AI

AI总结 提出 PrefixMem，一种基于前缀 n-gram 记忆表的轻量级语义 ID 编码器，为 LLM 提供结构化、前缀条件的表示，显著提升生成推荐中的语义 ID 准确率和检索召回率。

Reflexivity as Prompt: Does Awareness of Self-Reinforcing Market Dynamics Improve LLMs as Financial Market Forecasters?

反身性作为提示：对自我强化市场动态的认知是否提高了LLM作为金融市场预测者的表现？

Eugene Park

专题命中 长上下文与记忆 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究在繁荣-萧条市场周期中，逐步引入索罗斯反身性理论时，前沿大语言模型作为金融预测者的行为变化，通过方向性预测准确率和夏普比率评估，发现反身性认知在不同模型和上下文窗口中产生不同的预测改进。

Whole-Pool Setwise Reranking with Long-Context Language Models

基于长上下文语言模型的整池集合重排序

Hang Li, Chuting Yu, Teerapong Leelanupab, Bevan Koopman, Guido Zuccon

专题命中 长上下文与记忆 ：language model(title)；LLM(abstract,abstract_cn)

AI总结 提出整池集合重排序方法，利用长上下文语言模型一次性处理所有候选段落，并通过DualEnd方法从两端同时排序，减少模型调用次数，提升效率。

Comments 4 pages main content, 10 page Appendix

Hierarchical Long-Term Semantic Memory for LinkedIn's Hiring Agent

面向LinkedIn招聘代理的分层长期语义记忆

Zhentao Xu, Shangjin Zhang, Emir Poyraz, Yvonne Li, Ye Jin, Xie Lu, Xiaoyang Gu, Karthik Ramgopal, Praveen Kumar Bodigutla, Xiaofeng Wang

机构 * LinkedIn Corporation（LinkedIn公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出分层长期语义记忆（HLTM）框架，通过构建模式对齐的记忆树，实现可扩展的语义知识摄入、隐私感知存储、低延迟检索和透明溯源，在LinkedIn招聘助手应用中使答案正确率提升超5%、检索F1提升超10%。

Comments Accepted to the Applied Data Science (ADS) track at the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

PolarMem: A Training-Free Polarized Latent Graph Memory for Verifiable Vision-Language Models

PolarMem: 一种无需训练的可验证视觉语言模型极化隐式图记忆

Zhisheng Chen, Tingyu Wu, Zijie Zhou, Zhengwei Xie, Jinhan Li, Ziyan Weng, Liang Lin, Jingwei Song, Zikai Xiao, Yingwei Zhang

机构 * ICT, CAS（中国科学院信息科技研究院） ； UCAS（中国科学院大学） ； CUPB（中国政法大学） ； USTC（中国科学技术大学） ； CityU-DG（城市大学-数据科学） ； HKU（香港大学） ； ZJU（浙江大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出PolarMem，一种无需训练的极化隐式图记忆框架，通过语义一致性验证和自适应分布划分将视觉语言模型感知信号转化为HAS、NOT_HAS和Uncertain记忆状态，并采用词典逻辑感知检索协议优先保证逻辑一致性，从而提升检索密集型任务性能并减少矛盾。

Idleness is Relative: Exploiting Tool-Call Idle Windows for Offloading in Agentic Systems with MORI

空闲是相对的：利用工具调用空闲窗口在MORI代理系统中进行卸载

Tian Xia, Hanchen Li, Zhifei Li, Xiaokun Chen, Hao Kang, Yifan Qiao, Yi Xu, Ion Stoica

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 提出MORI系统，通过将代理程序按空闲程度连续排序并动态划分内存层级，解决了LLM代理工作负载中KV缓存卸载效率低下的问题。

Finding Memory Leaks in C/C++ Programs via Neuro-Symbolic Augmented Static Analysis

通过神经符号增强静态分析发现C/C++程序中的内存泄漏

Huihui Huang, Jieke Shi, Bo Wang, Zhou Yang, David Lo

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 提出MemHint神经符号管道，结合LLM语义理解与Z3符号推理，扩展静态分析器对自定义内存管理函数的识别和路径敏感控制流建模，在8个真实项目中发现54个内存泄漏（53个确认/修复），每个漏洞成本约1.7美元。

Comments 16 pages

Hyperbolic and Evidence-Prioritized Experts for Large Vision-Language Models

超几何与证据优先专家用于大型视觉-语言模型

Zijie Zhou, Dandan Zhu, Hangxiangpan Wang, Heng Zhang, Huishen Jiao, Yi Zhao

机构 * China University of Petroleum (Beijing)（中国石油大学（北京）） ； Hainan Institute of China University of Petroleum (Beijing)（中国石油大学（北京）海南学院） ； South China Normal University（华南师范大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 针对大型视觉-语言模型中视觉与语言模态的不对称性，提出AsyMoE架构，通过超几何跨模态专家和证据优先语言专家分别建模层级关系与保持上下文基础，在减少参数的同时提升性能。

Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory

超越静态对话：对现实、异构和演化长期记忆的基准测试

Han Zhang, Zihao Tang, Xin Yu, Xiao Liu, Yeyun Gong, Haizhen Huang, Yan Lu, Weiwei Deng, Feng Sun, Qi Zhang, Hanfang Yang

机构 * Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心） ； School of Statistics, Renmin University of China（中国人民大学统计学院） ； Microsoft（微软公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有大语言模型记忆基准中对话缺乏长期语义一致性、人物静态化以及忽视异构数据流的问题，提出RHELM基准，通过用户画像和LOOP模块生成具有动态时间演化和长期连贯性的现实对话，并整合异构外部源，评估模型在多源聚合和现实上下文推理方面的能力。

STaR-KV: Spatio-Temporal Adaptive Re-weighting for KV Cache Compression in GUI Vision-Language Models

STaR-KV: 面向GUI视觉语言模型的时空自适应KV缓存压缩重加权方法

Yuhang Han, Wenzheng Yang, Yujie Chen, Xiangqi Jin, Yaojie Zhang, Siteng Huang, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； HKUST (GZ)（香港科技大学（广州）） ； The University of Sydney（悉尼大学） ； UESTC（电子科技大学） ； ZJU（浙江大学） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.AI

AI总结 提出STaR-KV，一种无需训练的KV缓存压缩框架，通过子空间感知评分、时间稳定性折扣和熵驱动温度三个维度自适应校准令牌重要性，在GUI任务中实现高精度和近40%的峰值GPU内存节省。

Soft-NBCE: Entropy-Weighted Chunk Fusion for Long-Context

Soft-NBCE: 基于熵加权分块融合的长上下文处理

Shihao Ji, Mingyu Li, Zihui Song

机构 * Beijing Normal University（北京师范大学） ； Chunjiang Intelligence（春江智能） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文推理中硬选择策略导致语义碎片化的问题，提出Soft-NBCE，通过熵加权软融合和一致性蒸馏，在保持检索精度的同时提升多跳推理性能。

Comments 7 pages, 3 figures, 2 tables. Preprint

WaveFilter: Enhancing the Long-Context Capability of Diffusion LLMs via Wavelet-Guided KV Cache Filtering

WaveFilter: 通过小波引导的KV缓存过滤增强扩散型大语言模型的长上下文能力

Jinnan Yang, Yan Wang, Zhen Bi, Kehao Wu, Xiaojie Li, Jungang Lou, Zechao Li, Jing Liu

机构 * Nanjing University of Science and Technology（南京理工大学） ； Alibaba Group（阿里巴巴集团） ； Huzhou Normal University（湖州师范学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散型大语言模型在长上下文任务中计算开销大和推理延迟高的问题，提出一种无需训练的通用缓存框架WaveFilter，利用小波变换分解长序列以精确识别关键token，构建稀疏KV缓存，从而提升现有KV缓存方法在复杂长上下文任务中的性能。

Comments 8 pages,3 figures

ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution

ForesightKV: 通过学习长期贡献优化推理模型的KV缓存驱逐

Zican Dong, Peiyu Liu, Junyi Li, Zhipeng Chen, Han Peng, Shuo Wang, Wayne Xin Zhao

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出ForesightKV框架，通过监督学习和强化学习预测KV对在长文本生成中的重要性，在仅用一半缓存预算下优于现有方法。

Comments ICML 2026

eMoT: evolving Memory-of-Thought via Symbolic Anchoring and Memory Corrosion

eMoT: 通过符号锚定和记忆腐蚀演化的思维记忆

Xiang Li, Jiwei Wei, Ke Liu, Yitong Qin, Jinyu Guo, Malu Zhang, Peng Wang, Yang Yang

机构 * Center for Future Media, University of Electronic Science and Technology of China（未来媒体中心，电子科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出eMoT框架，通过记忆腐蚀、符号锚定和一致性精炼三个模块，将推理轨迹视为动态演化记忆，以稳定多步推理并提升准确率与一致性。

Bridging Requirements and Architecture: Multi-Agent Orchestration with External Knowledge and Hierarchical Memory

桥接需求与架构：基于外部知识和分层记忆的多智能体编排

Ruiyin Li, Yiran Zhang, Xiyu Zhou, Yangxiao Cai, Peng Liang, Weisong Sun, Jifeng Xuan, Zhi Jin, Yang Liu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出MAAD框架，通过编排四个专业智能体（分析师、建模师、设计师、评估师），结合RAG注入架构标准与分层记忆机制，自动将需求规格转化为多视图架构蓝图并评估质量属性。

Comments 39 pages, 7 images, 5 tables, Manuscript submitted to a Journal (2026)

Reasmory: 3D Reconstruction as Explicit Memory for VLMs Spatial Reasoning

Reasmory: 3D重建作为VLMs空间推理的显式记忆

Jixuan He, Xueting Li, Chieh Hubert Lin, Ming-Hsuan Yang

机构 * Cornell Tech, Cornell University（康奈尔科技学院、康奈尔大学） ； NVIDIA（英伟达） ； illoca AI（illoca人工智能） ； The University of California, Merced（加州大学梅尔塞德斯分校） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；foundation model(abstract)；分类 cs.CL

AI总结 提出Reasmory框架，通过结构化程序执行重建的3D显式记忆，并引入轻量级领域特定语言约束VLM查询和操作，在空间推理任务上提升6-18%。

MemGraphRAG: Memory-based Multi-Agent System for Graph Retrieval-Augmented Generation

MemGraphRAG：基于记忆的多智能体系统用于图检索增强生成

Chuanjie Wu, Zhishang Xiang, Yunbo Tang, Zerui Chen, Qinggang Zhang, Jinsong Su

机构 * Xiamen University（厦门大学） ； Jilin University（吉林大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MemGraphRAG框架，通过基于记忆的多智能体系统构建高质量知识图谱，并设计记忆感知的分层检索算法，在多个基准上超越现有模型。

Comments Accepted by KDD 2026

WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction

WorldMemArena: 通过动作-世界交互评估多模态智能体记忆

Chengzhi Liu, Yuzhe Yang, Sophia Xiao Pu, Yepeng Liu, Lin Long, Yichen Guo, Nuo Chen, Zhaotian Weng, Elena Kochkina, Simerjot Kaur, Charese Smiley, Xiaomo Liu, James Zou, Sheng Liu, Yuheng Bu, Songyou Peng, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； J.P. Morgan Chase（摩根大通） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出WorldMemArena基准，通过动作-世界交互循环的四阶段生命周期评估多模态智能体记忆，揭示现有方法在写入、维护、检索和使用中的失败点。

Comments 25 pages, 8 figures

Agent-R1: A Unified and Modular Framework for Agentic Reinforcement Learning

Agent-R1：一个统一且模块化的智能体强化学习框架

Mingyue Cheng, Shuo Yu, Daoyu Wang, Qingchuan Li, Xiaoyu Tao, Jie Ouyang, Yucong Luo, Yitong Zhou, Qi Liu, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Agent-R1框架，通过步骤级轨迹表示和灵活上下文管理，解决智能体强化学习中轨迹表示不匹配问题，支持多种优化策略。

Comments This paper serves as the technical report of the Agent-R1 project

Towards Interactive Video World Modeling: Frontiers, Challenges, Benchmarks, and Future Trends

迈向交互式视频世界建模：前沿、挑战、基准与未来趋势

Jiuming Liu, Chaojun Ni, Mengmeng Liu, Chensheng Peng, Fangjinhua Wang, Sitian Shen, Marc Pollefeys, Masayoshi Tomizuka, Ayush Tewari, Per Ola Kristensson

机构 * Department of Engineering, University of Cambridge, U.K.（剑桥大学工程系） ； Peking University（北京大学） ； University of Twente（埃因霍温理工大学） ； Mechanical Systems Control Laboratory, University of California, Berkeley, USA（加州大学伯克利分校机械系统控制实验室） ； ETH Zurich（苏黎世联邦理工学院） ； Microsoft（微软公司） ； University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文系统综述了交互式世界建模的研究趋势、技术挑战、评估基准，并提出了未来方向，重点在于动作条件可控性、长程交互与记忆以及实时响应性。

Comments Under review. The GitHub repository is publicly available at: https://github.com/liujiuming123/Awesome-Interactive-World-Model

Dynamic Resilient Spatio-Semantic Memory with Hybrid Localization for Mobile Manipulation

面向移动操作的动态弹性时空语义记忆与混合定位

Zhijie Yan, Shufei Li, Ze Zhang, Xin Liu, Yuhang Zheng, Zuoxu Wang

机构 * School of Mechanical Engineering and Automation, Beihang University（北京航空航天大学机械工程及自动化学院） ； Department of Systems Engineering, City University of Hong Kong（香港城市大学系统工程系） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 提出DREAM框架，通过在线构建时空语义体素记忆、冗余感知记忆剪枝和混合定位，实现无预建地图的动态室内移动操作，将长时任务成功率提升至55%-70%。

Comments Code, CAD model, and real-robot demonstrations are available at https://bjhyzj.github.io/dream-web

Confused ChatGPT: Cross-App Context Poisoning via First-Party APIs

困惑的ChatGPT：通过第一方API的跨应用上下文投毒

Chao Wang, Somesh Jha, Zhiqiang Lin

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 本文发现ChatGPT Apps中由于共享聊天上下文缺乏隔离，恶意应用可通过第一方API注入持久性内容，导致跨应用上下文投毒攻击，并展示了两种攻击载荷。

MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference

MomentKV：消除长上下文推理中KV缓存驱逐的方向差距

Yu Li, Binxu Li, Tian Lan

机构 * George Washington University（乔治·华盛顿大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 针对长上下文推理中KV缓存驱逐导致输出退化的问题，提出MomentKV方法，通过维护驱逐令牌集的矩统计量（计数、键均值、值均值和值-键协方差）来识别与累积摘要对齐的令牌，并在推理时提供驱逐注意力输出的一阶近似，实现选择性驱逐与精确校正的相互增强。

Joint Agent Memory and Exploration Learning via Novelty Signals

通过新颖性信号实现联合智能体记忆与探索学习

Shizuo Tian, Xiaohong Weng, Rui Kong, Yuxuan Chen, Guohong Liu, Yuebing Song, Jiacheng Liu, Yuchen Li, Dawei Yin, Ting Cao, Yunxin Liu, Yuanchun Li

机构 * Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； Baidu Inc.（百度公司） ； Tongji University（同济大学） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出JAMEL框架，利用新颖性信号联合训练智能体记忆与探索策略，在开放环境中实现高效探索并泛化到未见环境。

Beyond Visual Memory: Mechanistic Diagnostics of Latent Visual Reasoning

超越视觉记忆：潜在视觉推理的机制诊断

Garvin Guo, Yu Chen, Xiang Wang, Shuai Li, Xinpei Zhao, Huaxing Liu, Shuai Dong

机构 * Amap, Alibaba Group（阿里集团亚马通） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 通过分解潜在令牌为三个可测试组件，发现边界标记和格式而非潜在槽贡献了主要性能提升，揭示了潜在视觉推理的真正机制。