语言大模型 / LLM

Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning

基于排名的校准：可靠多模态强化学习

Peng Cui, Boyao Yang, Jun Zhu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center, THBI Lab, Tsinghua University, Beijing（计算机科学与技术系，人工智能研究院，BNRist中心，清华大学-博世联合机器学习中心，THBI实验室，清华大学，北京） ； Dept. of Automation, Tsinghua University, Beijing（自动化系，清华大学，北京） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出Ranking-Aware Calibration方法，通过利用组内强化学习自然产生的比较信号，提升多模态强化学习的校准能力，从而提高任务准确性和校准效果。

Learning What Evaluators Value: A Reliable Approach to Modeling Evaluator Preferences

学习评估者所重视的内容：一种可靠建模评估者偏好的方法

Madeline Celi Kitch, Nihar B. Shah

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文研究了如何学习评估者偏好，提出了一种鲁棒算法，能够在模型不匹配的情况下有效学习偏好，通过合成数据和实际数据验证了其有效性。

Preference Instability in Reward Models: Detection and Mitigation via Sparse Autoencoders

奖励模型中的偏好不稳定性：通过稀疏自编码器进行检测与缓解

Shunchang Liu, Xin Chen, Belen Martin Urcelay, Francesco Croce

机构 * ETH Zürich（苏黎世联邦理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； Aalto University（阿alto大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了大型语言模型中奖励模型的偏好不稳定性问题，提出通过稀疏自编码器检测并缓解这种不稳定性，通过隔离不稳定特征来提升模型的偏好准确性。

GRAFT: Decoupling Ranking and Calibration for Survival Analysis

GRAFT：分离排名与校准用于生存分析

Mohammad Ashhad, Robert Hoehndorf, Ricardo Henao

机构 * KAUST（卡奥斯特大学） ； CEMSE KAUST（KAUST工程与科学学院） ； Duke University（杜克大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GRAFT模型，通过分离预测排名与生存校准，解决生存分析中排名与校准之间的权衡问题，该模型结合线性AFT模型与非线性残差神经网络，并利用随机门进行自动特征选择，从而在公开基准测试中实现了更好的判别能力和校准性能。

Unleashing the Potential of Diffusion Models for End-to-End Autonomous Driving

释放扩散模型在端到端自动驾驶中的潜力

Yinan Zheng, Tianyi Tan, Bin Huang, Enguang Liu, Ruiming Liang, Jianlin Zhang, Jianwei Cui, Guang Chen, Kun Ma, Hangjun Ye, Long Chen, Ya-Qin Zhang, Xianyuan Zhan, Jingjing Liu

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过大规模实车数据和道路测试，系统研究了扩散模型在端到端自动驾驶中的规划能力，提出Hyper Diffusion Planner框架，实现10倍性能提升。

SeamCam: Quantifying Seamless Camouflage via Multi-Cue Visual Detectability

SeamCam：通过多线索视觉可探测性量化无缝伪装

Amin Karimi Monsefi, Abolfazl Meyarian, Mridul Khurana, Shuheng Wang, Pouyan Navard, Cheng Zhang, Anuj Karpatne, Wei-Lun Chao, Rajiv Ramnath

机构 * The Ohio State University（俄亥俄州立大学） ； Path Robotics, USA（Path Robotics公司） ； Virginia Tech（弗吉尼亚理工大学） ； Boston University（波士顿大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.LG

AI总结 SeamCam通过将伪装评估转化为视觉定位问题，提出了一种量化动物伪装效果的指标，通过人类实验验证其有效性，并展示了其在扩散模型训练中的应用。

StreamPro: From Reactive Perception to Proactive Decision-Making in Streaming Video

StreamPro: 从反应式感知到主动决策的流视频处理

Ao Li, Zihan Xiao, Zihao Yue, Boshen Xu, Linli Yao, Jiaze Li, Pei Fu, Jianzhong Ju, Jian Luan, Qin Jin

机构 * AIM3 Lab, Renmin University of China（中国人民大学AIM3实验室） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract)；分类 cs.AI

AI总结 StreamPro通过引入CB-Stream损失和GRPO算法，提升流视频处理的主动决策能力，在StreamPro-Bench上取得显著成效，性能优于先前最佳。

LatentUMM: Dual Latent Alignment for Unified Multimodal Models

LatentUMM: 双重潜在对齐用于统一多模态模型

Yinyi Luo, Wenwen Wang, Hayes Bai, Marios Savvides, Jindong Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； William & Mary（威廉与玛丽学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 本文提出LatentUMM，通过构建增强的共享潜在空间，显式对齐映射到和从潜在空间的转换，提高跨模态一致性。实验表明，该方法在多种架构上一致提升了多模态一致性。

Alignment and Safety of Diffusion Models via Reinforcement Learning and Reward Modeling: A Survey

通过强化学习和奖励建模对扩散模型的对齐与安全性：综述

Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

机构 * International Institute of Information Technology（国际信息科技学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 本文综述了通过强化学习、奖励建模等方法对文本到图像扩散模型进行对齐和安全性的最新进展，探讨了反馈来源、奖励信号形式、优化机制等五个维度，并提出了多目标对齐、反馈高效偏好学习等开放性挑战。

Comments 3 figures, 1 table

Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory

Evo-Memory：通过自演化记忆基准测试LLM代理的测试时间学习

Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiyuan Cheng

机构 * Google DeepMind（谷歌DeepMind） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Evo-Memory，一个用于评估LLM代理自演化记忆能力的综合流基准和框架，通过构建序列任务流数据集，要求LLM在每次交互后搜索、适应和演化记忆，并在10个多样化的多轮目标导向和单轮推理与问答数据集上评估了超过十种代表性的记忆模块。

Hidden in Memory: Sleeper Memory Poisoning in LLM Agents

记忆中的隐患：LLM代理中的潜伏记忆污染

Sidharth Pulipaka, Stanislau Hlebik, Leonidas Raghav, Sahar Abdelnabi, Vyas Raina, Ivaxi Sheth, Mario Fritz

机构 * SPAR ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； MPI for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） ； APTA ； CISPA Helmholtz Center for Information Security（信息安全海德堡中心） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探讨了LLM代理中由于持久化内存带来的安全风险，提出并研究了潜伏记忆污染攻击，该攻击通过操控外部上下文使代理存储伪造的记忆，影响后续交互，实验显示攻击可跨多次对话持续生效。

Comments 86 pages, 60 tables

GroupMemBench: Benchmarking LLM Agent Memory in Multi-Party Conversations

GroupMemBench: 多方对话中LLM代理记忆的基准测试

Jingbo Yang, Kwei-Herng Lai, Xiaowen Wang, Shiyu Chang, Yaar Harari, Evgeniy Gabrilovich

机构 * UC Santa Barbara（加州大学圣芭芭拉分校） ； Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出GroupMemBench，用于评估多方对话中LLM代理的记忆能力，揭示现有记忆系统在群体动态、信念跟踪和语言适应方面的不足。

TierCheck: Tiered Checkpointing for Fault Tolerance in Large Language Model Training

TierCheck: 用于大语言模型训练故障容错的分层检查点系统

Shujie Han, Feng Jiang, Patrick P. C. Lee, Xiao Zhang, Zhijie Huang, Nannan Zhao, Xiaonan Zhao, Lichen Pan

机构 * Northwestern Polytechnical University（西北工业大学） ； The Chinese University of Hong Kong（香港中文大学） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出TierCheck，一种基于集群意识的分层检查点系统，通过将存储位置与故障异质性对齐，实现轻量级差异检查点在本地和对等内存中的快速本地恢复，同时异步迁移重型基础检查点到远程持久化存储，从而在低开销持久性和快速恢复之间取得最佳平衡。

Remembering More, Risking More: Longitudinal Safety Risks in Memory-Equipped LLM Agents

记住更多，风险更多：具有记忆能力的LLM代理的纵向安全风险

Ahmad Al-Tawaha, Shangding Gu, Peizhi Niu, Ruoxi Jia, Ming Jin

机构 * Virginia Tech（弗吉尼亚理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究探讨了具有记忆能力的LLM代理在长期任务中因记忆积累导致的安全风险，提出了一种触发-探测协议来评估记忆污染的影响，并发现记忆安全应被视为一个纵向属性而非单一状态属性。

Enhancing Cloud Network Resilience via a Robust LLM-Empowered Multi-Agent Reinforcement Learning Framework

通过一个鲁棒的LLM赋能的多智能体强化学习框架增强云网络韧性

Yixiao Peng, Hao Hu, Feiyang Li, Xinye Cao, Yingchang Jiang, Jipeng Tang, Guoshun Nan, Yuling Liu

机构 * State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室） ； Henan Key Laboratory of Information Security（河南省信息安全重点实验室） ； National Engineering Research Center for Mobile Network Technologies（移动网络技术国家工程研究中心） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于大语言模型的多智能体强化学习框架，旨在提升云网络的防御能力和韧性，通过分层架构和人类在回路支持来增强系统的适应性和可解释性。

SinkTrack: Attention Sink based Context Anchoring for Large Language Models

SinkTrack: 基于注意力sink的上下文锚定用于大语言模型

Xu Liu, Guikun Chen, Wenguan Wang

机构 * The State Key Lab of Brain-Machine Intelligence（脑机智能国家重点实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 SinkTrack通过将<BOS>作为信息锚点，注入关键上下文特征，缓解大语言模型的幻觉和上下文遗忘问题，实验显示在文本和多模态任务中均取得显著提升。

Comments ICLR 2026. Code: https://github.com/67L1/SinkTrack

KVDrive: A Holistic Multi-Tier KV Cache Management System for Long-Context LLM Inference

KVDrive: 一个面向长上下文LLM推理的多层级KV缓存管理系统

Jian Lin, Jiazhi Mi, Zicong Hong, Haodong Wang, Qianli Liu, Haodyue Zhang, Peng Li, Song Guo

机构 * Hong Kong University of Science and Technology China（香港科技大学中国） ； Xi’an Jiaotong University China（西安交通大学中国） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文提出KVDrive，一个面向长上下文LLM推理的多层级KV缓存管理系统，通过联合缓存放置、流水线调度和跨层级协调，实现了高吞吐量的推理，在有限的GPU预算下保持高精度。

Large Language Models and Impossible Language Acquisition: "False Promise" or an Overturn of our Current Perspective towards AI

大语言模型与不可能的语言习得："虚假承诺"或对当前人工智能观点的颠覆

Ziyan Wang, Longlong Ma

机构 * New Talent Academy（新人才学院） ； Institute of Software, University of Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文通过实验探讨大语言模型学习可能与不可能语言的能力，发现GPT-2模型在自然语言任务上表现优于不可能语言任务，而LSTM模型则无显著差异，挑战了Chomsky对AI的理性主义基础观点。

LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation

LightTransfer: 你的长上下文LLM实际上是一个具有轻松适应能力的混合模型

Xuan Zhang, Fengzhuo Zhang, Cunxiao Du, Chao Du, Tianyu Pang, Wei Gao, Min Lin

机构 * Singapore Management University（新加坡国立大学） ； National University of Singapore（新加坡国立大学） ； Sea AI Lab, Singapore（新加坡海智实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LightTransfer方法，通过将LLaMA等模型转换为混合架构，实现更高效的生成，实验表明在长上下文理解任务中，即使有半数层被识别为懒层，也能在性能损失小于1.5%的情况下提升2.17倍的吞吐量，并在数学基准AIME24上达到53.3%的分数。

Comments Accepted by TMLR 2025

LLM-Oriented Information Retrieval: A Denoising-First Perspective

面向大语言模型的信息检索：一种去噪优先的视角

Lu Dai, Liang Sun, Fanpu Cao, Ziyang Rao, Cehao Yang, Hao Liu, Hui Xiong

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种以去噪为核心的信息检索方法，强调在信息检索全流程中，最大化可利用证据密度和可验证性是关键瓶颈，通过四个阶段框架和信号-噪声优化技术分类，探讨了信息检索中的挑战和解决方案。

Comments SIGIR 2026

State Contamination in Memory-Augmented LLM Agents

内存增强型大语言模型代理中的状态污染

Yian Wang, Agam Goyal, Yuen Chen, Hari Sundaram

机构 * Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了内存增强型大语言模型代理中由于状态污染导致的安全问题，通过分析内存总结中的毒性内容传播，提出了一种新的衡量指标，并指出在信息压缩前进行净化可以有效减少潜在影响。

AtlasVA: Self-Evolving Visual Skill Memory for Teacher-Free VLM Agents

AtlasVA: 无教师视觉技能记忆用于无需教师的VLM代理

Pan Wang, Yihao Hu, Xiujin Liu, Jingchu Yang, Hang Wang, Zhihao Wen

机构 * Ant Group（蚂蚁集团） ； University of Science and Technology of China（中国科学技术大学） ； Westlake University（西湖大学） ； University of Michigan - Ann Arbor（密歇根大学-安娜堡分校） ； Sun Yat-sen University（中山大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language model(abstract)

AI总结 本研究提出AtlasVA，一种无需教师的视觉技能记忆框架，通过空间热图、视觉示例和符号文本技能三层结构，统一感知、记忆和优化，实现在无需外部LLM监督下的强化学习性能提升。

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

OSCAR: 2位KV缓存量化中的离线频谱协方差感知旋转

Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

机构 * Together AI ； University of Sydney（悉尼大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出OSCAR方法，通过离线估计注意力感知的协方差结构，实现2位KV缓存量化的高效和准确，同时开发了可部署的系统，提升了LLM服务框架的性能和效率。

Comments 35 pages, 10 figures

MemRepair: Hierarchical Memory for Agentic Repository-Level Vulnerability Repair

MemRepair：用于代理级漏洞修复的分层内存

Simiao Liu, Li Zhang, Fang Liu, Xiaoli Lian, Yang Liu, Yinghao Zhu

机构 * Beihang University（北京航空航天大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出MemRepair，一种增强记忆的代理框架，通过分层记忆和动态反馈循环提高漏洞修复的可靠性，实现了在多个仓库级别的漏洞修复基准上的高修复率。

STRIDE: A Self-Reflective Agent Framework for Reliable Automatic Equation Discovery

STRIDE：一种用于可靠自动方程发现的自反思代理框架

Jiarui Su, Songjun Tu, Bei Sun, Xiaojun Liang

机构 * Central South University（中南大学） ； Pengcheng Laboratory（鹏城实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出STRIDE框架，通过协调数据感知生成、混合拟合评估、批评-执行器修复和多样性保持语义记忆，提升自动方程发现的可靠性，实验表明其在多个LLM基础上提升了准确性、OOD鲁棒性和结构恢复能力。

Comments 23 pages, 15 figures

CORAL: Towards Autonomous Multi-Agent Evolution for Open-Ended Discovery

CORAL：迈向自主多智能体进化以实现开放性发现

Ao Qu, Han Zheng, Zijian Zhou, Yihao Yan, Yihong Tang, Shao Yong Ong, Fenglu Hong, Kaichen Zhou, Chonghe Jiang, Minwei Kong, Jiacheng Zhu, Xuan Jiang, Sirui Li, Cathy Wu, Bryan Kian Hsiang Low, Jinhua Zhao, Paul Pu Liang

机构 * MIT（麻省理工学院） ； NUS（新加坡国立大学） ； MiniMax ； McGill（麦吉尔大学） ； Stanford（斯坦福大学） ； SambaNova ； Meta ； Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟） ； Amazon（亚马逊） ； Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CORAL框架，通过自主多智能体进化方法，实现了在开放性问题上的发现，展示了智能体自主性和多智能体进化对提升开放性发现的显著效果。

Some[Body] Must Receive That Pain for Agent Accountability

某些身体必须承受痛苦以实现代理问责

Botao Amber Hu, Helena Rong

机构 * University of Oxford（牛津大学） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文研究了人工智能代理问责中的后果接收问题，指出当前LLM代理无法满足必要的身体条件，因此传统法律回应失效，提出需要建立社会技术基础设施来实现后果-代理耦合。

Vidya: An AI-Driven Modular Pipeline for Archival Automation and Semantic Metadata Enrichment

Vidya：一种由人工智能驱动的模块化流水线，用于档案自动化和语义元数据增强

Cloter Migliorini Filho, Julia Graciela Machado, Edson Armando Silva, Marcella Scoczynski

机构 * Laboratory for Digital Humanities and Innovation (LAMUHDI)（数字人文与创新实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Vidya利用大语言模型和开源工具实现大规模档案语义增强与自动化处理，通过YAML定义的本体和Pydantic验证生成结构化JSON输出，降低机构存储成本并符合相关标准。

Causal Intervention-Based Memory Selection for Long-Horizon LLM Agents

基于因果干预的记忆选择用于长时域大语言模型智能体

Saksham Sahai Srivastava

机构 * School of Computing, University of Georgia, Athens, Georgia, USA（佐治亚大学计算机学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Causal Memory Intervention（CMI）方法，通过因果推理选择大语言模型的长期记忆，以提高回答质量和鲁棒性，同时引入Causal-LoCoMo基准数据集进行评估。

Comments 12 pages, 3 figures, 3 tables

Mitigating Conversational Inertia in Multi-Turn Agents

缓解多轮代理中的对话惯性

Yang Wan, Zheng Cao, Zhenhao Zhang, Zhengwen Zeng, Shuheng Shen, Changhua Meng, Linchao Zhu

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院） ； University of Rochester, Rochester, NY, USA（罗切斯特大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了多轮代理中对话惯性问题，提出通过上下文偏好学习来校准模型偏好，以减少惯性并提升性能。

Comments ICML2026