语言大模型 / LLM

MetaBreak: Jailbreaking Online LLM Services via Special Token Manipulation

MetaBreak: 通过特殊标记操纵越狱在线LLM服务

Wentian Zhu, Zhen Xiang, Wei Niu, Le Guan

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出利用特殊标记构造攻击原语，绕过LLM安全对齐和内容审核，并发现防御困难，实验显示MetaBreak在内容审核下优于现有方法。

Comments Accepted version. Revised to match the version accepted to the 2026 IEEE Symposium on Security and Privacy (SP); added publication information and DOI

Journal ref Proceedings of the 2026 IEEE Symposium on Security and Privacy (SP), pp. 98-117, IEEE Computer Society, 2026

Copy First, Translate Later: Interpreting Translation Dynamics in Multilingual Pretraining

先复制，后翻译：在多语言预训练中解读翻译动态

Felicia Körner, Maria Matveev, Florian Eichin, Gitta Kutyniok, Barbara Plank, Michael A. Hedderich

机构 * MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Department of Mathematics, LMU Munich（数学系，慕尼黑大学） ； Department of Physics and Technology, University of Tromsø（物理与技术系，特罗姆瑟大学） ； DLR-German Aerospace Center（德国航空航天中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究通过多语言预训练模型探索语言和翻译能力的早期发展，发现模型在早期阶段通过token级复制获取基本语言能力，翻译能力分两阶段发展。

Comments 10 pages

Continual Memorization of Factoids in Language Models

语言模型中事实的持续记忆

Howard Chen, Jiayi Geng, Adithya Bhaskar, Dan Friedman, Danqi Chen

机构 * Princeton Language and Intelligence (PLI), Princeton University（普林斯顿大学普林斯顿语言与智能研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出持续记忆任务，发现语言模型在后续微调中严重遗忘事实，并提出REMIX方法（混合随机词序列或预训练语料）缓解遗忘，优于回放等方法。

Journal ref Transactions on Machine Learning Research, 2026

Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?

基于图像的机器人地理定位：黑盒视觉语言模型是否已经足够？

Sania Waheed, Bruno Ferrarini, Michael Milford, Sarvapali D. Ramchurn, Shoaib Ehsan

机构 * University of Southampton（南安普顿大学） ； MyWay srl ； Queensland University of Technology（昆士兰科技大学） ； University of Essex（埃塞克斯大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 本文首次系统研究黑盒生成式视觉语言模型作为独立零样本地理定位系统的潜力，发现其在粗粒度定位上表现良好，但在细粒度定位上因现实变化而显著退化。

Comments Accepted to the ICRA 2026 Workshop on Multi-Modal Spatial AI for Robust Navigation and Open-World Understanding (MM-SpatialAI)

Honey, I Shrunk the Arc de Triomphe!

亲爱的，我把凯旋门缩小了！

Yuanbo Xiangli, Hanyu Chen, Xueqing Tsang, Noah Snavely

机构 * Cornell University（康奈尔大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 针对单目度量几何估计中的“尺度坍缩”现象，通过构建新数据集MetricScenes并采用两阶段泊松补全方法提升深度图质量，微调MoGe-2模型显著缓解了尺度低估问题。

Comments Project page: https://metricscenes.github.io/

VLM-Guided Visual Place Recognition for Planet-Scale Geo-Localization

VLM引导的视觉地点识别用于行星级地理定位

Sania Waheed, Na Min An, Michael Milford, Sarvapali D. Ramchurn, Shoaib Ehsan

机构 * Univ. of Southampton, UK（英国南安普顿大学） ； KAIST, South Korea（韩国科学技术院） ； QUT, Australia（昆士兰科技大学） ； Univ. of Essex, UK（英国埃塞克斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 提出VLM与检索式VPR结合的混合框架，利用VLM生成先验约束搜索空间，再通过检索和重排序实现行星级地理定位，在街道和城市级别分别提升4.51%和13.52%。

Journal ref Proceedings of the Australasian Conference on Robotics and Automation (ACRA 2025)

Hybrid Fact-Checking that Integrates Knowledge Graphs, Large Language Models, and Search-Based Retrieval Agents Improves Interpretable Claim Verification

混合事实核查：集成知识图谱、大语言模型和基于搜索的检索代理提高可解释的声明验证

Shaghayegh Kolli, Richard Rosenbaum, Timo Cavelius, Lasse Strothe, Andrii Lata, Jana Diesner

机构 * Technical University Munich（慕尼黑工业大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出一种混合事实核查方法，集成知识图谱、大语言模型和实时搜索代理，通过三步流水线（KG检索、LM分类、Web搜索）在FEVER基准上达到0.93 F1分数，无需微调，并有效处理信息不足情况。

Comments Paper has been accepted at 9th wiNLP workshop at EMNLP

Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

在做中保留：在线策略数据在缓解遗忘中的作用

Howard Chen, Noam Razin, Karthik Narasimhan, Danqi Chen

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文系统比较了监督微调（SFT）和强化学习（RL）在语言模型后训练中的遗忘模式，发现RL因使用在线策略数据而更少遗忘，并验证了在线策略数据是缓解遗忘的关键因素。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML), 2026

ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models

ProactiveBench: 多模态大语言模型主动性的基准测试

Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

机构 * University of Trento（特伦托大学） ； University of Bergamo（贝拉米奥大学） ； Inria Grenoble（格勒诺布尔研究所） ； Bruno Kessler Foundation（布鲁诺·凯斯勒基金会） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)

AI总结 提出ProactiveBench基准，评估多模态大语言模型在遮挡识别等任务中请求用户干预的主动性，发现模型普遍缺乏主动性且与能力无关，但可通过强化学习微调习得。

Comments Accepted at ECCV 2026

Focus Then Listen: An Empirical Study of Plug-and-Play Audio Enhancer for Noise-Robust Large Audio Language Models

先聚焦后聆听：探索用于噪声鲁棒的大规模音频语言模型的即插即用音频增强器

Han Yin, Yang Xiao, Younghoo Kwon, Ting Dang, Jung-Woo Choi

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；foundation model(abstract)

AI总结 提出即插即用的音频增强器FTL，通过分离语音与非语音并利用模态路由器预测目标模态，生成任务自适应增强信号，无需微调即可提升LALMs在噪声环境下的性能。

Comments Accepted by ICML 2026 Workshop (Machine Learning for Audio)

FormalASR: End-to-End Spoken Chinese to Formal Text

FormalASR: 语音中文到正式文本的端到端系统

Wanyi Ning, Yinshang Guo, Haitao Qian, Jiyuan Cheng, Weiyuan Feng, Yufei Zhang

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出FormalASR，一种端到端的中文语音到正式文本转换模型，通过构建大规模的语音到正式文本数据集，并使用Qwen3-ASR进行微调，实现了比原声基线减少37.4%的CER，同时提升了ROUGE-L和BERTScore指标，提供了一个轻量级的设备端解决方案。

Foundation vs. Specialized Models: Evaluating Catastrophic Forgetting in Continual Time Series Forecasting

基础模型 vs. 专用模型：评估持续时间序列预测中的灾难性遗忘

Nouha Karaouli, Denis Coquenet, Elisa Fromont, Martial Mermillod, Marina Reyboz

机构 * Univ. Rennes, CNRS, Inria, IRISA - UMR 6074（雷恩大学, 法国国家科学研究中心, 法国国家信息与自动化研究所, 法国信息与系统研究实验室 - UMR 6074） ； Univ. Grenoble Alpes, Univ. Savoie Mont Blanc, CNRS, LPNC（格勒诺布尔-阿尔卑斯大学, 萨瓦大学, 法国国家科学研究中心, 认知心理学与神经心理学实验室） ； Univ. Grenoble Alpes, CEA, LIST（格勒诺布尔-阿尔卑斯大学, 法国原子能委员会, 信息与系统技术实验室） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 研究时间序列基础模型在持续微调中的灾难性遗忘，发现微调提升新任务精度但触发遗忘，而遗忘缓解技术可缩小大小模型性能差距。

SHIFT: Motion Alignment in Video Diffusion Models with Adversarial Hybrid Fine-Tuning

SHIFT: 视频扩散模型中的运动对齐与对抗混合微调

Xi Ye, Wenjia Yang, Yangyang Xu, Xiaoyang Liu, Duo Su, Mengfei Xia, Jun Zhu

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； University of Chinese Academy of Science（中国科学院大学） 纠错

专题命中 指令微调 ：post-training(abstract)

AI总结 针对视频扩散模型微调后运动保真度下降的问题，提出基于像素通量动力学的像素运动奖励和SHIFT框架（平滑混合微调），通过对抗优势改进收敛并缓解奖励黑客，有效解决动态度坍塌。

Comments Accepted by ECCV2026

StereoVLA: Enhancing Vision-Language-Action Models with Stereo Vision

StereoVLA：利用立体视觉增强视觉-语言-动作模型

Shengliang Deng, Mi Yan, Yixin Zheng, Jiayi Su, Wenhao Zhang, Yitao Zeng, Xiaoguang Zhao, Heming Cui, Zhizheng Zhang, He Wang

机构 * Galbot ； CFCS, School of CS, Peking University（北京大学计算机学院CFCS） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； The University of Hong Kong（香港大学） ； Xiamen University Malaysia（厦门大学马来西亚分校） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出StereoVLA，首个利用大规模合成立体数据引入丰富几何线索的VLA模型，通过几何与语义联合编码和协同训练目标，在真实实验中成功率绝对提升33.4%，并展现出对近半球视角的鲁棒性。

Trust Region Masking for Long-Horizon LLM Reinforcement Learning

长程大语言模型强化学习的信任区域掩码

Yingru Li, Jiacai Liu, Jiawei Xu, Yuxuan Tong, Ziniu Li, Qian Liu, Baoxiang Wang

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM强化学习中因实现差异导致的off-policy误差随序列长度二次增长的问题，提出信任区域掩码（TRM）方法，通过掩码违反信任区域的整个序列，实现首个非平凡的长程单调改进保证。

Uncertainty-Aware Reward Discounting for Mitigating Reward Hacking

考虑不确定性的奖励折扣以缓解奖励黑客

Disha Singha

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种双源不确定性-aware奖励框架，通过建模价值估计和人类偏好中的不确定性，减少奖励黑客行为，在多个离散和连续控制环境中验证了其有效性。

Comments 46 pages, 16 figures, 6 tables

Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution

着色噪声：用于忠实图像超分辨率的对抗性Sobolev对齐

Hongbo Wang, Huaibo Huang, Pin Wang, Jinhua Hao, Chao Zhou, Ran He

机构 * MAIS \& NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI

AI总结 提出ASASR框架，通过将生成流重铸为Sobolev诱导的黎曼几何并引入基于Riesz表示定理的参数化对抗器，解决图像超分辨率中生成先验导致的光谱失配问题，实现忠实重建。

Comments Accepted to ICML 2026

Joint Reward Modeling: Internalizing Chain-of-Thought for Efficient Visual Reward Models

联合奖励建模：将思维链内化以实现高效的视觉奖励模型

Yankai Yang, Yancheng Long, Hongyang Wei, Wei Chen, Tianke Zhang, Kaiyu Jiang, Haonan Fan, Changyi Liu, Jiankang Chen, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 提出联合奖励建模（JRM），通过共享视觉-语言骨干联合优化偏好学习和语言建模，将生成模型的语义推理能力内化到判别表示中，实现快速准确评估，在MMRB2和EditReward-Bench上取得最优结果。

MolFORM: Multi-modal Flow Matching for Structure-Based Drug Design

MolFORM：基于多模态流匹配的结构药物设计

Jie Huang, Daiheng Zhang

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 提出MolFORM框架，利用多流匹配联合建模离散原子类型和连续3D坐标，并通过基于直接偏好优化的偏好引导微调提升生成质量，在多个评估指标上取得一致改进。

Comments Accepted to ICML 2025 genbio workshop

LinkAnchor: An Autonomous LLM-Based Agent for Issue-to-Commit Link Recovery

LinkAnchor：一个基于自主LLM的代理用于问题到提交链接恢复

Arshia Akhavan, Alireza Hoseinpour, Abbas Heydarnoori, Hamid Bagheri, Mehdi Keshani

机构 * Bowling Green State University（伯灵顿州立大学） ； University of Nebraska-Lincoln（内布拉斯加大学林肯分校） ； University of Zurich（苏黎世大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对软件仓库中问题到提交链接恢复的挑战，本文提出LinkAnchor，通过懒惰访问架构动态检索相关数据，提升链接恢复的准确性和效率。

Comments Proceedings of the ACM International Conference on the Foundations of Software Engineering (FSE), Montreal, Canada, July 2026

Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning

面向选择性多模态大语言模型遗忘的良性记忆遗忘

Zhen Zeng, Leijiang Gu, Zhangling Duan, Feng Li, Cees G. M. Snoek, Meng Wang, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型隐私泄露问题，提出S-MLLMUn Bench基准和SMFA框架，实现精确删除敏感知识同时保持模型基础能力。

Comments Accepted by ECCV 2026

HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering

HiMu: 面向长视频问答的分层多模态帧选择

Dan Ben-Ami, Gabriele Serussi, Kobi Cohen, Chaim Baskin

机构 * INSIGHT Lab, Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学INSIGHT实验室，以色列） ； Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学，以色列） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出HiMu框架，通过文本LLM将查询分解为层次逻辑树，由视觉和音频专家处理原子谓词，经模糊逻辑算子组合生成连续帧满意度曲线，在16帧预算下达到帧选择方法的最优精度，并作为即插即用模块提升多种MLLM性能。

Learning to Evict from Key-Value Cache

学习从键值缓存中驱逐

Luca Moschella, Laura Manduchi, Ozan Sener

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。

Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict

Simplified Sparse Attention via Gist Tokens

遗忘，然后回忆：通过概要稀疏注意力实现可学习的压缩与选择性展开

Yuzhen Mao, Michael Y. Li, Emily B. Fox

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种通过概要稀疏注意力实现可学习的压缩与选择性展开机制，结合紧凑的全局表示与目标访问细粒度证据，提升长上下文大语言模型的效率与性能。

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

超越序列距离：模态间距离不变位置编码

Lin Chen, Bolin Ni, Qi Yang, Zili Wang, Kun Ding, Ying Wang, Houwen Peng, Shiming Xiang

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences, China（MAIS，自动化研究所，中国科学院，中国） ； University of Chinese Academy of Sciences, China（中国科学院大学，中国） ； Tencent Hunyuan Team, China（腾讯文言团队，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 针对多模态大模型在长上下文中的视觉衰减问题，提出模态间距离不变位置编码（DIPE），通过解耦模态间位置编码消除距离惩罚，保持视觉感知一致性，显著缓解视觉衰减。

MIRAGE: Online LLM Simulation for Microservice Dependency Testing

MIRAGE：微服务依赖测试的在线LLM模拟

XinRan Zhang

专题命中 推理与问题求解 ：LLM(title,title_cn)

AI总结 MIRAGE通过在线LLM模拟动态响应微服务依赖请求，提升测试场景的覆盖率和准确性，尤其在错误处理和代码推理方面表现更优。

When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?

何时LLMs足以作为序列RL任务的策略优化器？

Stephane Hatgis-Kessell, Emma Brunskill

机构 * Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出PromptPO方法，利用LLM通过Python描述状态空间、动作空间和奖励函数，基于rollout反馈迭代生成和优化可执行策略，在多种环境中匹配或超越标准RL基线，但在细粒度连续控制任务中表现不足。

Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

从LLM中蒸馏答案集编程规则用于神经符号视觉问答

Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

机构 * Vienna University of Technology ( TU Wien )（维也纳技术大学） ； Jönköping University（约克灵厄普大学） 纠错

专题命中 推理与问题求解 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出从大语言模型中蒸馏答案集编程规则的方法，以可解释的方式扩展视觉问答系统的推理能力，仅需少量示例即可生成正确规则。

Comments Under consideration in Theory and Practice of Logic Programming (TPLP)

HyLaR: Hybrid Latent Reasoning with Decoupled Policy Optimization

混合潜在推理与解耦策略优化

Tao Cheng, Shi-Zhe Chen, Hao Zhang, Yixin Qin, Jinwen Luo, Zheng Wei

机构 * Tencent PCG（腾讯PCG） ； Tencent CSIG（腾讯CSIG） 纠错

专题命中 推理与问题求解 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出HyLaR框架，通过结合离散文本生成与连续视觉潜在表示，提升多模态大语言模型在细粒度感知和通用多模态理解中的性能。

Comments Accepted to ECCV 2026

Journal ref ECCV 2026

Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs

Just Ask: 好奇的代码代理揭示前沿大语言模型中的系统提示

Xiang Zheng, Yutao Wu, Hanxun Huang, Yige Li, Xingjun Ma, Bo Li, Yu-Gang Jiang, Cong Wang

专题命中 推理与问题求解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出JustAsk框架，利用代码代理的自主交互能力，通过在线探索策略自动提取大语言模型的隐藏系统提示，揭示了系统提示作为新兴安全漏洞。

Comments Accepted at ICML 2026