语言大模型 / LLM

Latent Adversarial Training Improves Robustness to Persistent Harmful Behaviors in LLMs

Abhay Sheshadri, Aidan Ewart, Phillip Guo, Aengus Lynch, Cindy Wu, Vivek Hebbar, Henry Sleight, Asa Cooper Stickland, Ethan Perez, Dylan Hadfield-Menell, Stephen Casper

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Bristol（布里斯托大学） ； University of Maryland（马里兰大学） ； University College London（伦敦大学学院） ； MATS ； Astra ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,comments)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Code at https://github.com/aengusl/latent-adversarial-training. Models at https://huggingface.co/LLM-LAT

OneEdit: A Neural-Symbolic Collaboratively Knowledge Editing System

Ningyu Zhang, Zekun Xi, Yujie Luo, Peng Wang, Bozhong Tian, Yunzhi Yao, Jintian Zhang, Shumin Deng, Mengshu Sun, Lei Liang, Zhiqiang Zhang, Xiaowei Zhu, Jun Zhou, Huajun Chen

专题命中 知识编辑与模型理解 ：LLM(abstract,comments)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments LLM+KG@VLDB2024, code is available at https://github.com/zjunlp/OneEdit

A Critical Synthesis of Uncertainty Quantification and Foundation Models for Semantic Segmentation

语义分割中不确定性量化与基础模型的批判性综合研究

Steven Landgraf, Joceline Hinz, Markus Ulrich

机构 * Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院摄影测量与遥感研究所） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文首次系统评估四类不确定性量化方法在语义分割基础模型上的表现，揭示预测性能、可靠性与计算成本间的权衡，为现实应用需联合优化相关指标指明方向。

Comments Accepted for publication in the ISPRS Annals (ISPRS Congress 2026, Toronto, Oral Presentation)

Scaling Inherently Interpretable Language Models

扩展固有可解释的语言模型

Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究将可解释性作为训练约束而非事后补充，在多规模计算下验证了其随模型能力同步扩展的特性，通过Steerling-8B模型实现闭环干预，且性能优于更大计算量的同类模型。

Beyond Foundation Models: Dimension-Aware Neural Architecture Search with Small-Data Representation Models for Cryocooler Lifetime Prediction

超越基础模型：面向制冷机寿命预测的、采用小数据表示模型的维度感知神经架构搜索

Gregor Molan, Grafika Jati, Francesco Barchi, Andrea Acquaviva, Aljaž Osterman, Martin Molan

机构 * Comtrade 360 d.o.o.（康创360有限责任公司） ； Comtrade AI GmbH（康创人工智能有限公司） ； LE-Tehnika d.o.o.（LE技术有限责任公司） ； Alma Mater Studiorum – Università di Bologna（博洛尼亚大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对工业科学领域小数据场景，提出FSD-RM范式结合NAS优化模型容量与输入维度，用于制冷机寿命预测，可在降本减复杂度的同时实现有竞争力的预测性能。

Comments 48 pages

Journal ref Reliability Engineering and System Safety 277 (2027) 113105

Where Knowledge Collides: A Mechanistic Study of Intra-Memory Knowledge Conflict in Language Models

知识碰撞之处：语言模型中内存知识冲突的机理研究

Minh Vu Pham, Hsuvas Borkakoty, Yufang Hou

机构 * IT:U Austria（因特大学奥地利分校） ； IBM Research（IBM研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过机理可解释性方法揭示语言模型中预训练数据冲突知识的编码位置，探讨冲突知识在模型内部的存储机制及干预方法。

TerraNova: A Foundation Model for the Anthropocene

TerraNova：人类世的基础模型

Carlos Rodriguez-Pardo, Massimo Tavoni

机构 * Politecnico di Milano（米兰理工大学） ； RFF-CMCC European Institute on Economics and the Environment (EIEE)（RFF-CMCC欧洲经济与环境研究所） ； Euro-Mediterranean Center on Climate Change (CMCC)（欧洲地中海气候变化中心） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 TerraNova是适配原生几何的基础模型，融合地球物理与社会数据，可重建密集场、适配未见变量，兼具地理空间编码能力与国家层面功能。

Comments 32 pages, 16 figures. Supplementary Information (full methodological specification, ablation programme, extended results, computational cost; 157 pages) available at the project page: https://carlosrodriguezpardo.es/projects/TerraNova/

CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising

CDAE：用对比去噪增强预训练语言模型的扰动鲁棒性

Sina Heydari, Amirreza Abbasi, Mohsen Hooshmand, Majid Ramezani

机构 * Institude for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对预训练语言模型词嵌入对保留语义的文本扰动敏感的问题，提出CDAE模型，经多强度扰动策略对比实验，证实其能提升扰动下的嵌入相似度与表示稳定性。

Comments Submitted to 16th International Conference on Computer and Knowledge Engineering (ICCKE 2026)

ECG-InterpBench: Benchmarking the Interpretability of ECG Foundation Models with Matched-Scale Sparse Autoencoders

ECG-InterpBench：采用匹配规模稀疏自编码器评估心电图基础模型的可解释性

Yixuan Duan, Wei Qiu

机构 * Rice University（莱斯大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 ECG-InterpBench是评估心电图基础模型可解释性的基准，采用匹配规模稀疏自编码器，在多维度对比中揭示模型可解释性差异，补充了性能导向的心电图基准。

Comments Research paper. Includes supplementary material and publicly available source code

Architectural Backdoors in Vision-Language Model Supply Chains via Representation Steering

通过表示引导在视觉语言模型供应链中植入架构后门

Maria Rosaria Briglia, Igor Maljkovic, Antonio Emanuele Cinà, Luca Oneto, Iacopo Masi, Fabio Roli

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究视觉语言模型供应链安全问题，提出通过表示引导植入架构后门的攻击方法，该方法不影响训练数据等，通过触发控制模型表示转向攻击者目标，评估表明其损害模型多项性能，还提出审计防御方法。

Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

视觉语言模型是读取还是重写？论视觉语言模型中的转录忠实性

Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉语言模型在文档理解中是否忠实转录。引入FaithC4基准，评估通用、OCR专用VLMs及传统OCR管道。发现通用VLMs受扰WER降4.5分，OCR专用降0.2 - 2分，传统OCR降不到0.6分。还揭示重写与FFN表示及单词长度的关系。

Comments 15 pages, 6 figures

Attacking Graph Foundation Models Through Their Shared Representation

通过共享表示攻击图基础模型

Pankaj Kumar, Subhankar Mishra

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究通过攻击图基础模型的共享表示来探索其脆弱性，采用表示空间扰动和输入空间攻击等方法，针对六个公共模型进行实验，发现不同模型的脆弱性表现，如OpenGraph的频谱分词器有特定脆弱性，还分析了脆弱性与解码器读取表示的关系。

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

潜意识时钟：扩散语言模型中的潜在时间建模

Maximo Eduardo Rulli, Thomas Vaitses Fontanari, Simone Petruzzi, Federico Alvetreti, Giorgio Strano, Donato Crisostomi, Giorgos Nikolaou, Tommaso Mencattini, Andrea Santilli, Emanuele Rodolà, Simone Scardapane, Alessio Devoto

机构 * Sapienza University of Rome（罗马大学） ； EPFL（洛桑联邦理工学院） ； Independent researcher（独立研究者） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文发现扩散语言模型在残差流中编码了与扩散时间步相关的潜在表示，可通过探针提取，并通过沿推断时间步的低维子空间引导来调节去噪进度，影响模型置信度和熵。

Comments Equal contribution: Thomas Vaitses Fontanari and Simone Petruzzi

X-FEMR: A Token-level Explainable Approach for Electronic Health Records Foundation Models using Transformer-based Models

X-FEMR：一种使用基于Transformer的模型对电子健康记录基础模型进行令牌级可解释的方法

Jie Huang, Pengfei Yin, Zihan Xu, Daniel Capurro, Mike Conway, Ting Dang

机构 * School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院） ； Royal Melbourne Hospital（皇家墨尔本医院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对电子健康记录基础模型是黑箱模型的问题，提出基于Transformer的令牌级可解释性方法，训练替代模型近似其行为，识别有影响力令牌，引入临床对齐度量，结果显示该方法能实现可解释且可信的临床人工智能。

Comments Accepted by IJCAI-ECAI 2026 AI and Health Track

Pathways of Visual Information Flow in Vision-Language Models

视觉语言模型中的视觉信息流路径

Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro

机构 * University of Copenhagen（哥本哈根大学） ； Technical University of Denmark（丹麦技术大学） ； POLITEHNICA Bucharest（布加勒斯特理工大学） ； Bitdefender, Romania（罗马尼亚比特梵德公司） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究视觉语言模型中视觉信息的路由，用因果补丁法发现其依赖直接和文本介导两条路径，路径选择与任务、数据分布和提示设计有关，且路径具灵活性。

Exploration and Online Transfer with Behavioral Foundation Models

基于行为基础模型的探索与在线迁移

Louis Bagot, Mathieu Lefort, Laëtitia Matignon

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对零样本强化学习中在线迁移的探索问题，提出利用行为基础模型生成探索策略，将在线学习建模为类似多臂赌博机的探索-利用问题，并通过不确定性矩阵特征值最小化实现探索。

Comments Retirer la mention ''European Workshop on Reinforcement Learning'' (qui correspond {à} la template de la version {é}tendue, mais le papier n'y est pas encore accept{é})

Journal ref Conf{é}rence sur l'Apprentissage automatique, Universit{é} de Montpellier, Jul 2026, Montpellier, France

SOTAlign: Semi-Supervised Alignment of Unimodal Vision and Language Models via Optimal Transport

SOTAlign：通过最优传输实现半监督的单模态视觉与语言模型对齐

Simon Roschmann, Paul Krzakala, Sonia Mazelet, Quentin Bouniot, Zeynep Akata

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SOTAlign框架，通过少量配对数据和大量未配对数据实现视觉与语言模型的半监督对齐，利用最优传输理论提升对齐效果，优于传统监督和半监督方法。

Comments ICML 2026

Heterogeneous Neural Predictivity from Language Models During Naturalistic Comprehension

自然理解过程中语言模型的异质性神经预测性

Xiao Jia

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究利用八种冻结语言模型和编码模型分析自然语言刺激的神经数据，发现语言模型特征在多数脑区具有预测性，但预测优势是局部的，不能直接推断共享神经组织或计算机制。

Uncertainty-aware reinforcement learning for chemical language models

面向化学语言模型的不确定性感知强化学习

Borja Medina, Jon Paul Janet

机构 * Molecular AI, Discovery Sciences, BioPharmaceuticals R&D（分子人工智能、发现科学、生物制药研发） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出两种将预测不确定性融入强化学习的方法，使化学语言模型更稳健地探索化学空间，在保持分子得分的同时将真实命中率从0.5提升至0.75。

What Does a Chemical Language Model Know About Molecules?

化学语言模型对分子了解多少？

Christian Kenneth, Etowah Adams, Liam Bai, Gerard JP van Westen

机构 * Department of Systems Biology, Columbia University（哥伦比亚大学系统生物学系） ； Computational Drug Discovery (CDD), Division of Medicinal Chemistry, Leiden University（莱顿大学药物化学系计算药物发现（CDD）） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过稀疏自编码器分析MolFormer模型，发现早期层追踪位置以解析分子语法，后期层编码子结构及药理特征，非规范SMILES比无效SMILES引起更大表示偏移。

Why SWAVE May Not Be All You Need:A Concept-Evolution Retrospective on Complex-Valued Recurrent Language Models

为什么SWAVE可能不是你所需的一切：复数值循环语言模型的概念演化回顾

Ramprasath Ganesaraja, Swathika N, Sahil Dilip Panse

机构 * EdgeVerve Systems Limited（EdgeVerve系统有限公司） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文回顾了复数值循环语言模型SWAVE的演化过程，揭示了其设计假设的缺陷，并提出了cos-domination collapse等理论见解和工程原则。

Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

探测、融合与可信度：基础模型表示在多模态癌症分析中的系统评估

Jingyu Hu, Giuseppe Tripodi, Reed Naidoo, Sarah F. McGough, Tapabrata Chakraborti

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University of Bristol（布里斯托大学） ； University of Manchester（曼彻斯特大学） ； The Institute of Cancer Research（癌症研究所） ； Genentech（基因泰克） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 系统评估基础模型表示在计算病理学任务中的性能，发现图像和组学表示互补，多模态融合在单模态不占优时有效，并利用共形预测验证了不确定性感知推理的临床价值。

Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

计划在哪里？通过轻量级机制干预定位语言模型中的潜在规划

Nicole Ma, Nick Rui

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过押韵对句补全任务，使用线性探针和激活修补方法，研究语言模型在生成过程中是否形成并因果依赖未来约束的潜在规划，发现仅Gemma-3-27B模型存在因果依赖，并定位到五个注意力头。

Comments 13 pages, 20 figures, 3 tables. Accepted to Workshop on Mechanistic Interpretability @ ICML 2026

Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition

语音情感识别中音频语言模型的声学线索对齐

Iosif Tsangko, Andreas Triantafyllopoulos, Björn W. Schuller

机构 * DFG's Reinhart Koselleck project（德国科研基金Reinhart Koselleck项目） ； EU H2020 project（欧盟H2020项目） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究音频语言模型中显式声学线索的对齐性，通过eGeMAPS特征提取六种可解释声学概念标记，发现对齐标记提升UAR，而错乱标记降低性能，模型对符号线索敏感但仍部分依赖音频信号。

Comments 6 pages, 3 figures, 3 tables

Causality Is Key to Understand and Balance Multiple Goals in Trustworthy ML and Foundation Models

因果关系是理解和平衡可信机器学习与基础模型中多个目标的关键

Ruta Binkyte, Ivaxi Sheth, Zhijing Jin, Mohammad Havaei, Bernhard Schölkopf, Mario Fritz

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心） ； Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所（图宾根）） ； Google Research（谷歌研究） ； ETH Zürich（苏黎世联邦理工学院） ； University of Toronto（多伦多大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文主张将因果方法集成到机器学习中，以平衡公平性、隐私、鲁棒性、准确性和可解释性等可信原则之间的权衡，并探讨其在基础模型中的实际应用。

Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models

模式选择性并非任务因果结构：1B类语言模型中组合任务电路的跨架构机制研究

Yongzhong Xu

机构 * B-Class Language Models（1B类语言模型） ； Cross-Architecture Mechanistic Study（跨架构机理研究） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过统一协议测试三个1B类语言模型在四个组合任务上的注意力头电路，发现不同模型对同一任务使用不同的注意力模式，并引入五类筛选结果分类法，提出MoE模型基于前一个token位置基板构建组合任务电路的可证伪假设。

Comments 27 pages, 3 figures

Global Sketch-Based Watermarking for Diffusion Language Models

基于全局草图的扩散语言模型水印

Daniel Zhao

机构 * Harvard University（哈佛大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出一种针对掩码扩散语言模型的全局向量草图水印方法，通过控制文本的整体统计特征实现与局部上下文无关的检测。

Stateful Visual Encoders for Vision-Language Models

用于视觉-语言模型的有状态视觉编码器

Zirui Wang, Junwei Yu, Adam Yala, David M. Chan, Joseph E. Gonzalez, Trevor Darrell

机构 * University of California, Berkeley（加州大学伯克利分校） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出有状态视觉编码器，通过将每个视觉表示条件于先前的视觉特征，增强视觉-语言模型在多图像、多轮交互中的视觉变化感知能力，在跨图像空间聚合、多目标视觉差异和轨迹行为克隆等任务上取得一致改进。

Comments Project page: https://statefulvisualencoders.github.io/

Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models

表示能力：Transformer语言模型中特征表示的几何限制

Alexander Guha

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 基于线性表示和叠加假设，通过嵌入矩阵的余弦相似度分布估计模型可支持的近正交方向数量，推导出容量公式，并发现容量对偏差ε指数敏感。

Comments 22 pages, 10 figures. Submitted to NeurIPS 2026. This is a condensed version of thesis: https://hdl.handle.net/2286/R.2.N.204857

Probing Collision Grounding in Vision-Language Models for Safe Human-Robot Collaboration

探索视觉-语言模型中的碰撞接地以实现安全的人机协作

Jun Wang, Xiaohao Xu, Xiaonan Huang

机构 * University of Michigan, Ann Arbor（密歇根大学，安娜堡） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对安全人机协作，提出碰撞接地概念及物理基准TouchSafeBench，评估视觉-语言模型在分类当前安全状态和预警即将碰撞任务中的表现，发现现有模型不可靠，视觉流畅性不等于物理责任性。

Comments 31 pages, 9 figures