语言大模型 / LLM

From Interpretability to Performance: Optimizing Retrieval Heads for Long-Context Language Models

从可解释性到性能：优化长上下文语言模型的检索头

Youmi Ma, Naoaki Okazaki

机构 * Department of Computer Science, Institute of Science Tokyo（东京科学研究所计算机科学系） 纠错

专题命中 知识编辑与模型理解 ：language model(title)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文研究检索头如何提升长上下文语言模型性能，提出RetMask方法通过对比正常输出与屏蔽检索头的输出生成训练信号，显著提升生成和重排序性能，验证了检索头的功能作用。

Comments Findings of ACL 2026; Source code available at https://github.com/YoumiMa/RetMask

When Text Hijacks Vision: Benchmarking and Mitigating Text Overlay-Induced Hallucination in Vision Language Models

当文本劫持视觉：基准测试与减轻文本叠加引起的视觉语言模型幻觉

Cui Yakun, Xingqun Qi, TianTian Geng, Yuyao Zhang, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出VisualTextTrap基准测试，通过大规模人工验证样本和定制评估指标，减轻文本叠加引起的幻觉问题，并提出VTHM-MoE框架以提升视觉-文本解耦能力。

How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them

词法化如何限制语言模型中语音知识的表示以及如何改进

Disen Liao, Freda Shi

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 研究探讨词法化对文本模型语音知识表示的影响，提出STAD指标量化词法化偏差，并通过IPA基础微调方法提升语音相关任务性能。

Comments 18 pages, 7 figures, ACL 2026

Aligning Language Models with Real-time Knowledge Editing

对齐语言模型与实时知识编辑

Chenming Tang, Yutong Yang, Kexue Wang, Yunfang Wu

机构 * National Key Laboratory for Multimedia Information Processing, Peking University School of Computer Science, Peking University（国家多媒体信息处理重点实验室，北京大学计算机学院，北京大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出CRAFT动态知识编辑数据集及KEDAS方法，通过多样编辑增强和自适应推理提升知识编辑性能，推动从静态更新向动态演化转变。

Comments Accepted to ACL 2026 (main conference)

VIB-Probe: Detecting and Mitigating Hallucinations in Vision-Language Models via Variational Information Bottleneck

VIB-Probe：通过变分信息瓶颈检测和缓解视觉-语言模型中的幻觉

Feiran Zhang, Yixin Wu, Zhenghua Wang, Xiaohua Wang, Changze Lv, Xuanjing Huang, Xiaoqing Zheng

机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（复旦大学计算机科学与人工智能学院，上海，中国） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出VIB-Probe框架，通过变分信息瓶颈理论检测和缓解视觉-语言模型中的幻觉，利用注意力头提取判别模式并过滤语义噪声，实验表明其在多个基准上表现优异。

Teaching Language Models Mechanistic Explainability Through MechSMILES

通过MechSMILES教会语言模型机制性可解释性

Théo A. Neukomm, Zlatko Jončev, Philippe Schwaller

机构 * Laboratory of Artificial Chemical Intelligence (LIAC), Institut des Sciences et Ingénierie Chimiques, Ecole Polytechnique Fédérale de Lausanne (EPFL), Lausanne 1015, Switzerland（人工化学智能实验室（LIAC）、化学与工程学院、瑞士联邦理工学院（EPFL）、拉沃斯纳1015号） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出MechSMILES框架，通过箭头推导法教会语言模型预测化学反应机制，实现了反应路径验证、原子映射和催化剂识别等能力，展示了在复杂机制预测任务中的高准确率。

Mantis: A Foundation Model for Mechanistic Disease Forecasting

Mantis：一种用于机制性疾病预测的基础模型

Carson Dudley, Reiden Magdaleno, Christopher Harding, Ananya Sharma, Emily Martin, Marisa Eisenberg

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 Mantis通过机制性模拟训练，实现了在有限数据下对多种疾病、地区和结果的快速预测，展示了其在疾病预测中的广泛适用性和准确性。

Comments 11 pages, 4 figures

Linear Representations of Hierarchical Concepts in Language Models

语言模型中层次概念的线性表示

Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

机构 * Tohoku University（东北大学） ； RIKEN（理化学研究所） ； NINJAL（国立国語研究所） ； Langsmith Inc.（Langsmith公司） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 研究语言模型内部表示中层次关系的编码方式，通过训练特定层次和语义领域的线性变换，发现层次关系可线性恢复，且在低维子空间中呈现领域特异性。

Comments 27 pages, 18 figures, 11 tables

Seeing No Evil: Blinding Large Vision-Language Models to Safety Instructions via Adversarial Attention Hijacking

见善不为：通过对抗性注意力劫持使大视觉-语言模型失明以确保安全

Jingru Li, Wei Ren, Tianqing Zhu

机构 * China University of Geosciences, Wuhan（中国地质大学（武汉）） ； City University of Macau（澳门城市大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出Attention-Guided Visual Jailbreaking方法，通过操控注意力模式规避安全对齐机制，减少梯度冲突并提高攻击成功率，揭示了安全失明的失败模式。

Comments Accepted to ACL 2026. Code: https://github.com/Landsayy/AttentionJailbreak

HaloProbe: Bayesian Detection and Mitigation of Object Hallucinations in Vision-Language Models

HaloProbe: 基于贝叶斯的方法检测和缓解视觉-语言模型中的物体幻觉

Reihaneh Zohrabi, Hosein Hasani, Akshita Gupta, Mahdieh Soleymani Baghshah, Anna Rohrbach, Marcus Rohrbach

机构 * Multimodal AI Lab, Technical University of Darmstadt（达姆施塔特工业大学多模态人工智能实验室） ； Department of Computer Engineering, Sharif University of Technology（谢里夫理工大学计算机工程系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出HaloProbe框架，通过结合外部描述统计和内部解码信号，有效检测和缓解视觉-语言模型中的物体幻觉，实验表明其比现有干预方法更有效且保持了模型的实用性。

Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration

通过自适应注意力校准缓解大视觉-语言模型中的幻觉

Mehrdad Fazli, Bowen Wei, Ahmet Sari, Ziwei Zhu

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出CAAC框架，通过解决空间感知偏差和模态偏差，提升大视觉-语言模型在长文本生成中的准确性和视觉对齐性。

Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models

熵-梯度基础：在视觉语言模型中无需训练的证据检索

Marcel Gröpl, Jaewoo Jung, Seungryong Kim, Marc Pollefeys, Sunghwan Hong

机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（ETH人工智能中心） ； KAIST AI（韩国科学技术院人工智能系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出一种无需训练的视觉语言模型证据检索方法，通过熵梯度映射提升对微小视觉细节和多区域线索的处理能力，实验显示在多个基准上取得显著改进。

Comments Project Page : https://entropy-gradient-grounding.github.io/

Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction

缓解大型视觉-语言模型中的纠缠引导以减少幻觉

Yuanhong Zhang, Zhaoyang Wang, Xin Zhang, Weizhan Zhang, Joey Tianyi Zhou

机构 * Ministry of Education Key Laboratory of Intelligent Networks and Network Security（教育部智能网络与网络安全重点实验室） ； Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（前沿人工智能研究中心，高性能计算研究所，科技研究局） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出MESA框架，通过可控的潜在空间干预减少视觉-语言模型中的幻觉，同时保持生成行为，实验表明其在多个模型家族中表现优于现有方法。

Optimizing Service Operations via LLM-Powered Multi-Agent Simulation

通过LLM赋能的多智能体仿真优化服务运营

Yanyuan Wang, Xiaowei Zhang

机构 * Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出基于LLM的多智能体仿真框架，通过建模决策依赖的不确定性，优化服务运营的稳态性能，实验证明其在可持续供应链中的优越性。

When Adaptive Rewards Hurt: Causal Probing and the Switching-Stability Dilemma in LLM-Guided LEO Satellite Scheduling

当自适应奖励有害：因果探测与在LLM引导的LEO卫星调度中的切换-稳定性困境

Yuanhang Li

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文研究了在多波束LEO卫星调度中使用自适应奖励设计的挑战，发现固定奖励权重在PPO收敛中表现更优，通过因果探测方法揭示了特定权重的重要性，展示了LLM在通信系统中的应用价值。

Comments 8 pages, 3 figures

Hallucination-aware intermediate representation edit in large vision-language models

具有幻觉意识的中间表示编辑在大视觉-语言模型中

Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出一种动态检测和消除幻觉表示的框架，通过最小额外计算成本在现有基准上实现最先进的性能，展示了高效且稳健的幻觉消除能力。

From FusHa to Folk: Exploring Cross-Lingual Transfer in Arabic Language Models

从FusHa到Folk：探索阿拉伯语言模型中的跨语言迁移

Abdulmuizz Khalak, Abderrahmane Issam, Gerasimos Spanakis

机构 * Maastricht University（马斯特里赫特大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 研究阿拉伯语言模型在不同方言间的跨语言迁移能力，发现迁移效果不均衡且受地理接近性影响，同时发现多方言模型存在负干扰现象。

Comments Accepted to VarDial 2026

CoE: Collaborative Entropy for Uncertainty Quantification in Agentic Multi-LLM Systems

CoE：协作熵用于代理多语言模型系统中的不确定性量化

Kangkang Sun, Jun Wu, Jianhua Li, Minyi Guo, Xiuzhen Che, Jianwei Huang

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出CoE，一种用于多语言模型协作中语义不确定性的信息理论度量，通过结合模型内语义熵和模型间与集均值的差异，提供更准确的不确定性估计，实验表明其在TriviaQA和SQuAD上优于传统基线。

Comments 18 pages, 7 figures, has already published in ICLR workshop "Agentic AI in the Wild: From Hallucinations to Reliable Autonomy"

Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance

超越完成：探究累积状态跟踪以预测LLM代理性能

Dengzhe Hou, Lingyu Jiang, Deng Li, Zirui Li, Fangzhou Lin, Kazunori D Yamada

机构 * Tohoku University（东北大学） ； Lappeenranta-Lahti University of Technology LUT（拉彭兰塔-拉赫蒂理工大学） ； Texas A&M University（德克萨斯农工大学） ； Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出WMF-AM方法，通过评估20种模型的累积算术状态跟踪能力，发现其与代理性能密切相关，且在控制完成分数和模型规模后仍保持显著相关性。

Entanglement as Memory: Mechanistic Interpretability of Quantum Language Models

纠缠作为记忆：量子语言模型的机制可解释性

Nathan Roll

机构 * Stanford University（斯坦福大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 研究通过因果门消融、纠缠追踪和密度矩阵交换干预，揭示量子语言模型在长程依赖任务中单量子比特与双量子比特模型的机制差异及噪声-表达性权衡。

Comments 9 pages, 5 figures, 7 tables

Revealing Multi-View Hallucination in Large Vision-Language Models

揭示大型视觉-语言模型中的多视角幻觉

Wooje Park, Insu Lee, Soohyun Kim, Jaeyun Jang, Minyoung Noh, Kyuhong Shim, Byonghyo Shim

机构 * Seoul National University（首尔国立大学） ； Sungkyunkwan University（全州大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文针对大型视觉-语言模型在多视角输入中出现的视觉信息混淆问题，提出Reference Shift Contrastive Decoding方法，通过生成负logits抑制视觉干扰，提升模型在多视角幻觉检测任务中的性能。

Language Models Can Explain Visual Features via Steering

语言模型可通过引导解释视觉特征

Javier Ferrando, Enrique Lopez-Cuena, Pablo Agustin Martin-Torres, Daniel Hinjos, Anna Arias-Duart, Dario Garcia-Gasulla

机构 * Barcelona Supercomputing Center（巴塞罗那超级计算中心） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出通过因果干预引导语言模型解释视觉特征，提供了一种可扩展的替代方法，提升视觉模型的可解释性。

Comments Accepted at CVPR 2026

Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models

计数电路：大视觉-语言模型中视觉推理的机制可解释性

Liwei Che, Zhiyu Xue, Yihao Quan, Benlin Liu, Zeru Shi, Michelle Hurst, Jacob Feldman, Ruixiang Tang, Ranjay Krishna, Vladimir Pavlovic

机构 * Rutgers University（罗格斯大学） ； UC Santa Barbara（加州大学圣巴巴拉分校） ； University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文研究了大视觉-语言模型在计数任务中的机制，提出两种新方法揭示计数电路结构，并通过干预策略提升模型计数精度和视觉推理能力。

Interpretability without actionability: mechanistic methods cannot correct language model errors despite near-perfect internal representations

无需可操作性：机制方法无法纠正语言模型错误，尽管内部表示几乎完美

Sanjay Basu, Sadiq Y. Patel, Parth Sheth, Bhairavi Muralidharan, Namrata Elamaran, Aakriti Kinra, John Morgan, Rajaie Batniji

机构 * University of California San Francisco（加州大学旧金山分校） ； Waymark ； University of Pennsylvania（宾夕法尼亚大学） ； Virginia Commonwealth University（弗吉尼亚 Commonwealth 大学） ； Stanford University（斯坦福大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 研究探讨了机制解释方法在纠正语言模型错误中的有效性，发现尽管内部表示接近完美，但现有方法无法有效将知识转化为正确输出，揭示了AI安全框架中的潜在问题。

Comments 27 pages, 5 figures, 10 tables. Code available at https://github.com/sanjaybasu/interpretability-triage

MSEG-VCUQ: Multimodal SEGmentation with Enhanced Vision Foundation Models, Convolutional Neural Networks, and Uncertainty Quantification for High-Speed Video Phase Detection Data

MSEG-VCUQ: 多模态分割与增强视觉基础模型、卷积神经网络和不确定性量化用于高速视频相位检测数据

Chika Maduabuchi, Ericmoore Jossou, Matteo Bucci

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出MSEG-VCUQ，结合U-Net和SAM提升高速视频相位检测分割精度，引入不确定性量化和首个开源多模态数据集，实现更可靠的相位分割。

High-Fidelity Text-to-Image Generation from Pre-Trained Vision-Language Models via Distribution-Conditioned Diffusion Decoding

通过分布条件扩散解码从预训练视觉-语言模型生成高保真的文本到图像

Ji Woo Hong, Hee Suk Yoon, Gwanhyeong Koo, Eunseop Yoon, SooHwan Eom, Qi Dai, Chong Luo, Chang D. Yoo

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； Microsoft Research Asia (MSRA)（微软亚洲研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出一种基于扩散解码的框架，通过训练仅需扩散解码器即可提升图像保真度，利用分布加权代码向量增强视觉质量，仅需ImageNet-1K短训练即可改进VQ-VAE重建和文本到图像生成。

Exhaustive Circuit Mapping of a Single-Cell Foundation Model Reveals Massive Redundancy, Heavy-Tailed Hub Architecture, and Layer-Dependent Differentiation Control

对单细胞基础模型的全面电路映射揭示了大量冗余、重尾枢纽架构以及层依赖的分化控制

Ihor Kendiukhov

机构 * Department of Computer Science, University of Tübingen（图宾根大学计算机科学系） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 通过全面电路追踪等方法揭示单细胞基础模型中大量冗余、重尾枢纽结构及层依赖的分化控制，证实模型架构的亚加性特性并建立层位置与分化方向性的因果联系。

Discovery of a Hematopoietic Manifold in scGPT Yields a Method for Extracting Performant Algorithms from Biological Foundation Model Internals

在scGPT中发现造血 manifold 并提取出一种从生物基础模型内部提取高性能算法的方法

Ihor Kendiukhov

机构 * Department of Computer Science, University of Tübingen（图宾根大学计算机科学系） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 通过scGPT发现并提取出首个具有生物用途的高性能造血算法，显著提升细胞类型分类性能且训练效率更高。

DEX-AR: A Dynamic Explainability Method for Autoregressive Vision-Language Models

DEX-AR: 一种用于自回归视觉-语言模型的动态可解释性方法

Walid Bousselham, Angie Boggust, Hendrik Strobelt, Hilde Kuehne

机构 * Tuebingen AI Center University of Tuebingen（图宾根人工智能中心图宾根大学） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； IBM Research（IBM研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 DEX-AR是一种针对自回归视觉-语言模型的动态可解释性方法，通过生成2D热图来解释模型决策过程，提升模型可解释性和性能评估。

Comments Project page: https://walidbousselham.com/DEX-AR

Logit-Level Uncertainty Quantification in Vision-Language Models for Histopathology Image Analysis

视觉-语言模型在病理图像分析中的logit级不确定性量化

Betul Yurdem, Ferhat Ozgur Catak, Murat Kuzlu, Mehmet Kemal Gullu

机构 * Department of Electrical and Electronics Engineering, Izmir Bakircay University（电气与电子工程系，伊兹密尔巴克伊大学） ； Department of Electrical Engineering and Computer Science, University of Stavanger（电气工程与计算机科学系，斯塔万格大学） ； Batten College of Engineering and Technology, Old Dominion University（工程与技术学院，老奥布良大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究提出了一种基于VLMs的logit级不确定性量化框架，用于评估病理图像分析中模型的可靠性与安全性。

Comments 10 pages, 6 figures, 4 tables