语言大模型 / LLM

To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation

Kaustubh D. Dhole

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 1st workshop of "Quantify Uncertainty and Hallucination in Foundation Models: The Next Frontier in Reliable AI" at ICLR 2025

A Declarative-Procedural Perspective on Expert Routing in Bilingual Mixture-of-Experts Language Models

双语混合专家语言模型中专家路由的声明式-过程式视角

Amrit Gopinath, Raghul, Durairaj Thenmozhi

机构 * Sri Sivasubramaniya Nadar College of Engineering（斯里·西瓦苏布拉马尼亚·纳达尔工程学院） ； Shiv Nadar University Chennai（钦奈希夫·纳达尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究探究双语MoE语言模型的专家路由是否形成语言结构，对比课程学习与无课程训练的模型，发现无课程模型专业化更强但依赖随机种子，课程模型路由更均衡，揭示MoE路由可出现可解释语言组织。

Comments 15 pages, 6 figures, 12 tables (including appendix)

What Makes a Good Layer? Assessing the Layer-Wise Intrinsic Properties of Music Foundation Models

什么构成了好的层？评估音乐基础模型的逐层固有属性

Angelos-Nikolaos Kanatas, Yuexuan Kong, Pablo Alonso-Jiménez, Xavier Serra, Dmitry Bogdanov

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 该研究分析12个音乐基础模型的逐层固有属性，发现现有指标无法通用追踪所有音乐任务的层质量，提出音高转置等变度指标，该指标可有效用于层选择，性能优于可训练多层融合方法，尤其在数据有限场景

Comments 11 pages, 2 figures, 2 tables. Accepted at ISMIR 2026. Project page: https://angeloskanatas.github.io/music-fms-layer-eval/

Language Models Compare Quantities Using Number-specific and Unit-specific Heuristics

语言模型使用数字特定和单位特定启发式比较数量

Mutsumi Sasaki, Go kamoda, Ryosuke Takahashi, Kosuke Sato, Kentaro Inui, Keisuke Sakaguchi, Benjamin Heinzerling

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究通过控制实验发现，语言模型在比较带单位的数量时，并非进行精确的尺度转换，而是依赖数字差异和单位尺度差异的启发式策略，导致在比较边界附近系统性错误。

EEG-PRISM: Physiologically-Grounded Interpretability of Predictions by EEG Foundation Models

EEG-PRISM：基于生理学的脑电基础模型预测可解释性方法

Deeksha M Shama, Punnisa Amornsirikul, Archana Venkataraman

机构 * Johns Hopkins University（约翰斯·霍普金斯大学） ； Boston University（波士顿大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究提出EEG-PRISM，一种无需修改脑电基础模型的事后归因方法，可将其归因分数映射至频谱、空间域，能定位癫痫发作区、自闭症生物标志物等，提升脑电基础模型的可解释性。

CurveFP: Co-Designing Numerical Representation and Product Arithmetic for Language Models

CurveFP：用于语言模型的带闭包乘积的有理基数对数数据类型

Ye Qiao

机构 * University of California, Irvine（加州大学欧文分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出CurveFP数据类型，通过闭包乘积算术协同设计，在少1位元素位数下提升语言模型性能，降低运算误差，优于FP8且更适合紧凑部署。

P3CA: Encoder-Agnostic Interpretation of Vision Foundation Model Embeddings via Spatial Probing

P3CA：通过空间探测实现与编码器无关的视觉基础模型嵌入解释

Amoon Jamzad, Dilakshan Srikanthan, Faranak Akbarifar, Nooshin Maghsoodi, Parvin Mousavi

机构 * School of Computing, Queen’s University（女王大学计算学院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对视觉基础模型嵌入难以解释的问题，提出与编码器无关的P3CA方法，通过空间提示实现局部探测，在多类数据上验证其可揭示局部结构、提升病理判别能力等贡献。

Comments 10 pages, 5 figures, 1 table. Accepted at the iMIMIC Workshop, MICCAI 2026. This arXiv version is the pre-peer-review author manuscript

CRUISE: Vision-Language Model-Guided Uncertainty-Aware Cross-Modal Sensor Fusion for Robust Autonomous Driving

CRUISE：面向鲁棒自动驾驶的视觉语言模型引导的不确定性感知跨模态传感器融合

Junyao Wang, Yulin Xu, Yu Li, Pramod Khargonekar, Mohammad Abdullah Al Faruque

机构 * University of California, Irvine（加利福尼亚大学欧文分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 针对现有不确定性感知融合方法泛化性差的问题，提出CRUISE框架，结合VLM引导的UQ模块与动态自适应机制，实现鲁棒的自动驾驶跨模态传感器融合。

Unsure but Certain: Uncovering the Representation-Confidence Gap in Diffusion Language Models

不确定但确定：揭示扩散语言模型中的表示-置信度差距

Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究揭示扩散语言模型存在表示-置信度差距，其高置信度集中是误导性症状，现有补救措施难修复排序缺陷，提出轻量级工具利用隐藏状态信号改进排序，指出噪声下置信度可靠性是更紧迫限制。

Multilingual Emotion Neurons in Large Audio-Language Models

大型音频语言模型中的多语言情感神经元

Xiutian Zhao, Philipp Koehn, Björn Schuller, Berrak Sisman

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究通过首个神经元层面可解释性研究，提出多语言情感神经元（MLENs）定义及一致性正则化融合（CR-Fusion）方法，证实其在零样本和低资源场景下情感控制更精准，为LALMs跨语言情感编码提供因果解释。

Distilling CT Foundation Models into Editable Concept Bottlenecks for Lung Nodule Malignancy Prediction

将CT基础模型蒸馏为可编辑概念瓶颈用于肺结节恶性程度预测

Fakrul Islam Tushar, Stephen Adamo, Geoffrey D. Rubin

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 该研究将CT基础模型蒸馏为可编辑概念瓶颈模型，在肺结节恶性程度预测任务中，其判别力与仅用结节大小相当，且支持概念干预以实现透明可解释的预测。

Comments Submitted to SPIE Medical Imaging 2027 conference

Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation

面向厘米级洪水深度估计的、由机械可解释性引导的视觉-语言模型选择性微调

Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 该研究针对城市洪水缺乏厘米级实时深度估计的问题，提出三种视觉-语言模型，通过机械可解释性分析确定关键交叉注意力层进行选择性微调，在合成与真实基准测试中均实现高精度洪水深度估计，大幅减少可训练参数。

Comments This Paper is accepted in International Conference on Machine Learning and Application (ICMLA) 2026

Discovering and Causally Validating Emotion-Sensitive Neurons in Large Audio-Language Models

在大型音频-语言模型中发现并因果验证情绪敏感神经元

Xiutian Zhao, Björn Schuller, Berrak Sisman

机构 * Center for Language and Speech Processing (CLSP)（语言与语音处理中心） ； Johns Hopkins University（约翰霍普金斯大学） ； Group on Language, Audio & Music (GLAM)（语言、音频与音乐小组） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究通过神经元层面的干预验证了大型音频-语言模型中情绪敏感神经元的存在，并揭示了情绪识别的因果机制。

Comments Accepted to ACL 2026

Probing Visual Concepts in Lightweight Vision-Language Models for Automated Driving

探测轻量视觉语言模型中视觉概念以用于自动驾驶

Nikos Theodoridis, Reenu Mohandas, Ganesh Sistu, Anthony Scanlan, Ciarán Eising, Tim Brophy

机构 * University of Limerick（利默里克大学） ； Valeo Vision Systems, Ireland（爱尔兰瓦莱欧视觉系统） ； Department of Electronic and Computer Engineering（电子与计算机工程系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究探讨了轻量视觉语言模型在自动驾驶中的视觉概念编码问题，发现某些概念显式编码而其他隐式编码，并识别出感知和认知两种失败模式。

Journal ref Transactions on Machine Learning Research, 2026

RxnCLF: Contrastive Transformation-Aware Reaction Foundation Model for Improved Reactivity Prediction

RxnCLF：用于改进反应性预测的感知变换的反应基础模型

Yiting Zheng, Cheng Fang, Anthony Donofrio, Haote Li

机构 * Discovery Chemistry, Merck & Co., Inc.（默克公司发现化学部门） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究提出RxnCLF，一种基于凝聚反应图的自监督对比反应基础模型，经170万Pistachio反应预训练后，在多类产率预测基准上均优于基线模型，展现出良好泛化潜力。

Comments 8 pages, 6 figures

LAEF: A Lead-Agnostic ECG Foundation Model Towards Point-of-Care Diagnostics

LAEF：面向即时诊断的导联无关心电图基础模型

Edoardo Coppola, Stefano Fiorini, Pietro Liò, Mattia Savardi, Alberto Signoroni

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 该研究提出LAEF，一种7M参数的导联无关心电图基础模型，预训练于9.2M份12导联心电图，在18个下游数据集的1-2导联即时诊断场景下，性能优于零填充替代方案，与更大规模的12导联基线相当。

AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling

AURORA-LM：用于连续潜在扩散语言建模的统一表示自动编码

Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, Wende Tan, Jiankun Zhang, ZY Cui, Jingkang Yang, Liucheng Guo, Shiqi Yang, B. Yang, Caifeng Shan, Ziwei Liu, Chenyang Si

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 AURORA-LM是一种分离文本表示构建与分布建模的连续潜在扩散语言模型，通过特定技术优化后，在OpenWebText自由生成和XSum摘要任务中性能优于同类模型。

Comments 40 pages, 17tables, project page: https://aurora-lm-project.github.io/

SIRIN: A Unified Toolkit for Detecting Contextual Hallucinations in Retrieval-Augmented and Memory-Grounded LLM Systems

SIRIN：用于检测检索增强与记忆基大型语言模型系统中上下文幻觉的统一工具包

Julia Belikova, Rauf Parchiev, Mikhail Filimonov, Konstantin Polev, Andrey Savchenko, Maksim Makarenko

机构 * Sber AI Lab（Sber AI实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI

AI总结 本研究提出SIRIN工具包，整合三类检测器范式与查询可回答性任务，支持多设置下的幻觉检测，可作为长期记忆系统的忠实性门控，源代码公开可用。

Sky sphere representation in language models

语言模型中的天球表示

Aleksandr Berdnikov, Yevgeny Liokumovich

机构 * Fields Institute（菲尔兹研究所） ； Principles of Intelligence（智能原理机构） ； University of Toronto（多伦多大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 研究约1000亿参数的语言模型是否存在可从残差流解码的夜空图表示，发现多数开源模型具备该表示，其性能指标优异且为首个弯曲高维不可约特征流形实例，相关代码已公开。

BioPro: Towards Difference-Aware Gender Fairness for Vision-Language Models

BioPro: 关于差分意识的性别公平性在视觉-语言模型中

Yujie Lin, Jiayao Ma, Qingguo Hu, Wenbo Li, Genji Li, Derek Wong, Jinsong Su

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 BioPro通过差分意识的性别公平性方法，在视觉-语言模型中实现选择性去偏，减少中性情境中的性别偏见同时保持显性情境中的性别忠实性。

Comments ACM Multimedia 2026

Interpretable Column Annotation with LLM-Symbolized Decision Process Materialization

基于大语言模型符号化决策过程实现的可解释列注释

Mengqi Wang, Jianwei Wang, Qing Liu, Xiwei Xu, Zhenchang Xing, Michael Bain, Liming Zhu, Wenjie Zhang

机构 * Data61, CSIRO（数据61，联邦科学与工业研究组织） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.CL

AI总结 研究针对列注释方法存在的问题，提出SymCA框架，通过大语言模型赋能，将其实现为全局到局部的符号决策过程，含全局骨架归纳和局部基质演化两组件，实验证明该框架准确、稳健且可解释，性能优于基线。

Comments 13 pages, 7 figures

OrganLens: Organ-Specific Representation Learning for CT Foundation Models

OrganLens：用于CT基础模型的器官特异性表征学习

Zhixuan Ge, Anqi Li, Sadeer Al-Kindi, Hanwen Xu, Wei Qiu

机构 * Rice University（莱斯大学） ； University of Washington（华盛顿大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究针对CT检查中特定器官表征需求，提出OrganLens通过自监督学习，用器官标识调节共享编码器，经器官特异性蒸馏等方法获取器官特异性表征，在多数据集评估中提升指标，提供了可扩展方法和 reusable 框架。

Comments 16 pages, 7 figures, 5 tables

scMIR: a vision-language foundation model for single-cell light microscopy image representation

scMIR：用于单细胞光学显微镜图像表示的视觉语言基础模型

Yifan Shang, Jiahui Tan, Xiangxiang Zeng, Renjie Zhou

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究针对单细胞光学显微镜图像分析难题，提出scMIR模型，通过自监督图像重建与文本引导跨模态对齐，在多图像文本对上预训练，在多种复杂任务中表现出色，优于现有方法，具备强泛化能力，能推动高通量表型分析工作流程标准化和自动化。

Reference Feature Atlases for Mechanistic Auditing of Language Models

用于语言模型机制审计的参考特征图谱

Rui Wu, Tong Che

机构 * Rutgers University（罗格斯大学） ； NVIDIA Research（英伟达研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究提出参考特征图谱用于语言模型审计，通过拟合线性解码器实现，有图谱和残差两个互补通道。在多模型上训练并审计米斯特拉尔和文心一言目标，残差通道能控制植入机制，还揭示文心一言相关集群，为模型审计提供新方法。

Emergent Symbolic Structure in Health Foundation Models: Extraction, Alignment, and Cross-Modal Transfer

健康基础模型中的涌现符号结构：提取、对齐与跨模态迁移

Gajendra Katuwal, Advait Koparkar, Salar Abbaspourazad, Anshuman Mishra, Sarvesh Kirthivasan

机构 * Apple（苹果公司） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出一种训练后框架，通过分解冻结嵌入以提取可解释的符号，用于对齐嵌入空间。在PPG和加速度计数据上验证，发现符号能选择性关联健康状况和生理属性，并支持跨模态迁移。

Comments 8 pages, Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning, 4 main figures

Journal ref Mechanistic Interpretability Workshop at the 43 rd International Conference on Machine Learning, Seoul, South Korea, 2026

Reading Calibrated Uncertainty from Language Model Trajectories

从语言模型轨迹中读取校准的不确定性

Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

机构 * University College London, London, United Kingdom（伦敦大学学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 本文通过提取层间MLP更新的尺度不变几何特征，使用稀疏线性探针从语言模型内部激活轨迹中校准不确定性，在选择性弃权任务中优于最大softmax概率，最高提升21 AURC点。

Linear representations of grammaticality in neural language models

神经语言模型中语法性的线性表示

Jane Li, Najoung Kim

机构 * Johns Hopkins University（约翰·霍普金斯大学） ； Boston University（波士顿大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 探讨神经语言模型能否基于语法性区分字符串，通过质量均值探测研究语法性是否编码在其内部表示中，结果表明语法性在多种预训练模型中有力编码，为相关争论提供新证据及评估框架。

Transcoders for Investigating Deception in Language Models

用于研究语言模型中欺骗行为的转码器

Darius Lim, Nathan Leow, Xin Wei Chia

机构 * Home Team Science & Technology Agency (HTX)（新加坡内政部科技局） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 研究用转码器分析语言模型欺骗行为，通过预训练转码器的Qwen3 - 4B模型构建归因图，经特征引导和电路分析识别相关特征字典，发现欺骗源于模型内部机制，凸显转码器在监测及检测语言模型安全漏洞方面的潜力。

Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

对主观预期效用最大化的敏感性：一项方法学研究，并应用于大语言模型决策

Jeff Helzner

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究在标记结果稀缺等情况下评估不确定性决策的难题，通过含敏感性参数α的softmax选择模型得出相关可识别性结果，应用于大语言模型决策，检测到结构化比较α效应。

Comments 64 pages, 5 figures. Code and data archived at Zenodo: https://doi.org/10.5281/zenodo.21250951

GigaChat Audio: Time-aware Large Audio Language Model

GigaChat音频：时间感知大型音频语言模型

Aleksandr Kutsakov, Mariia Sadovina, Georgii Gospodinov, Alexandr Maximenko, Oleg Kutuzov, Pavel Bogomolov, Fyodor Minkin

机构 * SaluteDevices, Russia（SaluteDevices） 纠错

专题命中 知识编辑与模型理解 ：language model(title)；LLM(abstract)；分类 cs.CL

AI总结 研究音频条件语言模型长录音时间定位难题，提出时间感知音频语言模型，利用合成监督交织时间标记与音频令牌，在多基准测试中实现高精度，支持相关描述与总结，通过消融实验明确多因素影响，并发布模型权重和数据集。

Comments Accepted to Interspeech 2026. Model and dataset: https://huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B