语言大模型 / LLM

The Origins of Stochasticity: Comprehensive Investigations on Uncertainty Quantification for Large Language Models

随机性的起源：大型语言模型不确定性量化的综合研究

Xiang-Jun Ou, Shuang Liang, Xin-Yu Hu, Rong-Hao Huang, Jing Wang, Shao-Qun Zhang

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Intelligent Science and Technology（智能科学与技术学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出细粒度不确定性分类法，将LLM不确定性归因于输入、参数、标记和解码过程，并评估21种UQ方法，发现基于共识的方法（Deg和EigV）表现最佳，且模型规模与不确定性负相关。

LLM and Human Modes of Representation

LLM与人类的表征模式

Shalom Lappin

机构 * Shalom Lappin 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究比较大型语言模型（LLM）与人类在语言知识和现实推理中的表征差异，发现LLM在语言任务上表现优异但处理方式不同，且在推理任务中学习与泛化效率低于人类。

SCOPE: Sequential Conformal Probing for Reliable OOD Rejection in LLM Services

SCOPE: 用于LLM服务中可靠OOD拒绝的顺序共形探测

Zhuoyun Li, Boxuan Wang, Changshun Wu, Xiaowei Huang, Yi Dong

机构 * School of Computer Science and Informatics, University of Liverpool, United Kingdom（英国利物浦大学计算机科学与信息学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出SCOPE框架，通过选择可读隐藏层、构建共形门控和超鞅e过程，在LLM服务中实现带理论保证的OOD拒绝，实验表明优于标准最终层检测器。

Closing the Prior-Posterior Loop: Self-Reflective Molecular Design with Analysis-Driven LLM Iteration

闭合先验-后验循环：基于分析驱动LLM迭代的自反性分子设计

Junyi Gong, Zijie Qiu, Ben Zhong Tang

机构 * Faculty of Chemistry, Shenzhen MSU-BIT University（深圳MSU-BIT大学化学学院） ； School of Science and Engineering, Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）科学与工程学院） ； Department of Chemistry, Hong Kong University of Science and Technology（香港科技大学化学系） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种自反性分子设计框架，用第一性原理计算的完整物化理由替代标量反馈，使LLM从随机采样器转变为因果推理器，在HOMO-LUMO能隙任务中实现0.0003 eV偏差和100%成功率。

Comments 3 tables, 4 figures

Behavioral and Representational Evidence of Binomial Ordering Preferences in Large Language Models

大型语言模型中二项式排序偏好的行为与表征证据

Zhiqing Yang, Yilun Liu, Yunpu Ma, Volker Tresp, Hinrich Schütze

机构 * Ludwig Maximilian University of Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.LG

AI总结 通过多语言二项式数据集和分布度量，研究LLM对梯度频率分布的建模能力，发现模型虽能恢复主导顺序，但难以精确匹配偏好分布，并通过稀疏探针验证偏好强度在中间层编码且可操纵。

Comments Code and data are publicly available at https://github.com/Zhi-qing-Yang/Linguistic-Binomials-in-Large-Language-Models

Beyond Hooking Onto the World: Referential Profiles and the Numerical Structure of LLM Grounding

超越钩连世界：指称轮廓与LLM基础的数字结构

Joo Yull Rhee

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文重新审视大语言模型的基础问题，提出指称是基于轮廓、上下文敏感、受情感影响且受规范约束的，并通过优化将语言痕迹参数化为数字结构，支持LLM拥有衍生性、语言中介的指称形式。

Comments 29 pages, no figures

Event Ontology Expansion via LLM-Based Conceptualization

基于LLM概念化的事件本体扩展

Weicheng Ren, Zixuan Li, Long Bai, Xiaolong Jin, Jiafeng Guo, Xueqi Cheng

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL

AI总结 提出ConceptE框架，利用LLM从句子和触发词中提取概念级语义，增强事件聚类和层次扩展，在ACE、ERE和MAVEN上显著优于现有方法。

Incoherent Values? Probing LLM Preferences Through Parametric Variation

不一致的价值？通过参数变化探测LLM的偏好

Elena Ajayi, Angelica Chowdhury, Seth Lazar

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文通过参数化变体测试LLM的价值一致性，发现即使最强模型也存在显著不一致，且一致性不随能力提升而出现，但允许推理时间可减少不一致。

Hallucination as Context Drift: Synchronization Protocols for Multi-Agent LLM Systems

幻觉作为上下文漂移：多智能体LLM系统的同步协议

Carson Rodrigues

机构 * Celabe 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出上下文分歧分数（CDS）和共享状态验证协议（SSVP），通过周期性交换压缩状态摘要来减少多智能体LLM系统中的幻觉，实验表明SSVP在旅行规划领域将幻觉率降低至0.463，且API调用减少58%。

Comments 11 pages, 1 figure

GRADE: Graph Representation of LLM Agent Dependency and Execution

GRADE: LLM智能体依赖与执行的图表示

Yue Zhao

机构 * University of Southern California（南加州大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出GRADE，将LLM智能体的运行建模为具有执行边和依赖边的图，依赖边通过分级推断，在多个数据集上优于运行规模指标，并可用于故障定位。

Comments 18 pages, 5 figures, 8 tables. Code: https://github.com/yzhao062/grade

Calibration Is Not Control: Why LLM-Agent Oversight Needs Intervention

校准不是控制：为什么LLM代理监督需要干预

Chubin Zhang, Zhenglin Wan, Xingrui Yu, Jingxuan Wu, Qi Wen, Pengfei Zhou, Wangbo Zhao, Ivor Tsang

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） ； CFAR Agency for Science Technology and Research（科技研究局CFAR） ； IHPC Agency for Science Technology and Research（科技研究局IHPC） ； Department of Statistics and Operations Research UNC-Chapel Hill（北卡罗来纳大学教堂山分校统计与运筹学系） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文指出LLM代理运行时监督中常用的标量风险预测存在目标错误，提出以干预优势为决策对象，并引入前缀分支方法进行动作条件控制，实验表明该方法能显著降低控制遗憾。

Comments 29 pages

The Trilemma of Truth in Large Language Models

大型语言模型中真理的三难困境

Germans Savcisens, Tina Eliassi-Rad

机构 * Khoury College of Computer Sciences Northeastern University（东北大学科里学院） ； Network Science Institute Northeastern University（东北大学网络科学研究所） ； Santa Fe Institute（圣菲研究所） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 针对大型语言模型知识真实性探测方法的缺陷，提出结合多实例学习与共形预测的sAwMIL框架，实现真、假及不确定三类分类，揭示真理与虚假的非对称编码及第三种信号的存在。

Comments The main text is 9 pages long (plus 3 pages of references); supplementary material (60 pages) is included in the same PDF

RepSelect: Robust LLM Unlearning via Representation Selectivity

RepSelect: 通过表示选择性实现鲁棒的大语言模型遗忘

Filip Sondej, Yushi Yang, Adam Mahdi

机构 * Independent（独立） ； University of Oxford（牛津大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对现有遗忘方法易被微调或少样本提示逆转的问题，提出RepSelect方法，通过梯度主成分坍塌隔离遗忘集表示，实现深度鲁棒遗忘。

Generalization of Fine-Tuned Uncertainty Communication and Metacognition in Large Language Models

微调后大语言模型的不确定性沟通与元认知的泛化

Mark Steyvers, Catarina Belem, Padhraic Smyth

机构 * Department of Cognitive Sciences, University of California, Irvine, United States（认知科学系，加州大学伊文斯顿分校，美国） ； Department of Computer Science, University of California, Irvine, United States（计算机科学系，加州大学伊文斯顿分校，美国） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究通过监督微调提升大语言模型不确定性沟通能力，发现领域内校准和判别改善，但任务间迁移有限，多任务训练可促进泛化。

The Topology of Ill-Posed Questions: Persistent Homology for Detection and Steering in LLMs

病态问题的拓扑：用于大语言模型中检测与引导的持续同调

Guangyu Jiang, Sizhe Tang, Mahdi Imani, Tian Lan

机构 * The George Washington University（乔治华盛顿大学） ； Northeastern University（东北大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 利用持续同调分析LLM内部状态的拓扑结构，统一表示多种病态问题，并实现分类与激活引导，提升响应质量。

Evaluating Evaluation Metrics -- The Mirage of Hallucination Detection

评估评估指标——幻觉检测的幻象

Atharva Kulkarni, Yuan Zhang, Joel Ruben Antony Moniz, Xiou Ge, Bo-Hsiang Tseng, Dhivya Piraviperumal, Swabha Swayamdipta, Hong Yu

机构 * University of Southern California（南加州大学） ； Apple Inc.（苹果公司） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文评估了6种幻觉检测指标在4个数据集、37个语言模型和5种解码方法上的表现，发现现有指标与人类判断不一致，且参数规模影响不一致，LLM评估和模式寻求解码方法能有效减少幻觉。

Comments Accepted at EMNLP 2025 Findings (Short)

Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing

通过软目标注意力探测在大型语言模型中进行生成前幻觉检测

Amina Miftakhova, Alexey Zaytsev

机构 * Applied AI Institute（应用人工智能研究所） 纠错

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.CL、cs.LG

AI总结 提出一种基于软目标监督和注意力探测的生成前幻觉风险估计方法，在三个问答基准和五个模型上优于线性探测。

Fine-Grained Uncertainty Quantification for Long-Form Language Model Outputs: A Comparative Study

长文本语言模型输出的细粒度不确定性量化：一项比较研究

Dylan Bouchard, Mohit Singh Chauhan, Viren Bajaj, David Skarbrevik

机构 * CVS Health（CVS健康公司） ； Wellesley, MA（马萨诸塞州韦尔士利） 纠错

专题命中 知识编辑与模型理解 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对长文本生成，提出细粒度不确定性量化分类法，通过响应分解、单元级评分和响应级聚合三阶段区分方法，引入FactScore-STEM-Geo数据集，实验发现声明-响应蕴含评分优于复杂方法，声明级评分优于句子级，不确定性感知解码有效提升事实性。

Comments Accepted by TMLR; UQLM repository: https://github.com/cvs-health/uqlm

Journal ref Transactions on Machine Learning Research, 2026

P-JEPA: Procedural Video Representation Learning via Joint Embedding Predictive Architecture

P-JEPA: 通过联合嵌入预测架构进行程序性视频表示学习

Felix Tristram, Stefano Gasperini, Benjamin Killeen, Marcel Walch, Christian Benz, Nassir Navab, Ghazal Ghazaei

机构 * Technical University of Munich（慕尼黑工业大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Carl Zeiss AG（卡尔蔡司股份公司） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出P-JEPA，一种与骨干网络无关的方法，通过将长视频映射到密集帧对齐动作空间并预测池化掩码潜在向量，实现对超过30分钟程序性视频的长时理解，在EgoExo4D等数据集上达到细粒度动作分类SOTA，参数比基于LLM的方法少一个数量级。

Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process

大型语言模型中的事实检索是一个冗余、分布且非连续的过程

Hail Hochman, Natalie Shapira, Yoav Goldberg

机构 * Bar-Ilan University（巴伊兰大学） ； Northeastern University（东北大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过属性计算路径分析，发现LLM中事实检索路径非连续、存在多条功能等价路径，表明知识计算高度冗余和分布。

Comments Accepted to ACL 2026 Main Conference

FiLM-Coordinated Dual-Branch Transformer for Global-Local Dependency Modeling in Language Modeling

FiLM协调的双分支Transformer用于语言建模中的全局-局部依赖建模

Zhiqiang Zhou, Xu Ling, Junliang Dai

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出FiLM协调的双分支Transformer，通过特征级线性调制动态协调全局与局部分支，在轻量级设置下优于单分支基线。

Comments 14 pages, 7 figures, 7 tables. Small-scale language modeling study on FiLM-coordinated dual-branch Transformer architectures, including multi-seed evaluation, cross-dataset validation, ablation studies, efficiency analysis, and parameter-matched fairness baselines

Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality

空货架还是丢钥匙？回忆是参数化事实性的瓶颈

Nitay Calderon, Eyal Ben-David, Zorik Gekhman, Eran Ofek, Gal Yona

机构 * Google Research（Google研究） ； Technion – Israel Institute of Technology（以色列技术学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出行为框架区分LLM事实错误源于知识缺失或访问失败，通过WikiProfile基准测试发现前沿模型编码饱和但回忆是主要瓶颈，思考可恢复大量失败。

Uncertainty-based Debiasing and Unlearning for Decontamination

基于不确定性的去偏与遗忘用于去污染

Guangzhi Sun, Xiao Zhan, Mark Gales

机构 * Department of Engineering, University of Cambridge（剑桥大学工程系） ； VRAIN, Universitat Politècnica de València（瓦伦西亚理工大学VRAIN） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于不确定性的去污染方法(UBD)，利用深度集成估计每个样本的记忆程度，通过去偏或遗忘修正输出分布，无需无污染模型或污染样本先验知识。

From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection

从文本度量到模型内部：Whisper ASR幻觉检测研究

Jan Jasiński, Mateusz Barański, Julitta Bartolewska, Marcin Witkowski, Konrad Kowalczyk

机构 * Signal Processing Group, Institute of Electronics, AGH University of Krakow, Poland（信号处理组，电子学研究所，AGH克拉科夫大学，波兰） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究Whisper大模型在真实语音数据上的幻觉检测，通过文本、LLM和内部解码器状态三种方法，发现无参考文本时探测解码器表示性能最强，融合文本与内部状态的元分类器效果最佳。

Comments Accepted at Interspeech 2026

AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent

AgentLens: 通过机制子空间实现多轮编码代理的可解释安全引导

Weidi Luo, Qiming Zhang, Yihao Quan, Mingyu Jin, Jie Cai, Chaowei Xiao, Jingcheng Niu, Zhen Xiang

机构 * University of Georgia（佐治亚大学） ； University of South Florida（南佛罗里达大学） ； Rutgers University（罗格斯大学） ； University of Southern California（南加州大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentLens框架，从内部表示层检测和缓解多轮编码代理的安全风险，通过单层10维子空间干预实现运行时安全控制，并在MAS基准上验证有效性。

HERMAN: Hierarchical Representation Matching for CLIP-based Class-Incremental Learning

HERMAN: 基于CLIP的类增量学习中的层次表示匹配

Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * School of Artificial Intelligence and the State Key Laboratory for Novel Software Technology, Nanjing University（人工智能学院和新型软件技术国家重点实验室，南京大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出HERMAN方法，利用LLM递归生成判别性文本描述，匹配不同语义层次并自适应路由，解决CLIP在类增量学习中的灾难性遗忘问题，在多个基准上取得最优性能。

What Does a Chemical Language Model Know About Molecules?

化学语言模型对分子了解多少？

Christian Kenneth, Etowah Adams, Liam Bai, Gerard JP van Westen

机构 * Department of Systems Biology, Columbia University（哥伦比亚大学系统生物学系） ； Computational Drug Discovery (CDD), Division of Medicinal Chemistry, Leiden University（莱顿大学药物化学系计算药物发现（CDD）） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过稀疏自编码器分析MolFormer模型，发现早期层追踪位置以解析分子语法，后期层编码子结构及药理特征，非规范SMILES比无效SMILES引起更大表示偏移。

"What Happens Locally, Leaks Globally": Detecting Privacy Leakage Risks in MCP Servers

“局部发生，全局泄露”：检测MCP服务器中的隐私泄露风险

Biwei Yan, Minghui Xu, Yijun Yang, Boyang Ma, Xuelong Dai, Jingku Li, Yue Zhang

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出MCPPrivacyDetector，一种上下文感知的跨语言静态分析框架，用于检测MCP服务器中由协议引发的隐私泄露，在10,655个真实服务器中发现超过10%的泄露率。

Disentangling Geometry, Performance, and Training in Language Models

解耦语言模型中的几何、性能与训练

Atharva Kulkarni, Jacob Mitchell Springer, Arjun Subramonian, Swabha Swayamdipta

机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 系统研究Transformer权重几何（尤其是解嵌入矩阵有效秩）与下游性能的关系，发现有效秩主要反映训练超参数而非性能，不能可靠预测模型表现。

Sparse Neuron Ablation Triggers Catastrophic Collapse of the Language Core in Large Vision-Language Models

稀疏神经元消融引发大型视觉-语言模型中语言核心的灾难性崩溃

Cen Lu, Yung-Chen Tang, Andrea Cavallaro

机构 * École Polytechnique Fédérale de Lausanne (EPFL)（瑞士洛桑联邦理工学院） ； Idiap Research Institute（日内瓦研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 提出渐进式神经元消融方法CAN，发现消融极少量（如LLaVA-1.5-7b中仅4个）位于语言模型下投影层的神经元即可导致LVLM灾难性崩溃，揭示功能依赖语言骨干中的稀疏神经元子集。

Comments Accepted to ICML 2026 Mechanistic Interpretability Workshop