语言大模型 / LLM

Probabilistic Attribution For Large Language Models

基于概率的大型语言模型归因

Shilpika Shilpika, Carlo Graziani, Bethany Lusch, Venkatram Vishwanath, Michael E. Papka

机构 * Argonne Leadership Computing Facility（阿贡领导计算设施） ； Argonne National Laboratory（阿贡国家实验室） ； Mathematics and Computer Science Division（数学与计算机科学 division） ； Department of Computer Science（计算机科学系） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出了一种模型无关的概率性token归因度量，通过贝叶斯法则反向计算下一个token的对数概率，以捕捉模型对token序列分布的内部表示，从而提高大型语言模型的可解释性。

Comments 29 pages, 13 figures

Hallucination as Commitment Failure: Larger LLMs Misfire Despite Knowing the Answer

幻觉作为承诺失败：更大的LLM在知道答案的情况下仍会出错

Jewon Yeom, Jaewon Sok, Heejun Kim, Seonghyeon Park, Jeongjae Park, Taesup Kim

机构 * Graduate School of Data Science（数据科学研究生院） ； Department of Rural Systems Engineering（农村系统工程系） ； Electrical Engineering and Computer Science（电子工程与计算机科学） ； Department of Aerospace Engineering（航空航天工程系） 纠错

专题命中 知识编辑与模型理解 ：LLM(title_cn,summary_cn)；instruction tuning(abstract)；分类 cs.CL

AI总结 本文研究了大型LLM在知道正确答案的情况下仍出现幻觉的现象，发现模型在生成答案时，正确概念的概率分布方式决定了幻觉的发生，而非是否包含正确概念。

Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models

将嵌入概念化：面向视觉-语言模型的稀疏解缠

Piotr Kubaty, Patryk Marszałek, Łukasz Struski, Adam Wróbel, Jacek Tabor, Marek Śmieja

机构 * Faculty of Mathematics and Computer Science, Jagiellonian University（雅盖隆大学数学与计算机科学学院） ； Doctoral School of Exact and Natural Sciences, Jagiellonian University（雅盖隆大学精确与自然科学博士学校） ； Centre for Credible AI, Warsaw University of Technology（华沙技术大学可信人工智能中心） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出CEDAR方法，通过稀疏解缠技术在不增加维度的情况下揭示预训练嵌入的组成结构，从而提升视觉-语言模型的可解释性和与人类感知的一致性。

Exploring How Audio Effects Alter Emotion with Foundation Models

探索音频效果如何通过基础模型改变情感

Stelios Katsis, Vassilis Lyberatos, Spyridon Kantarelis, Edmund Dervakos, Giorgos Stamou

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文研究音频效果如何通过基础模型影响情感，探讨了基础模型在分析音频效果与情绪关系中的作用，揭示了声音设计技术对感知影响的模式。

Comments https://github.com/stelioskt/audioFX

Why Semantic Entropy Fails: Geometry-Aware and Calibrated Uncertainty for Policy Optimization

为何语义熵失效：面向策略优化的几何感知与校准不确定性

Zheyuan Zhang, Kaiwen Shi, Han Bao, Zehong Wang, Tianyi Ma, Yanfang Ye

机构 * University of Notre Dame（诺丁汉大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种新的策略优化框架GCPO，通过几何感知措施捕捉语义分歧，并利用基于奖励的校准对齐不确定性与学习信号强度，从而更准确地跟踪梯度变化并提升训练后性能。

When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search

当秩-1引导廉价时是什么情况？几何学、粒度和预算化搜索

John T. Robertson, Jianing Zhu, Haris Vikalo, Zhangyang Wang

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了秩-1引导在不同概念上的有效性差异，提出粒度和几何学是影响引导成本的关键因素，并介绍了GRACE框架来高效优化引导过程。

Comments Updated Abstract metadata

Discovering High Level Patterns from Simulation Traces

从仿真轨迹中发现高层次模式

Sean Memery, Kartic Subr

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种通过程序合成进行无监督学习的方法，将仿真轨迹转换为稀疏的高层次模式表示，以提升大语言模型对物理系统的推理能力。

A First Measurement Study on Authentication Security in Real-World Remote MCP Servers

对现实世界远程MCP服务器认证安全性的首次测量研究

Huijun Zhou, Xiaohan Zhang, Haozhe Zhang, Haoyang Zhang, Mi Zhang, Min Yang

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)

AI总结 本研究首次测量了现实世界远程MCP服务器的认证安全性，发现40.55%的服务器未进行认证，OAuth是主要的授权机制，但存在新的攻击面，识别出9种具体漏洞类型，并通过负责任的披露获得了9个CVE ID。

Comments 15 pages, 9 figures

Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks

Jordan-RoPE: 通过复Jordan块实现非半单相对位置编码

Yaobo Zhang

机构 * School of Physics, Ningxia University（宁夏大学物理学院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种非半单相对位置编码Jordan-RoPE，通过复旋转特征和Nilpotent响应在同一缺陷Jordan块中实现距离调制的相位基，从而生成振荡-多项式特征，如e^{-γd}cos(ωd)、e^{-γd}sin(ωd)等，并在语言模型中验证了其有效性。

Comments 15 pages, 4 figures, 6 tables; code available at https://github.com/ybzhang-nxu/jordan_rope

A Mechanistic Explanatory Strategy for XAI

为XAI的解释性策略机制

Marcin Rabiza

机构 * Institute of Philosophy and Sociology, Polish Academy of Sciences（哲学与社会学院，波兰科学院） ； Institute for Philosophy, Leiden University（哲学研究所，莱顿大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于机制的解释性策略，旨在通过分解、定位和重组来揭示深度学习系统功能组织的机制，从而改进可解释人工智能的理论基础和实践应用。

Towards Explainability of SLMs by investigating Token Level Activation

通过研究token层面激活实现SLMs的可解释性

Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

机构 * Information Technology（信息技术） ； A.K. Choudhury School of Information Technology（A.K. Choudhury 信息技术学院） ； Computer Science & Engineering(Artificial Intelligence)（计算机科学与工程（人工智能）） ； Institute of Engineering & Management（工程与管理学院） ； Computer Science & Engineering（计算机科学与工程） ； University of Calcutta（加尔各答大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.LG

AI总结 本文提出了一种轻量且通用的框架，通过BERT第8层隐藏状态的激活强度量化token层面的表示重要性，揭示了语义信息在激活强度上的集中分布，为将BERT从黑箱模型转变为更透明的玻璃箱模型提供了可解释且计算高效的替代方法。

Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks

通过激活子空间瓶颈解释和操控状态空间模型

Vamshi Sunku Mohan, Kaustubh Gupta, Aneesha Das, Chandan Singh

机构 * Microsoft Research, Redmond（微软研究院（红mond）） ； Independent Researcher（独立研究员） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.LG

AI总结 本文通过识别Mamba家族状态空间模型中的激活子空间瓶颈，提出了一种在测试时通过乘以标量来操控激活的干预方法，从而在多个模型和基准测试中提升了性能，并验证了这些瓶颈对性能的阻碍作用。

Dataless Weight Disentanglement in Task Arithmetic via Kronecker-Factored Approximate Curvature

通过克罗内克-因子近似曲率进行任务算术中的无数据权重解耦

Angelo Porrello, Pietro Buzzega, Felix Dangel, Thomas Sommariva, Riccardo Salami, Lorenzo Bonicelli, Simone Calderara

机构 * University of Modena and Reggio Emilia（莫德纳和雷吉奥艾米利亚大学） ； Vector Institute（向量研究所） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出了一种无数据的方法，通过将表示漂移正则化问题框架化为曲率矩阵近似问题，以解决任务算术中任务向量的交叉任务干扰问题，实现了任务加法和否定的最新成果。

Comments Accepted to ICLR 2026

IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation

IVGT：隐式视觉几何变换器用于神经场景表示

Yuqi Wu, Tianyu Hu, Wenzhao Zheng, Yuanhui Huang, Haowen Sun, Jie Zhou, Jiwen Lu

机构 * Intelligent Vision Group, Tsinghua University（清华大学智能视觉组） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出IVGT，一种隐式视觉几何变换器，通过无姿态多视角图像隐式建模连续且一致的几何结构，从而实现神经场景表示，支持在任意3D位置进行连续空间查询，以预测签名距离和颜色，并在多个任务中表现出色。

Comments Code: https://github.com/wzzheng/IVGT/

DecQ: Detail-Condensing Queries for Enhanced Reconstruction and Generation in Representation Autoencoders

DecQ：用于增强表示自编码器中重建和生成的细节压缩查询

Tianhang Wang, Yitong Chen, Wei Song, Zuxuan Wu, Min Li, Jiaqi Wang

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Westlake University（西湖大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)

AI总结 本文提出DecQ框架，通过引入轻量级细节压缩查询，有效缓解了表示自编码器中重建与生成之间的权衡问题，提升了重建质量和生成性能。