语言大模型 / LLM

A Formal Framework for Uncertainty Analysis of Text Generation with Large Language Models

基于大语言模型文本生成的不确定性分析形式框架

Steffen Herbold, Florian Lemmerich

机构 * University of Passau（帕绍大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出形式框架以测量文本生成中不确定性，考虑提示、生成和解释的相互关联过程，并展示如何通过过滤器和目标函数表达不确定性，揭示现有方法的关联性及未研究的不确定性方面。

Sparse Auto-Encoders and Holism about Large Language Models

稀疏自编码器与大型语言模型的整体性

Jumbly Grindrod

机构 * University of Reading（雷丁大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨LLM是否暗示了语义整体性，通过稀疏自编码器发现的可解释潜在特征挑战了传统整体性观点，最终论证整体性仍具说服力。

H-Node Attack and Defense in Large Language Models

H-Node攻击与防御在大语言模型中

Eric Yocam, Varghese Vaidyan, Yong Wang

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出H-Node对抗噪声消除框架，通过识别并防御Transformer大语言模型中的幻觉表示，利用逻辑回归探针定位幻觉节点，通过白盒对抗攻击增强这些维度，并采用自适应防御抑制幻觉节点，提升模型鲁棒性。

Comments 17 pages, 7 figures, 6 tables

Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination

神经不确定性原理：对抗脆弱性与大语言模型幻觉的统一视角

Dong-Xiao Zhang, Hu Lou, Jun-Jie Zhang, Jun Zhu, Deyu Meng

机构 * Northwest Institute of Nuclear Technology（西北核技术研究所） ； Tsinghua University（清华大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文揭示对抗脆弱性与大语言模型幻觉的共同几何起源，提出神经不确定性原理，通过输入与损失梯度的不确定性界限，提供统一的可靠性分析框架。

Comments 16 pages,3 figures

CARPE: Context-Aware Image Representation Prioritization via Ensemble for Large Vision-Language Models

CARPE：通过集成实现上下文感知的图像表示优先级

Donghee Lee, Rui Cai, Zhe Zhao

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 CARPE通过集成机制增强大视觉-语言模型对视觉和文本模态的自适应加权能力，提升图像分类和多模态任务表现。

The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation

对齐税：对齐语言模型中的响应同质化及其对不确定性估计的影响

Mingyi Liu

专题命中 知识编辑与模型理解 ：language model(abstract)；SFT(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现对齐语言模型存在响应同质化现象，影响不确定性估计方法的效果，提出通过叠加不确定性信号提升模型性能。

Comments 25 pages, 3 figures, 10 tables, 24 experiments across 5 benchmarks. v2: added SINdex head-to-head (Exp 27), NLI validation (Exp 28), decoding protocol analysis. Code: https://github.com/DigitLion/ucbd-experiment

Entanglement as Memory: Mechanistic Interpretability of Quantum Language Models

纠缠作为记忆：量子语言模型的机制可解释性

Nathan Roll

机构 * Stanford University（斯坦福大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 研究通过因果门消融、纠缠追踪和密度矩阵交换干预，揭示量子语言模型在长程依赖任务中单量子比特与双量子比特模型的机制差异及噪声-表达性权衡。

Comments 9 pages, 5 figures, 7 tables

From Human Cognition to Neural Activations: Probing the Computational Primitives of Spatial Reasoning in LLMs

从人类认知到神经激活：探究LLMs中空间推理的计算原语

Jiyuan An, Liner Yang, Mengyan Wang, Luming Lu, Weihua An, Erhong Yang

机构 * School of Information Science, Beijing Language and Culture University（北京语言大学信息科学学院） ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过分析LLMs内部空间表示机制，发现其空间推理能力有限且依赖上下文，揭示了空间推理的计算原语及跨语言机制退化问题。

Finding Distributed Object-Centric Properties in Self-Supervised Transformers

在自监督变压器中发现分布式以对象为中心的属性

Samyak Rawlekar, Amitabh Swain, Yujun Cai, Yiwei Wang, Ming-Hsuan Yang, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Queensland（昆士兰大学） ； UC Merced（加州大学默塞德分校） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文分析了自监督视觉变压器中对象中心属性的分布式编码机制，提出Object-DINO方法通过聚类注意力头提升无监督对象发现和多模态大语言模型的视觉 grounding。

Comments Computer Vision and Pattern Recognition (CVPR) 2026

When to Think and When to Look: Uncertainty-Guided Lookback

何时思考，何时回顾：不确定性引导的回顾

Jing Bi, Filippos Bellos, Junjia Guo, Yayuan Li, Chao Huang, Yolo Y. Tang, Luchuan Song, Susan Liang, Zhongfei Mark Zhang, Jason J. Corso, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Michigan（密歇根大学） ； Binghamton University（宾汉姆顿大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文探讨了在大视觉语言模型中思考与回顾的平衡，提出不确定性引导的回顾策略，通过大规模对比实验提升MMMU性能，并在多个基准上取得新突破。

Comments Accepted to CVPR 2026

Weight Tying Biases Token Embeddings Towards the Output Space

参数共享使词嵌入偏向输出空间

Antonio Lopardo, Avyukth Harish, Catherine Arnett, Akshat Gupta

机构 * EleutherAI ； University of California Berkeley（加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL

AI总结 本文研究了参数共享对词嵌入空间的影响，发现共享矩阵更偏向输出预测而非输入表示，且早期训练中输出梯度主导导致偏差，通过调整梯度可缓解此问题。

A Universal Vibe? Finding and Controlling Language-Agnostic Informal Register with SAEs

一种通用的语气？通过SAEs寻找和控制语言无关的非正式语气

Uri Z. Kialy, Avi Shtarkberg, Ayal Klein

机构 * Ariel University（阿里尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL

AI总结 研究通过SAEs探测Gemma-2-9B-IT模型内部表示，发现多语言模型能处理非正式语气为跨语言抽象概念，而非孤立语言记忆。

See, Symbolize, Act: Grounding VLMs with Spatial Representations for Better Gameplay

看见、符号化、行动：通过空间表示接地VLMs以实现更好的游戏表现

Ashish Baghel, Paras Chopra

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI

AI总结 本文研究了通过提供视觉帧和场景符号表示来提升VLMs在交互环境中的表现，发现准确的符号信息能提升性能，但自身提取符号的模型性能受模型能力和场景复杂度影响。

Comments 11 pages, 13 figures. Accepted to LMReasoning Workshop at AAAI 2026

ClipTTT: CLIP-Guided Test-Time Training Helps LVLMs See Better

ClipTTT: CLIP引导的测试时间训练帮助LVLMs看得更清楚

Mriganka Nath, Anurag Das, Jiahao Xie, Bernt Schiele

机构 * Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息学研究所，萨尔兰信息学园区） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 本文提出ClipTTT方法，通过CLIP模型的图像-文本对齐能力，在测试时引导LVLMs适应退化条件，减少幻觉并提升描述准确性。

Comments 30 pages, 12 figures

Joint Learning Global-Local Speaker Classification to Enhance End-to-End Speaker Diarization and Recognition

联合学习全局-局部说话人分类以增强端到端说话人辨识与识别

Yuhang Dai, Haopeng Lin, Jiale Qian, Ruiqi Yan, Hao Meng, Hanke Xie, Hanlin Wen, Shunshun Yin, Ming Tao, Xie Chen, Lei Xie, Xinsheng Wang

机构 * Soul AI Lab, China（中国Soul AI实验室） ； X-LANCE Lab, Shanghai Jiao Tong University, China（中国上海交通大学X-LANCE实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 本文提出GLSC-SDR方法，通过联合训练说话人分类与辨识识别，提升细粒度说话人区分能力，实验表明其在多个数据集上表现优异，无需依赖大规模真实对话数据。

Comments 5 pages, 2 figures, 2 tables