语言大模型 / LLM

Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

野外对比归因：对LLM在真实基准上失败的可解释性分析

Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

机构 * Southern University of Science and Technology（南方科技大学） ； Microsoft（微软） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了对比归因作为分析LLM在现实场景中失败的实用工具，通过对比错误输出与正确替代输出的logit差异，揭示了归因方法在不同数据集、模型规模和训练检查点上的表现，展示了其在某些失败案例中的有效性及局限性。

Comments 45 pages, 16 figures, 16 tables

Textual Bayes: Quantifying Prompt Uncertainty in LLM-Based Systems

文本贝叶斯：量化基于LLM系统的提示不确定性

Brendan Leigh Ross, Noël Vouitsis, Atiyeh Ashari Ghomi, Rasa Hosseinzadeh, Ji Xin, Zhaoyan Liu, Yi Sui, Shiyi Hou, Kin Kwan Leung, Gabriel Loaiza-Ganem, Jesse C. Cresswell

机构 * Layer 6 AI 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过贝叶斯视角量化LLM系统提示的不确定性，提出MHLP算法结合提示优化与MCMC方法，提升预测准确性和不确定性量化性能。

Comments ICLR 2026

From Natural Language to Silicon: The Representation Bottleneck in LLM Hardware Design

从自然语言到硅基：LLM硬件设计中的表示瓶颈

Weimin Fu, Zeng Wang, Minghao Shao, Johann Knechtel, Ozgur Sinanoglu, Ramesh Karri, Muhammad Shafique, Xiaolong Guo

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 研究揭示LLM硬件设计中表示选择而非模型选择是决定最终成功率的关键，通过评估三种前沿LLM在六种不同IR上的表现，发现简单偏见使资源受限的FPGA实现更高效。

Persona Alchemy: Designing, Evaluating, and Implementing Psychologically-Grounded LLM Agents for Diverse Stakeholder Representation

人格炼金术：为多样化利益相关者代表设计、评估和实现心理基础的LLM代理

Sola Kim, Dongjune Chang, Jieshu Wang

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于社会认知理论的LLM代理设计框架，通过四个个人因素、六个可量化构念和图数据库架构，提升LLM代理在多样化利益相关者代表中的心理一致性与可解释性。

Comments Accepted at ICLR 2026 Algorithmic Fairness Across Alignment Procedures and Agentic Systems (AFAA) Workshop

IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation

IUQ：长文本大语言模型生成的疑问性不确定性量化

Haozhi Fan, Jinhao Duan, Kaidi Xu

机构 * University of Pennsylvania（宾夕法尼亚大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出IUQ框架，通过跨样本一致性与内样本忠实度量化长文本生成的不确定性，验证了其在不同模型上的优越性能。

Comments Accepted by ACL (main) 2026

Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty

超越“我不知道”：评估LLM在区分数据和模型不确定性中的自我意识

Jingyi Ren, Ante Wang, Yunghwei Lai, Xiaolong Wang, Linlu Gong, Weitao Li, Weizhi Ma, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究院，清华大学，北京，中国） ； Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China（人工智能产业研究院（AIR），清华大学，北京，中国） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出UA-Bench基准测试，评估LLM在区分数据不确定性和模型不确定性方面的能力，发现即使先进模型也难以可靠区分，并提出轻量数据合成与强化学习策略提升不确定性判断。

Measuring Representation Robustness in Large Language Models for Geometry

在大型语言模型中测量几何表示的鲁棒性

Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

机构 * Department of Computer Science and Information Systems, BITS Pilani（比特学院计算机科学与信息系统系） ； School of Computer Science, KIIT University（KIIT大学计算机科学学院） ； Department of Mathematics, BITS Pilani（比特学院数学系） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；prompting(abstract)

AI总结 本文提出GeoRepEval框架，评估几何问题在不同表示形式下的正确性、不变性和一致性，发现表示选择对模型性能有显著影响，尤其在向量形式上表现脆弱，通过提示干预可提升高容量模型性能，但低容量模型无明显改进。

Comments 20 pages, 7 figures, 9 tables

Knowledge-Driven Hallucination in Large Language Models: An Empirical Study on Process Modeling

基于知识驱动的幻觉在大语言模型中的研究：过程建模的实证研究

Humam Kourani, Anton Antonov, Alessandro Berti, Wil M. P. van der Aalst

机构 * Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息科技研究所） ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过实证研究探讨大语言模型在过程建模任务中因知识驱动幻觉导致的输出与证据矛盾问题，提出评估方法并强调证据导向领域中AI生成内容验证的重要性。

Comments The Version of Record of this contribution will be published in the proceedings of the 2nd International Workshop on Generative AI for Process Mining (GenAI4PM 2025). This preprint has not undergone peer review or any post-submission improvements or corrections

CAMO: An Agentic Framework for Automated Causal Discovery from Micro Behaviors to Macro Emergence in LLM Agent Simulations

CAMO：一种用于从微观行为到宏观涌现的LLM代理模拟自动因果发现的框架

Xiangning Yu, Yuwei Guo, Yuqi Hou, Xiao Xue, Qun Ma

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能计算学院） ； Tianjin Key Laboratory of Healthy Habitat and Smart Technology（天津健康人居环境与智能技术重点实验室） ； Laboratory of Computation and Analytics of Complex Management Systems, Tianjin University（复杂管理系统计算与分析实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 CAMO通过分析LLM代理模拟中的微观行为，自动发现导致宏观结果的因果机制，提供可解释的因果链和干预手段，提升对社会涌现的理解。

Representation-Guided Parameter-Efficient LLM Unlearning

基于表示的参数高效LLM去学习

Zeguan Xiao, Lang Mo, Yun Chen, Lei Yang, Jiehui Zhao, Lili Yang, Guanhua Chen

机构 * Shanghai University of Finance and Economics（上海金融学院） ； Southern University of Science and Technology（南方科技大学） ； Deepexi Technology Co. Ltd（深点科技有限公司） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出REGLU方法，利用表示空间的几何特性实现鲁棒且精确的去学习。通过开发表示引导的LoRA初始化和正则化损失，有效分离遗忘与保留集参数，提升去学习效果。

Comments Findings of ACL 2026

From Subsumption to Satisfiability: LLM-Assisted Active Learning for OWL Ontologies

从子项关系到可满足性：基于LLM的主动学习用于OWL本体论

Haoruo Zhao, Wenshuo Tang, Duncan Guthrie, Michele Sevegnani, David Flynn, Paul Harvey

机构 * University of Glasgow（格拉斯哥大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用LLM辅助的主动学习方法，通过将候选公理转换为反概念并用受控自然语言表达，以提高OWL本体论建模的准确性，实验表明召回率稳定。

VerilogCL: A Contrastive Learning Framework for Robust LLM-Based Verilog Generation

VerilogCL：一种用于鲁棒LLM基于Verilog生成的对比学习框架

Yan Tan, Tong Liu, Xiangchen Meng, Yangdi Lyu

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出VerilogCL框架，通过对比学习和主动错误筛查提升Verilog代码生成的鲁棒性，实验表明其在编译成功率和功能正确性上优于现有基线。

Towards Intrinsic Interpretability of Large Language Models:A Survey of Design Principles and Architectures

面向大语言模型内在可解释性的探索：设计原则与架构的综述

Yutong Gao, Qinglin Meng, Yuan Zhou, Liangming Pan

机构 * MOE Key Lab of Computational Linguistics, Peking University（计算语言学MOE实验室，北京大学） ； Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国） ； Nanjing University of Science and Technology（南京理工大学） ； Purdue University（普渡大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文综述了大语言模型内在可解释性的发展，分类现有方法为五种设计范式，并讨论开放挑战与未来研究方向。

Comments Accepted to the Main Conference of ACL 2026. 14 pages, 4 figures, 1 table

HalluSAE: Detecting Hallucinations in Large Language Models via Sparse Auto-Encoders

HalluSAE：通过稀疏自编码器检测大型语言模型中的幻觉

Boshui Chen, Zhaoxin Fan, Ke Wang, Zhiying Leng, Faguo Wu, Hongwei Zheng, Yifan Sun, Wenjun Wu

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进研究院，北京航空航天大学人工智能学院） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院） ； Renmin University of China（中国人民大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 HalluSAE通过稀疏自编码器和几何势能度量定位潜在相变区域，利用对比logit归因识别幻觉相关稀疏特征，通过线性探针检测因果幻觉，实验表明其在Gemma-2-9B上达到最先进的幻觉检测性能。

Uncertainty Quantification in LLM Agents: Foundations, Emerging Challenges, and Opportunities

大语言模型代理中的不确定性量化：基础、新兴挑战与机遇

Changdae Oh, Seongheon Park, To Eun Kim, Jiatong Li, Wendi Li, Samuel Yeh, Xuefeng Du, Hamed Hassani, Paul Bogdan, Dawn Song, Sharon Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Nanyang Technological University（南洋理工大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Southern California（南加州大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了大语言模型代理中不确定性量化的基础、挑战及未来方向，提出新的框架并分析了现实场景中的技术难题。

Comments ACL 2026 Main Conference

ReGA: Model-Based Safeguard for LLMs via Representation-Guided Abstraction

ReGA：通过表示引导抽象的基于模型的安全保障方法

Zeming Wei, Chengcan Wu, Meng Sun

机构 * Peking University（北京大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ReGA框架，通过利用安全关键表示缩小模型分析在大规模语言模型中的可扩展性差距，有效区分安全与有害输入，提升LLM安全性。

Comments FSE 2026

Understanding Counting Mechanisms in Large Language and Vision-Language Models

理解大语言和视觉-语言模型中的计数机制

Hosein Hasani, Amirmohammad Izadi, Fatemeh Askari, Mobin Bagherian, Sadegh Mohammadian, Mohammad Izadi, Mahdieh Soleymani Baghshah

机构 * Sharif University of Technology（谢里夫大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文研究大语言和视觉-语言模型在计数任务中如何表示和计算数值信息，通过实验和分析揭示了计数机制的分层结构及内部计数器的作用。

Comments Accepted to CVPR 2026

Interpreting Language Models Through Concept Descriptions: A Survey

通过概念描述解读语言模型：一项调查

Nils Feldhus, Laura Kopf

机构 * BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所） ； Technische Universität Berlin（柏林技术大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文调查了通过生成自然语言概念描述来解读模型组件和抽象的方法，揭示了生成这些描述的关键方法、评估指标及数据集，并指出对更严谨因果评估的需求。

Comments Accepted at The Eight Workshop on Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP), co-located with EMNLP 2025

Learning to Build Shapes by Extrusion

通过挤出学习构建形状

Thor Vestergaard Christiansen, Karran Pandey, Alba Reinders, Karan Singh, Morten Rieger Hannemose, J. Andreas Bærentzen

机构 * Technical University of Denmark（丹麦技术大学） ； University of Toronto（多伦多大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出基于文本的挤出表示（TEE），通过学习面挤出序列生成3D网格，支持任意面数并生成流形网格，同时可应用于现有网格进行编辑。

Comments A preprint

On the Predictive Power of Representation Dispersion in Language Models

语言模型中表示分散度的预测能力研究

Yanhong Li, Ming Li, Karen Livescu, Jiawei Zhou

机构 * University of Chicago（芝加哥大学） ； University of Maryland（马里兰大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； Stony Brook University（史泰福布鲁克大学） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了语言模型表示分散度与预测能力的关系，发现分散度越高，困惑度越低，并提出利用分散度进行模型筛选和优化的方法。

Comments ICLR 2026

Masking or Mitigating? Deconstructing the Impact of Query Rewriting on Retriever Biases in RAG

掩蔽还是缓解？解构查询重写对RAG中检索偏见的影响

Agam Goyal, Koyel Mukherjee, Apoorv Saxena, Anirudh Phukan, Eshwar Chandrasekharan, Hari Sundaram

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)

AI总结 本文研究查询重写技术对RAG系统中检索偏见的影响，发现简单LLM重写能显著降低偏见，但对抗条件下效果受限。分析揭示两种机制：简单重写通过增加分数方差降低偏见，伪文档生成通过真实去相关性降低偏见。

Comments ACL'26: 13 pages, 4 figures, 4 tables

When Text Hijacks Vision: Benchmarking and Mitigating Text Overlay-Induced Hallucination in Vision Language Models

当文本劫持视觉：基准测试与减轻文本叠加引起的视觉语言模型幻觉

Cui Yakun, Xingqun Qi, TianTian Geng, Yuyao Zhang, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出VisualTextTrap基准测试，通过大规模人工验证样本和定制评估指标，减轻文本叠加引起的幻觉问题，并提出VTHM-MoE框架以提升视觉-文本解耦能力。

How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them

词法化如何限制语言模型中语音知识的表示以及如何改进

Disen Liao, Freda Shi

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 研究探讨词法化对文本模型语音知识表示的影响，提出STAD指标量化词法化偏差，并通过IPA基础微调方法提升语音相关任务性能。

Comments 18 pages, 7 figures, ACL 2026

Aligning Language Models with Real-time Knowledge Editing

对齐语言模型与实时知识编辑

Chenming Tang, Yutong Yang, Kexue Wang, Yunfang Wu

机构 * National Key Laboratory for Multimedia Information Processing, Peking University School of Computer Science, Peking University（国家多媒体信息处理重点实验室，北京大学计算机学院，北京大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出CRAFT动态知识编辑数据集及KEDAS方法，通过多样编辑增强和自适应推理提升知识编辑性能，推动从静态更新向动态演化转变。

Comments Accepted to ACL 2026 (main conference)

Towards Robust Text-to-Image Person Retrieval: Multi-View Reformulation for Semantic Compensation

面向鲁棒的文本到图像人物检索：多视图重新公式化用于语义补偿

Chao Yuan, Yujian Zhao, Haoxuan Xu, Guanglin Niu

机构 * Beihang University（北航） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于大语言模型的语义补偿框架，通过多视图语义重新公式化和特征补偿提升跨模态表示一致性，解决文本到图像检索中的表达漂移问题，实验表明其在三个数据集上表现优异。

Toward Consistent World Models with Multi-Token Prediction and Latent Semantic Enhancement

迈向一致的世界模型：多令牌预测与潜在语义增强

Qimin Zhong, Hao Liao, Haiming Qin, Mingyang Zhou, Rui Mao, Wei Chen, Naipeng Chao

机构 * Shenzhen University（深圳大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过多令牌预测和潜在语义增强方法，解决大语言模型内部世界模型一致性问题，提升表示对齐性和鲁棒性。

Comments Accepted by ACL 2026 Main Conference. 21 pages, 3 figures, 7 tables

Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

忘却重要信息，保留其余：信息性标记的选择性反学习

Seunghee Koh, Sunghyun Baek, Youngdong Kim, Junmo Kim

机构 * Korea Advanced Institute of Science and Technology, South Korea（韩国科学技术院） ； Hanbat National University, South Korea（汉阳大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ETW方法，通过熵引导标记加权实现信息性标记的选择性反学习，提升模型效用。

Comments Accepted to ACL 2026 Main Conference. 17 pages, 9 figures

Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion

语言模型去碎片化：一种基于可解释性的词汇扩展方法

Maitrey Mehta, Nishant Subramani, Zhichao Xu, Ashim Gupta, Vivek Srikumar

机构 * Kahlert School of Computing, University of Utah（犹他大学计算机学院Kahlert分校） ； Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL

AI总结 本文提出基于可解释性的词汇扩展方法，解决语言模型中词汇碎片化问题，通过改进词汇选择和嵌入初始化提升效率，提出FragMend方法验证有效性。

From Fallback to Frontline: When Can LLMs be Superior Annotators of Human Perspectives?

从后备到前线：当LLMs能成为人类视角的超级标注者吗？

Hasan Amin, Harry Yizhou Tian, Xiaoni Duan, Chien-Ju Ho, Rajiv Khanna, Ming Yin

机构 * Purdue University（普渡大学） ； Washington University in St. Louis（华盛顿大学圣路易斯分校） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨LLMs在预测主观任务中群体子观点时超越人类标注者的条件，指出LLMs的结构特性如低方差和减少的表示与处理偏差是其优势来源，而非经验因素。

Comments ACL 2026

Generative midtended cognition and Artificial Intelligence. Thinging with thinging things

生成性中介认知与人工智能。思考与思考之物

Xabier E. Barandiaran, Marta Pérez-Verdugo

机构 * IAS-Research Centre for Life, Mind and Society, Dept. Philosophy, UPV/EHU, University of the Basque Country, Donostia, Gipuzkoa (Spain)（生命、心智与社会研究中心，哲学系，巴斯克大学，Donostia, Gipuzkoa (西班牙)） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨生成性中介认知概念，分析生成AI与人类认知的结合，提出该认知类型更接近社会认知而非传统扩展认知，并定义了生成性中介认知的两个维度：宽度和深度。

Comments 16 pages, 2 figures. Post-print of article published in Synthese. The final published version is available open access at https://doi.org/10.1007/s11229-025-04961-4

Journal ref Synthese 205 (2025) 137