语言大模型 / LLM

Functional Entropy: Predicting Functional Correctness in LLM-Generated Code with Uncertainty Quantification

功能熵：通过不确定性量化预测LLM生成代码的功能正确性

Dylan Bouchard, Mohit Singh Chauhan, Zeya Ahmad, Ho-Kyeong Ra

机构 * CVS Health（CVS健康） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LLM生成代码功能不正确的问题，提出基于功能等价性的不确定性量化方法（功能熵），在多个编程语言和模型上优于现有方法。

Probing for Knowledge Attribution in Large Language Models

探测大型语言模型中的知识归因

Ivo Brink, Alexander Boer, Dennis Ulmer

机构 * KPMG NL（KPMG荷兰分公司） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本文通过线性探针从隐藏表示中分类大型语言模型输出的主导知识来源（记忆或上下文），并引入自监督流水线AttriWiki生成训练数据，在多个模型和数据集上达到高F1分数。

TRACES: Proactive Safety Auditing for Multi-Turn LLM Agents via Trajectory-State Modeling

TRACES: 通过轨迹状态建模实现多轮LLM智能体的主动安全审计

Jiaqian Li, Yanshu Li, Boxuan Zhang, Ruixiang Tang, Kuan-Hao Huang

机构 * Brown University（布朗大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Rutgers University（罗格斯大学） ； Texas A&M University（德克萨斯阿姆斯特朗大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 提出TRACES方法，通过观察LLM的隐藏表示学习前缀级轨迹风险状态，实现多轮工具使用环境下的主动安全审计，提升全轨迹安全预测和主动风险判别能力。

The Ethics of LLM Sandbox and Persona Dynamics

LLM沙盒与人格动态的伦理

Tim Gebbie, Stewart Gebbie

机构 * University of Cape Town（开普敦大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文论证LLM护栏和人格动态产生的现实差距（reality gap）构成不道德的“现实洗白”（reality laundering），并提出通过任务级因果需求规范而非响应级道德修正来解决。

Comments 8 pages

Not All Uncertainty Is Equal: How Uncertainty Granularity Shapes Human Verification in LLM-Assisted Decision Making

并非所有不确定性都相同：不确定性粒度如何影响LLM辅助决策中的人类验证

Mauricio Villavicencio, Sitong Pan, Qianwen Wang

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)

AI总结 本研究通过大规模用户实验，探究LLM输出中不同粒度（输出级、关系级、词元级）的不确定性表达对用户验证行为的影响，发现词元级不确定性增加用户对AI的认同，而关系级不确定性减少外部验证。

Comments 54 pages, 36 figures, accepted by ACM FAccT 2026

Localizing Input Uncertainty Quantification for Large Language Models via Shapley Values

通过Shapley值为大型语言模型定位输入不确定性量化

Seongjun Lee, Suwan Yoon, Changhee Lee

机构 * Department of Artificial Intelligence, Korea University（韩国大学人工智能系） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI

AI总结 提出ShaQ框架，利用Shapley值将输入中的模糊跨度建模为合作博弈参与者，通过条件熵的边际减少加权平均量化每个跨度对输入不确定性的贡献，实现跨度级归因，在AmbigQA、AmbiEnt和MediTOD基准上取得最先进性能。

Comments Codes are available https://anonymous.4open.science/r/ShaQ-0E39/README.md

MetaboT: An LLM-based Multi-Agent Frameworkfor Interactive Analysis of Mass SpectrometryMetabolomics Knowledge Graphs

MetaboT：基于LLM的多智能体框架，用于质谱代谢组学知识图谱的交互式分析

Madina Bekbergenova, Lucas Pradi, Benjamin Navet, Emma Tysinger, Franck Michel, Matthieu Feraud, Yousouf Taghzouti, Yan Zhou Chen, Olivier Kirchhoffer, Florence Mehl, Martin Legrand, Tao Jiang, Marco Pagni, Soha Hassoun, Jean-Luc Wolfender, Wout Bittremieux, Fabien Gandon, Louis-Félix Nothias

机构 * Department of Computer Science, University of Antwerp（安特卫普大学计算机科学系） ； Massachusetts Institute of Technology（麻省理工学院） ； Department of Computer Science, Tufts University（塔夫茨大学计算机科学系） ； Swiss Institute of Bioinformatics (SIB), Lausanne, Switzerland（瑞士生物信息学研究所（SIB），洛桑，瑞士） ； Department of Chemical and Biological Engineering, Tufts University（塔夫茨大学化学与生物工程系） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MetaboT，一个基于大语言模型的多智能体框架，通过模块化架构将自然语言问题转化为SPARQL查询，降低代谢组学知识图谱的使用门槛。

Journal ref 33rd annual international conference on Intelligent Systems for Molecular Biology (ISMB 2025) / 24th Annual Conference of the European Conference on Computational Biology (ECCB 2025), Jul 2025, Liverpool, United Kingdom

Reverse Probing: Supervised Token-level Uncertainty Quantification for Large Language Models in Clinical Text

反向探测：临床文本中大语言模型的监督式词级不确定性量化

Bushi Xiao, Sarvesh Soni, Daisy Zhe Wang

机构 * University of Florida（佛罗里达大学） ； U.S. National Library of Medicine（美国国家医学图书馆） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出反向探测框架，利用预标注摘要从模型内部激活中提取词级不确定性信号，在临床文本中实现高效、可解释的不确定性量化。

Aligning LLMs with Human Uncertainty: A Beta-Bernoulli Calibrator for LLM Forecasting

将LLM与人类不确定性对齐：用于LLM预测的Beta-Bernoulli校准器

Hui Dai, Ryan Teehan, Parsa Torabian, Mengye Ren

机构 * Agentic Learning AI Lab（代理学习AI实验室） ； New York University（纽约大学） ； The University of Chicago（芝加哥大学） ； Chronologies AI 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Beta-Bernoulli校准器（BBC），通过结合二元结果和人类预测信号，将初始点估计转换为事件似然分布，实现校准和不确定性量化。

Risk-aware Selective Prompting for Hallucination Mitigation in Large Vision-Language Models

风险感知的选择性提示用于大型视觉-语言模型中的幻觉缓解

Yuang Huang, Yafeng Zhang, Yu Zilan

机构 * Shanghai Jiao Tong University（上海交通大学） ； iFLYTEK ； Tsinghua University（清华大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；prompting(title,abstract)；分类 cs.CL

AI总结 本文系统研究提示验证在大型视觉-语言模型中的风险，发现其效果依赖输入难度，并提出基于预生成不确定性信号的选择性提示方法RSP以平衡性能。

Comments 7 pages, 1 figures, submitted to ACL ARR 2026 May (EMNLP)

Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations

解码前拒绝：检测和利用中间LLM激活中的拒绝信号

Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

机构 * University of Padua（帕多瓦大学） ； Örebro University（欧雷布罗大学） ； Fondazione Bruno Kessler（布鲁诺·凯索基金会） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过线性探针在变压器块的残差流激活中检测拒绝行为，并提出Mechanistic AutoDAN方法，利用探针引导的遗传搜索实现高效攻击，显著降低搜索时间并保持攻击成功率。

The Well-Tempered Classifier: Some Elementary Properties of Temperature Scaling

温度缩放分类器：温度缩放的一些基本性质

Pierre-Alexandre Mattei, Bruno Loureiro

机构 * Université Côte d’Azur, Inria, CNRS, LJAD, France（法国蔚蓝海岸大学、法国国家科学研究中心、法国国家信息与自动化研究所、里约达实验室） ； Département d’Informatique, École Normale Supérieure - PSL, CNRS, France（法国高等科学研究院信息学院、法国国家科学研究中心、法国） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过信息投影和线性缩放子模型等新视角，严格分析了温度缩放对分类器校准和LLM多样性的影响，证明升温普遍增加不确定性但质疑其增加多样性的说法。

Where Does Toxicity Live? Mechanistic Localization and Targeted Suppression in Language Models

毒性存在于何处？语言模型中的机制定位与定向抑制

Himanshu Beniwal, Mayank Singh

机构 * Indian Institute of Technology Gandhinagar（印度理工学院冈德辛加尔） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过分析毒性与中性提示的激活差异，定位特定层和神经元中的毒性，并利用推理时缩放或最小秩一权重编辑进行抑制，无需梯度下降，实现毒性降低同时保持语言质量。

Hallucination Behavior in Multimodal LLMs Across Agricultural Image Interpretation and Generation Tasks

多模态大语言模型在农业图像解释与生成任务中的幻觉行为

Partho Ghose, Al Bashir, Prem Raj, Azlan Zahid

机构 * Texas A&M University System（德克萨斯大学系统） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究系统评估了多模态大语言模型在农业图像解释（图像到文本）和生成（文本到图像）任务中的幻觉行为，发现模型存在生物不一致、上下文不准确和农学不合理等错误模式，并通过少样本提示等方法分析了幻觉的残留影响。

REC-CBM: Rubric-Aware Error-Correction Concept Bottleneck Models for Trustworthy Open-Ended Grading

REC-CBM：面向可信开放评分的基于规则感知的错误修正概念瓶颈模型

Chengshuai Zhao, Fan Zhang, Kumar Satvik Chaudhary, Yiwen Li, Lo Pang-Yun Ting, Ying-Chih Chen, Huan Liu

机构 * School of Computing and Augmented Intelligence, Arizona State University, USA（计算与增强智能学院，亚利桑那州立大学，美国） ； Mary Lou Fulton Teachers College, Arizona State University, USA（玛丽·卢·福洛顿教师学院，亚利桑那州立大学，美国） ； Department of Computer Science, National Yang Ming Chiao Tung University, TW（国立阳明交通大学计算机科学系，台湾） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出REC-CBM模型，通过规则感知概念编码器、序数成对校准目标和潜在概念错误修正模块，解决开放评分中标准概念瓶颈模型无法建模细粒度规则维度、忽略评分序数语义和概念标注不可靠的问题，在提升评分性能的同时保持可解释性。

Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context

预测市场中的立场检测：通过反事实增强和市场上下文解决交易者评论不平衡问题

Thomas Mbrice

机构 * Department of Computer Science（计算机科学系） ； Stony Brook University（石溪大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 针对预测市场评论中极端不平衡的立场检测问题，提出结合市场上下文和LLM驱动的反事实增强方法，显著提升了少数类（反对立场）的召回率和F1值。

Comments 14 pages, 9 figures

KT4EQG: Personalized Exercise Question Generation via Knowledge Tracing

KT4EQG: 通过知识追踪实现个性化习题生成

Xinyi Gao, Qiucheng Wu, Lu Ding, Q. Vera Liao, Kaizhi Qian, Ying Xu, Shiyu Chang, Yang Zhang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； University of South Alabama（南方大学） ； University of Michigan（密歇根大学） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； Harvard University（哈佛大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出KT4EQG框架，利用知识追踪模型选择最合适的概念，并训练基于LLM的题目生成器，以生成个性化习题，实验证明其有效性。

The Attentional White Bear Effect in Transformer Language Models

Transformer语言模型中的注意力白熊效应

Rebecca Ramnauth, Brian Scassellati

机构 * Yale University（耶鲁大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过表征探测、注意力分析和行为语义泄露实验，发现指令抑制下Transformer语言模型仍能恢复被禁止概念的表征并影响后续生成，揭示了行为对齐与表征对齐之间的根本差距。

Comments Currently under review at EMNLP 2026

The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models

Transformer的语法：语言模型中句法知识可解释性研究的系统综述

Nora Graichen, Iria de-Dios-Flores, Gemma Boleda

机构 * Universitat Pompeu Fabra（巴塞罗那庞培乌法布拉大学） ； ICREA（加泰罗尼亚国家研究委员会） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过对337篇文章的系统综述，评估基于Transformer的语言模型（TLM）的句法能力，发现TLM编码了非平凡的句法知识，但句法-语义接口现象表现较弱，且研究集中在英语和BERT类模型上。

High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models

高性能，低可靠性：表格基础模型的不确定性基准测试

José Lucas De Melo Costa, Fabrice Popineau, Arpad Rimmel, Bich-Liên Doan

机构 * CentraleSupélec（中央理工大学） ； ENS Paris-Saclay（巴黎-萨克雷大学） ； Université Paris-Saclay（巴黎-萨克雷大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 通过TALENT基准测试，发现表格基础模型虽在预测性能上优于梯度提升决策树，但在不确定性校准上表现更差，存在性能-不确定性权衡。

Comments 6 pages, 2 figures, 2 tables. Accepted at ESANN 2026 (European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning), 22-24 April 2026, Bruges (Belgium)

Journal ref ESANN 2026 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, Bruges (Belgium) and online event, 22-24 April 2026, pp. 115-120, i6doc.com publ., ISBN 9782875870964

Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment

跨描绘装配指令对齐的视觉-语言模型基准测试与机制分析

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University（阿alto大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 构建IKEA-Bench基准，评估19个视觉-语言模型在装配图与视频帧对齐任务上的表现，发现视觉编码是提升跨描绘鲁棒性的关键瓶颈。

Which Pretraining Paradigm Better Serves Spatial Intelligence? An Empirical Comparison of Vision-Language and Video Generation Models

哪种预训练范式更有利于空间智能？视觉-语言模型与视频生成模型的实证比较

Haozhan Shen, Tiancheng Zhao, Kangjia Zhao, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Om AI Research（Om人工智能研究） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） 纠错

专题命中 知识编辑与模型理解 ：pretraining(title)；language model(abstract)

AI总结 本文通过冻结特征探测研究，系统比较了视觉-语言模型（VLM）和视频生成模型（VGM）在语义标注、实例分组和3D几何预测三个空间智能维度上的表现，发现两者互补且简单融合可提升整体性能。

Comments Code is here: \href{https://github.com/om-ai-lab/Probing-VLM-VGM}{https://github.com/om-ai-lab/Probing-VLM-VGM}

Information-theoretic Multimodal Representation Learning for Electrocardiogram Signals

基于信息论的心电图信号多模态表示学习

Phu X. Nguyen, Konstantinos Kontras, Wei Dai, Huy Phan, Christos Chatzichristos, Paul Pu Liang, Bert Vandenberk, Maarten De Vos

机构 * KU Leuven（库勒芬大学） ； University Hospitals Leuven（鲁文大学医院） ； MIT（麻省理工学院） ； DFKI（德国达姆施塔特研究所） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出MERIT框架，通过信息论视角结合掩码心电图建模与心电图-文本对比对齐，学习保留信号结构并整合临床语义的心电图表示，在分类、零样本和文本生成任务中取得一致提升。

Probing Social Identity Bias in Chinese LLMs with Gendered Pronouns and Social Groups

探究中文大语言模型中的社会身份偏见：基于性别代词与社会群体

Geng Liu, Feng Li, Junjie Mu, Mengxiao Zhu, Francesco Pierri

机构 * Department of Electronics, Information and Bioengineering, Politecnico di Milano（电子、信息与生物工程系，米兰理工大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 通过设计考虑中文语言特性的提示，评估十种代表性中文大语言模型在240个社会群体上的内群体与外群体框架下的情感和毒性偏见，发现系统性不对称且指令调优减少情感偏见但毒性差距更持久，女性标记代词与更高毒性相关。

Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering

超越可解释性：稀疏自编码器何时、为何以及如何实现无标签视觉引导

Gerasimos Chatzoudis, Zhuowei Li, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas

机构 * Department of Computer Science, Rutgers University（罗格斯大学计算机科学系） ； Department of Statistics, Rutgers University（罗格斯大学统计系） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出无标签视觉稀疏引导方法VS2，通过训练稀疏自编码器并利用其重构误差和稀疏特征放大来引导冻结的视觉语言模型，在九个图像分类数据集上提升零样本准确率。

Mechanistically Interpreting the Role of Sample Difficulty in RLVR for LLMs

机制性解释样本难度在RLVR中对大语言模型的作用

Yue Cheng, Jiajun Zhang, Xiaohui Gao, Weiwei Xing, Zheng Wang, Zhanxing Zhu

机构 * Beijing Jiaotong University（北京交通大学） ； AntGroup（蚂蚁集团） ； Northwestern Polytechnical University（西北工业大学） ； University of Leeds（利兹大学） ； University of Southampton（南安普顿大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过难度维度和单样本分析，发现样本难度对RLVR有非单调影响，中等难度问题提供最稳定的推理改进，并基于此提出难度自适应策略。

Comments 30 pages, 11 figures

Rethinking Visual Neglect: Steering via Context-Preference for MLLM Hallucination Mitigation

重新思考视觉忽视：通过上下文偏好引导缓解MLLM幻觉

Jingwen Wu, Xijun Zhang, Ge Song

机构 * School of Computer and Electronic Information, Nanjing Normal University（计算机与电子信息学院，南京师范大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型的物体幻觉问题，提出无需训练的上下文偏好激活引导框架（CAS），通过提取上下文偏好向量并在中间早期MLP层注入符号残差来控制信息依赖，有效缓解幻觉且不增加解码延迟。

Comments 15 pages, 5 figures

Cyclical Entropy Eruption: Entropy Dynamics in Agent Reinforcement Learning

循环熵爆发：智能体强化学习中的熵动力学

Wendi Li, Shawn Im, Sharon Li

机构 * Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文发现智能体强化学习训练中存在循环熵爆发现象，并提出了SEAL辅助损失函数来稳定训练、提升性能。

Chain-based Adaptive Reconfiguration Over Lattices for Hallucination Reduction

基于格点链式自适应重配置以减少幻觉

Joan Vendrell Gallart, Solmaz Kia, Russell Bent, Michael Grosskopf

机构 * Department of Mechanical and Aerospace University of California Irvine（机械与航空航天系加州大学伊文斯顿分校） ； Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CAROL框架，通过定义语义不确定性度量并在文本序列格点上构建串子模目标，将幻觉缓解转化为马尔可夫链接受-拒绝过程，实现测试时幻觉减少。

Linear Causal Representation Learning by Topological Ordering, Pruning, and Disentanglement

通过拓扑排序、剪枝和解缠的线性因果表示学习

Hao Chen, Lin Liu, Yu Guang Wang

机构 * School of Mathematical Sciences, Shanghai Jiao Tong University, Shanghai, China（上海交通大学数学科学学院） ； Institute of Natural Sciences, MOE--LSC（教育部-上海交大联合实验室） ； SJTU--Yale Joint Center for Biostatistics（上海交大-耶鲁大学生物统计联合中心） ； Data Science, Shanghai Jiao Tong University, Shanghai, China（上海交通大学数据科学） ； Bio--X Institutes, Shanghai Jiao Tong University, Shanghai, China（上海交通大学Bio-X研究院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一种在更弱假设下通过拓扑排序、剪枝和解缠恢复线性因果表示的新算法，并通过合成实验和大语言模型可解释性分析验证其有效性。