大模型对齐与安全

Measuring Aleatoric and Epistemic Uncertainty in LLMs: Empirical Evaluation on ID and OOD QA Tasks

Kevin Wang, Subre Abdoul Moktar, Jia Li, Kangshuo Li, Feng Chen

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

Comments Accepted by UDM-KDD'24

When to Trust the Answer: Question-Aligned Semantic Nearest Neighbor Entropy for Safer Surgical VQA

Dennis Pierantozzi, Luca Carlini, Mauro Orazio Drago, Chiara Lena, Cesare Hassan, Elena De Momi, Danail Stoyanov, Sophia Bano, Mobarak I. Hoque

机构 * IRCCS Humanitas Research Hospital（Humanitas研究医院） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

LGCA: Enhancing Semantic Representation via Progressive Expansion

Thanh Hieu Cao, Trung Khang Tran, Gia Thinh Pham, Tuong Nghiem Diep, Thanh Binh Nguyen

机构 * University of Science, Vietnam National University Ho Chi Minh City, Vietnam（越南胡志明市国家大学科学大学） ； National University of Singapore, Singapore（新加坡国立大学） ； AISIA Lab, Ho Chi Minh City, Vietnam（越南胡志明市AISIA实验室） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

Comments 15 pages, 5 figures, to appear in SoICT 2025

Decoupling Contrastive Decoding: Robust Hallucination Mitigation in Multimodal Large Language Models

Wei Chen, Xin Yan, Bin Wen, Fan Yang, Tingting Gao, Di Zhang, Long Chen

机构 * HKUST（香港科技大学） ； University of Waterloo（滑铁卢大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 幻觉与事实性 ：DPO(abstract)；分类 cs.LG

Comments 17 pages, 4 figures

Seeing Sarcasm Through Different Eyes: Analyzing Multimodal Sarcasm Perception in Large Vision-Language Models

Junjie Chen, Xuyang Liu, Subin Huang, Linfeng Zhang, Hang Yu

机构 * Anhui Polytechnic University (AHPU)（安徽工程大学） ； Shanghai University (SHU)（上海大学） ； Shanghai Jiao Tong University (SJTU)（上海交通大学） ； Sichuan University (SCU)（四川大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models

Anushka Sivakumar, Andrew Zhang, Zaber Hakim, Chris Thomas

机构 * Department of Computer Science（计算机科学系） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

Filtering instances and rejecting predictions to obtain reliable models in healthcare

Maria Gabriela Valeriano, David Kohan Marzagão, Alfredo Montelongo, Carlos Roberto Veiga Kiffer, Natan Katz, Ana Carolina Lorena

机构 * Instituto de Computação（计算研究所） ； Universidade Estadual de Campinas（Campinas州立大学） ； Department of Informatics（信息学院） ； King’s College London（伦敦国王学院） ； Núcleo de Telessaúde（远程医疗中心） ； Universidade Federal do Rio Grande do Sul（鲁汶联邦大学） ； Escola Paulista de Medicina（巴西圣保罗医学学院） ； Universidade Federal de São Paulo（圣保罗联邦大学） ； Divisão de Ciência da Computação（计算机科学部） ； Instituto Tecnológico de Aeronáutica（航空技术研究所） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

Comments This paper is under review at Machine Learning (Springer)

The Confidence Paradox: Can LLM Know When It's Wrong

Sahil Tripathi, Md Tabrez Nafis, Imran Hussain, Jiechao Gao

机构 * Jamia Hamdard（贾迈亚哈姆达德大学） ； Center for SDGC, Stanford University（SDGC中心，斯坦福大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

Comments Accepted at the 14th IJCNLP & 4th AACL 2025 (Main)

Does In-IDE Calibration of Large Language Models work at Scale?

Roham Koohestani, Agnia Sergeyuk, David Gros, Claudio Spiess, Sergey Titov, Prem Devanbu, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） ； JetBrains Research（JetBrains研究） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

Comments Under Review

Improving Predictive Confidence in Medical Imaging via Online Label Smoothing

Kushan Choudhury, Shubhrodeep Roy, Ankur Chanda, Shubhajit Biswas, Somenath Kuiry

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.LG

Comments Accepted and presented in International Conference on Advancing Science and Technologies in Health Science

A Framework for the Adoption and Integration of Generative AI in Midsize Organizations and Enterprises (FAIGMOE)

Abraham Itzhak Weinberg

机构 * AI-WEINBERG, AI Experts（AI-WEINBERG人工智能专家） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

JointCQ: Improving Factual Hallucination Detection with Joint Claim and Query Generation

Fan Xu, Huixuan Zhang, Zhenliang Zhang, Jiahao Wang, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学） ； Trustworthy Technology and Engineering Laboratory, Huawei（可信技术与工程实验室，华为） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.CL

LLM-Enhanced Black-Litterman Portfolio Optimization

Youngbin Lee, Yejin Kim, Juhyeong Kim, Suin Kim, Yongjae Lee

机构 * Elice AI Quant Lab, MODULABS Seoul Republic of Korea ； Meritz Fire \& Marine Insurance AI Quant Lab, MODULABS Seoul Republic of Korea ； Mirae Asset Global Investments AI Quant Lab, MODULABS Seoul Republic of Korea ； Ulsan National Institute of Science ； Elice AI Quant Lab, MODULABS ； Meritz Fire \& Marine Insurance AI Quant Lab, MODULABS ； Mirae Asset Global Investments AI Quant Lab, MODULABS 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

Comments Presented at the CIKM 2025 Workshop on Financial AI (https://advancesinfinancialai.com/)

Conformal Prediction in The Loop: A Feedback-Based Uncertainty Model for Trajectory Optimization

Han Wang, Chao Ning

机构 * School of Automation and Intelligent Sensing（自动化与智能感知学院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2025 Main Track

Utilising Large Language Models for Generating Effective Counter Arguments to Anti-Vaccine Tweets

Utsav Dhanuka, Soham Poddar, Saptarshi Ghosh

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

Comments 14 pages, 1 figure, work done as a part of B.Tech project at IIT Kharagpur

Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation

Zhiqi Huang, Vivek Datla, Chenyang Zhu, Alfy Samuel, Daben Liu, Anoop Kumar, Ritesh Soni

机构 * Capital One 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.CL

Comments UncertaiNLP at EMNLP 2025

From Perception to Cognition: A Survey of Vision-Language Interactive Reasoning in Multimodal Large Language Models

Chenyue Zhou, Mingxuan Wang, Yanbiao Ma, Chenxu Wu, Wanyi Chen, Zhe Qian, Xinyu Liu, Yiwei Zhang, Junhao Wang, Hengbo Xu, Fei Luo, Xiaohua Chen, Xiaoshuai Hao, Hehan Li, Andi Zhang, Wenxuan Wang, Kaiyan Zhang, Guoli Jia, Lingling Li, Zhiwu Lu, Yang Lu, Yike Guo

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Xiamen University（厦门大学） ； The Hong Kong University of Science and Technology（香港理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

Reasoning on a Spectrum: Aligning LLMs to System 1 and System 2 Thinking

Alireza S. Ziabari, Nona Ghazizadeh, Zhivar Sourati, Farzan Karimi-Malekabadi, Payam Piray, Morteza Dehghani

机构 * University of Southern California（南加州大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

DSCD: Large Language Model Detoxification with Self-Constrained Decoding

Ming Dong, Jinkui Zhang, Bolong Zheng, Xinhui Tu, Po Hu, Tingting He

机构 * Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning（湖北人工智能与智能学习省级重点实验室） ； National Language Resources Monitoring and Research Center for Network Media（网络媒体语言资源监测与研究国家中心） ； Central China Normal University（中央财经大学） ； Wuhan University of Technology（武汉理工大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL

Comments Accepted at EMNLP 2025 MainConference

CoRGI: Verified Chain-of-Thought Reasoning with Post-hoc Visual Grounding

Shixin Yi, Lin Shang

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

Comments The paper is not yet mature and needs further improvement

From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization

Beining Wang, Weihang Su, Hongtao Tian, Tao Yang, Yujia Zhou, Ting Yao, Qingyao Ai, Yiqun Liu

机构 * Tsinghua University（清华大学） ； Tencent Inc（腾讯公司） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

Analyzing Data Quality and Decay in Mega-Constellations: A Physics-Informed Machine Learning Approach

Katarina Dyreby, Francisco Caldas, Cláudia Soares

机构 * FCT-UNL, Portugal（葡萄牙FCT-UNL） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

Comments 76th International Astronautical Congress

Learning from Disagreement: A Group Decision Simulation Framework for Robust Medical Image Segmentation

Chen Zhong, Yuxuan Yang, Xinyue Zhang, Ruohan Ma, Yong Guo, Gang Li, Jupeng Li

机构 * School of Electronics and Information Engineering, Beijing Jiaotong University, China（电子信息工程学院，北京交通大学） ； Peking University School and Hospital of Stomatology, China（北京大学口腔医院） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

Attention Consistency for LLMs Explanation

Tian Lan, Jinyuan Xu, Xue He, Jenq-Neng Hwang, Lei Li

机构 * Milkuya Studio（Milkuya工作室） ； ERTIM, INALCO（ERTIM与INALCO） ； Sorbonne University（索邦大学） ； IRD（国家农业与食品研究所） ； University of Washington（华盛顿大学） ； VitaSight 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.CL

Grounded AI for Code Review: Resource-Efficient Large-Model Serving in Enterprise Pipelines

Sayan Mandal, Hua Jiang

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

Comments Submitted to MLSys 2026

Don't Throw Away Your Pretrained Model

Shangbin Feng, Wenhao Yu, Yike Wang, Hongming Zhang, Yulia Tsvetkov, Dong Yu

机构 * University of Washington（华盛顿大学） ； Tencent AI Seattle Lab（腾讯AI西雅图实验室） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

PrivATE: Differentially Private Confidence Intervals for Average Treatment Effects

Maresa Schröder, Justin Hartenstein, Stefan Feuerriegel

机构 * LMU Munich（慕尼黑莱茵河大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Stanford University（斯坦福大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

Augmenting Compliance-Guaranteed Customer Service Chatbots: Context-Aware Knowledge Expansion with Large Language Models

Mengze Hong, Chen Jason Zhang, Di Jiang, Yuanqin He

机构 * Hong Kong Polytechnic University（香港理工大学） ； AI Group, WeBank Co., Ltd（WeBank金融科技部） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

Comments Accepted by EMNLP 2025 Industry Track

Revisiting Hallucination Detection with Effective Rank-based Uncertainty

Rui Wang, Zeming Wei, Guanzhang Yue, Meng Sun

机构 * Peking University（北京大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

UNCLE: Benchmarking Uncertainty Expressions in Long-Form Generation

Ruihan Yang, Caiqi Zhang, Zhisong Zhang, Xinting Huang, Dong Yu, Nigel Collier, Deqing Yang

机构 * Fudan University（复旦大学） ； University of Cambridge（剑桥大学） ； Tencent AI Lab（腾讯AI实验室） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

Comments EMNLP 2025 Main