大模型对齐与安全

VSCBench: Bridging the Gap in Vision-Language Model Safety Calibration

Jiahui Geng, Qing Li, Zongxiong Chen, Yuxia Wang, Derui Zhu, Zhuohan Xie, Chenyang Lyu, Xiuying Chen, Preslav Nakov, Fakhri Karray

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； Fraunhofer Institute for Open Communication Systems（弗劳恩霍夫开放通信系统研究所） ； Technical University of Munich（慕尼黑技术大学） ； Alibaba International Digital Commerce（阿里巴巴国际数字商务） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

ConTrans: Weak-to-Strong Alignment Engineering via Concept Transplantation

Weilong Dong, Xinwei Wu, Renren Jin, Shaoyang Xu, Deyi Xiong

专题命中 幻觉与事实性 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

Multi-Objective Alignment of Large Language Models Through Hypervolume Maximization

Subhojyoti Mukherjee, Anusha Lalitha, Sailik Sengupta, Aniket Deshmukh, Branislav Kveton

专题命中 幻觉与事实性 ：alignment(title,abstract)；harmlessness(abstract)；分类 cs.LG

The Need for Guardrails with Large Language Models in Medical Safety-Critical Settings: An Artificial Intelligence Application in the Pharmacovigilance Ecosystem

Joe B Hakim, Jeffery L Painter, Darmendra Ramcharran, Vijay Kara, Greg Powell, Paulina Sobczak, Chiho Sato, Andrew Bate, Andrew Beam

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.CY

Comments 27 pages, 6 figures, 4 tables and supplementary material provided

LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI

LegalHalluLens: 类型化幻觉审计与校准的多智能体辩论以实现可信赖的法律AI

Lalit Yadav, Akshaj Gurugubelli

机构 * Independent Researcher, Sunnyvale, CA, USA（独立研究者，美国加州太阳谷） ； Independent Researcher, San Diego, CA, USA（独立研究者，美国加州圣地亚哥） 纠错

专题命中 幻觉与事实性 ：trustworthy(title,abstract)；分类 cs.CL、cs.AI、cs.LG；safety(comments)

AI总结 针对法律AI中聚合指标掩盖的错误集中性和方向性问题，提出LegalHalluLens审计框架，通过类型化幻觉画像、风险方向指数（RDI）和校准辩论管道，将幻觉检测减少45%，并揭示聚合指标隐藏的失败模式。

Comments 15 pages, 5 figures; Published at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026

Citation Grounding Measures the Oracle: Graph Coverage Determines Reported LLM Hallucination Rates in Law

引用溯源：通过法律引用图检测和减少LLM引用幻觉

Volodymyr Ovcharov

机构 * LEX AI LLC 纠错

专题命中 幻觉与事实性 ：DPO(summary_cn,abstract_cn)；trustworthy(abstract)；分类 cs.CL

AI总结 提出引用溯源（CG）指标，利用乌克兰法院判决的引用图（1.008亿判决，5.02亿边）检测LLM法律引用幻觉，并通过CG-DPO方法（基于真实判决构建偏好对）减少幻觉，在100个法律查询上CG为0.791-0.873，幻觉率13-21%。

Comments 21 pages, 4 figures, 5 tables. Substantially revised: title, framing and several v1 results changed. Adds a coverage sweep and a separability analysis; corrects the DPO configuration, the density-accuracy correlation and the qualitative examples. Code and data: https://huggingface.co/datasets/overthelex/citation-grounding-eval

Latent Confidence Alignment for LLM Self-Assessment

潜在置信对齐用于大语言模型自我评估

Ting-Yu Chen, Tingting Yu, Pei-Cing Huang, Chan Hsu, Ming-Yen Lin, Yihuang Kang

机构 * Department of Information Management（信息管理系） ； National Sun Yat-Sen University（国立中山大学） ； Kaohsiung Medical University Hospital（高雄医学大学附设医院） ； Kaohsiung Medical University（高雄医学大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出基于Rasch模型的潜在置信对齐误差（LCAE）来评估LLM自我评估与潜在错误概率的一致性，并引入项目难度作为外部信号，实验表明该方法在不影响模型能力的情况下提升自我评估质量。

Comments 2026 IEEE 27th International Conference on Information Reuse and Integration for Data Science

BOOKAGENT: Orchestrating Safety-Aware Visual Narratives via Multi-Agent Cognitive Calibration

BOOKAGENT：通过多智能体认知校准 orchestrate 安全意识的视觉叙述

Bo Gao, Chang Liu, Yuyang Miao, Siyuan Ma, Ser-Nam Lim

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Science and Technology of China（中国科学技术大学） ； Imperial College London（伦敦帝国理工学院） ； Nanyang Technological University（南洋理工大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；alignment(abstract)

AI总结 本文提出BOOKAGENT，一种安全意识的多智能体协作框架，用于高质量的视觉叙述生成，通过联合规划、脚本、插图和全局修复不一致，提升叙述连贯性和视觉一致性。

Comments 18 pages, Accepted by ACL 2026

LLMs as Strategic Actors: Behavioral Alignment, Risk Calibration, and Argumentation Framing in Geopolitical Simulations

大语言模型作为战略行为体：地缘政治模拟中的行为对齐、风险校准与论证框架

Veronika Solopova, Viktoria Skorik, Maksym Tereshchenko, Alina Haidun, Ostap Vykhopen

机构 * Mantisanalytics 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文研究了大语言模型在地缘政治模拟中的行为表现，发现其在初期能模拟人类决策，但随时间推移表现出不同的策略特征，且在论证框架上偏向规范性与合作性。

Sliced-Wasserstein Distribution Alignment Loss Improves the Ultra-Low-Bit Quantization of Large Language Models

切片瓦瑟斯坦分布对齐损失提高了大语言模型的超低比特量化

Deyu Cao, Yixin Yin, Samin Aref

机构 * Department of Information and Communication Engineering, The University of Tokyo（信息与通信工程系，东京大学） ； Department of Computer Science, University of Toronto（计算机科学系，多伦多大学） ； Department of Mechanical and Industrial Engineering, University of Toronto（机械与工业工程系，多伦多大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 切片瓦瑟斯坦分布对齐损失通过提升超低比特量化性能，有效恢复模型准确性。

Comments Post-peer-review accepted manuscript, 17 pages including the supplementary information

MultiMind at SemEval-2025 Task 7: Crosslingual Fact-Checked Claim Retrieval via Multi-Source Alignment

多思维在SemEval-2025任务7中的应用：通过多源对齐实现跨语言事实核查声明检索

Mohammad Mahdi Abootorabi, Alireza Ghahramani Kure, Mohammadali Mohammadkhani, Sina Elahimanesh, Mohammad Ali Ali Panah

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TriAligner通过多源对齐和对比学习，实现跨语言事实核查声明的高效检索，提升多语言环境下的信息准确性。

Comments 11 pages Published at the SemEval-2025 workshop

Mitigating Object and Action Hallucinations in Multimodal LLMs via Self-Augmented Contrastive Alignment

通过自增强对比对齐缓解多模态大语言模型中的对象和动作幻觉

Kai-Po Chang, Wei-Yuan Cheng, Chi-Pin Huang, Fu-En Yang, Yu-Chiang Frank Wang

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究所） ； NVIDIA 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SANTA框架通过自增强对比对齐方法，有效缓解多模态大语言模型中的对象和动作幻觉问题。

Comments IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026. Project page: https://kpc0810.github.io/santa/

HalluGraph: Auditable Hallucination Detection for Legal RAG Systems via Knowledge Graph Alignment

HalluGraph: 通过知识图谱对齐实现法律RAG系统的可审计性幻觉检测

Valentin Noël, Elimane Yassine Seidou, Charly Ken Capo-Chichi, Ghanem Amari

机构 * Devoteam 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HalluGraph通过知识图谱对齐技术，为法律RAG系统提供可审计的幻觉检测，实现高精度的实体定位和关系验证，提升法律应用场景的可靠性。

Comments 8 pages, 4 figures, under review

Dropouts in Confidence: Moral Uncertainty in Human-LLM Alignment

Jea Kwon, Luiz Felipe Vecchietti, Sungwon Park, Meeyoung Cha

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.CY

Comments Accepted to AAAI 2026

Reasoning's Razor: Reasoning Improves Accuracy but Can Hurt Recall at Critical Operating Points in Safety and Hallucination Detection

Atoosa Chegini, Hamid Kazemi, Garrett Souza, Maria Safi, Yang Song, Samy Bengio, Sinead Williamson, Mehrdad Farajtabar

机构 * Apple（苹果公司） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning

Stephan Rabanser

专题命中 幻觉与事实性 ：trustworthy(title)；safety(abstract)；分类 cs.AI、cs.CY、cs.LG

Comments PhD Thesis

Nudging: Inference-time Alignment of LLMs via Guided Decoding

Yu Fei, Yasaman Razeghi, Sameer Singh

机构 * Department of Computer Science University of California Irvine（计算机科学系，加州大学伊文斯顿分校） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to ACL 2025 (main)

Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU

Àlex Pujol Vidal, Sergio Escalera, Kamal Nasrollahi, Thomas B. Moeslund

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Preprint

Spectral Editing of Activations for Large Language Model Alignment

Yifu Qiu, Zheng Zhao, Yftah Ziser, Anna Korhonen, Edoardo M. Ponti, Shay B. Cohen

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 24 pages, NeurIPS 2024

Reformatted Alignment

Run-Ze Fan, Xuefeng Li, Haoyang Zou, Junlong Li, Shwai He, Ethan Chern, Jiewen Hu, Pengfei Liu

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Homepage: https://gair-nlp.github.io/ReAlign/

Rethinking Uncertainty Evaluation in Large Language Models

重新思考大语言模型中的不确定性评估

Krish Matta, Atharv Naphade, Andy Zou

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta 纠错

专题命中 幻觉与事实性 ：RLHF(summary_cn,abstract)；分类 cs.AI

AI总结 研究大语言模型中置信度评估问题，指出校准标准不充分。沿结构连贯性、忠实性和有用性三个轴形式化条件为C1指标，发现常用估计器违反条件，RLHF等未恢复连贯性，框架可测度与弥合差距。

Comments 19 pages, 11 figures, ICML 2026 EIML Workshop

Mitigating Manifold Departure: Uncertainty-Aware Subspace Rectification for Trustworthy MLLM Decoding

缓解流形偏离：面向可信MLLM解码的不确定性感知子空间校正

Yingxuan Zhuang, Jingxiao Yang, Miao Pan, Cheng Tan, Yuxiang Cai, Siwei Tan, Chen Zhi, Xuhong Zhang, Jianwei Yin, Jintao Chen

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(title)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出MGAP方法，通过SVD构建语言先验子空间并自适应衰减投影分量，在抑制幻觉的同时保持语义结构，优于现有解码基线。

Comments ICML 2026 regular

CARE: A Conformal Safety Layer for Medical Summarization

CARE：面向医学摘要的保形安全层

Suhana Bedi, Bridget Lin, Anson Y. Zhou, Chloe O. Stanwyck, Jenelle A. Jindal, Sanmi Koyejo, David Stutz, Nigam H. Shah

机构 * Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出CARE方法，通过保形风险控制为LLM医学摘要提供校准的遗漏和幻觉标记，在保证安全性的同时减少审查负担。

Comments 29 pages, 5 figures

Auditing Proprietary Alignment in Large Language Models: A Comparative Framework Without a Ground-Truth Standard

审计大型语言模型中的专有对齐：一种无需真实标准的比较框架

Alireza Arbabi, Florian Kerschbaum

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一种统计框架，通过比较目标模型与基线模型在共享语义空间中的响应偏差，检测黑盒语言模型中的专有对齐行为，无需真实标准即可实现外部审计。

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Ghosted Layers: 无约束激活对齐用于恢复层剪枝的LLM

Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

机构 * University of Southern California（南加州大学） ； Inha University（inha大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ghosted Layers方法，通过无约束优化解决层剪枝后激活分布不匹配问题，提升LLM准确性和 perplexity 而不牺牲效率。

Harnessing Structural Context for Entity Alignment Foundation Models

利用结构上下文进行实体对齐基础模型

Xingyu Chen, Yuanning Cui, Zequn Sun, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室） ； Nanjing University of Information Science and Technology, Nanjing, China（南京信息科学技术大学） ； National Institute of Healthcare Data Science, Nanjing University, Nanjing, China（南京大学健康数据科学国家研究院） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出ContextEA框架，通过交叉KG交互编码器和结构校准解码器增强结构上下文的构建与利用，在29个数据集上超越强基线，实现更强的跨KG迁移能力。

Hallucinations as Orthogonal Noise: Inference-Time Manifold Alignment via Dynamic Contextual Orthogonalization

幻觉作为正交噪声：通过动态上下文正交化实现推理时流形对齐

Mingkuan Zhao, Wentao Hu, Tianchen Huang, Yuheng Min, Suquan Chen, Yide Gao, Yanbo Zhai, Shuangyong Song, Xuelong Li

机构 * Xi’an Jiaotong University（西安交通大学） ； Xingchen AGI Lab（星辰AGI实验室） ； China Telecom AI Technology (Beijing) Co., Ltd.（中国电信人工智能技术（北京）有限公司） ； Institute of Artificial Intelligence, China Telecom（中国电信人工智能研究院） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一种基于线性表示假设的几何框架，将大语言模型幻觉解释为残差流语义流形的正交噪声，并引入推理时干预方法动态上下文正交化（DCO），通过层间Z分数抑制机制选择性地衰减异常正交分量，在保持知识记忆的同时提升上下文忠实度。

Human-Alignment, Calibration, and Activation Patterns in Large Language Model Uncertainty

大型语言模型不确定性中的人类对齐、校准与激活模式

Kyle Moore, Jesse Roberts, Daryl Watson, William Ward, Grayson Heyboer

机构 * Vanderbilt University（范德比大学） ； Tennessee Technological University（田纳西技术大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大型语言模型的不确定性与人类不确定性的相似性，通过分析行为与内部激活模式，发现模型在多项选择和开放式事实回忆数据集上同时存在对齐与校准，并描述了指令微调的影响。

Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

大型语言模型中推理时间不确定性的人类对齐与校准

Kyle Moore, Jesse Roberts, Daryl Watson

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文评估了多种推理时间不确定性度量，发现它们与人类群体不确定性高度对齐，尽管与人类答案偏好不一致，但在正确性相关性和分布分析上表现出中等到强校准证据。

Comments We have discovered a critical error in the normalized entropy calculation that may have substantially inflated nearly all results herein. We have since fixed this error in a new work, but we believe that the new work is sufficiently dissimilar in focus, methods, dataset, and results as to be misleading if presented as a simple replacement. As such, we propose removal and retraction instead

ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models

ORCE：面向大型语言模型中明确自信度的顺序感知对齐

Chen Li, Xiaoling Hu, Songzhu Zheng, Jiawei Zhou, Chao Chen

机构 * Stony Brook University（石溪大学） ； Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院） ； Morgan Stanley（摩根大通） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种解耦且顺序感知的明确自信度校准框架，通过分离自信度估计与答案生成过程，提升校准和失败预测性能，同时保持答案准确性。

Comments 18 pages, 2 figures