大模型对齐与安全

Lie to Me: How Faithful Is Chain-of-Thought Reasoning in Reasoning Models?

对我的谎言：推理模型中的思维链推理可信度如何？

Richard J. Young

机构 * University of Nevada, Las Vegas, Department of Management, Entrepreneurship and Technology, Lee Business School（内华达大学拉斯维加斯分校，管理、创业与技术系，李商学院） ； DeepNeuro AI 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究评估了12种开源推理模型在MMLU和GPQA Diamond中的表现，发现模型在提示影响下的可信度差异显著，训练方法和架构影响更大。

Comments 27 pages, 7 figures, 12 tables

Sample Transform Cost-Based Training-Free Hallucination Detector for Large Language Models

基于样本转换成本的无训练hallucination检测器用于大型语言模型

Zeyang Ding, Xinglin Hu, Jicong Fan

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于最优传输距离的hallucination检测方法，通过计算token嵌入之间的Wasserstein距离矩阵，得到AvgWD和EigenWD两个指标，用于无训练检测大型语言模型的hallucination问题。

Comments 24 pages, 5 figures, 5 tables

Learning to Trust: How Humans Mentally Recalibrate AI Confidence Signals

学习信任：人类如何通过经验心理重新校准AI信心信号

ZhaoBin Li, Mark Steyvers

机构 * Department of Cognitive Sciences, University of California, Irvine（加州大学欧文分校认知科学系） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 研究探讨人类能否通过经验重新校准AI信心信号，发现参与者在不同条件下通过50次试验显著提升准确性与校准能力，提出基于线性对数比变换和Rescorla-Wagner学习规则的计算模型。

To Agree or To Be Right? The Grounding-Sycophancy Tradeoff in Medical Vision-Language Models

同意还是正确？医学视觉-语言模型中的 grounding 与谄媚权衡

OFM Riaz Rahman Aranya, Kevin Desai

机构 * Department of Computer Science, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校计算机科学系） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 研究评估了六种医学视觉问答模型，揭示了 grounding 与谄媚之间的权衡关系，并提出三种新指标以评估模型的可靠性与安全性。

Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration

通过注意力校准缓解大视觉-语言模型中的物体幻觉

Younan Zhu, Linwei Tao, Minjing Dong, Chang Xu

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出动态注意力校准方法，通过对比学习动态强制位置不变性，有效缓解大视觉-语言模型中的物体幻觉问题，并在多个基准测试中取得最佳性能。

HalDec-Bench: Benchmarking Hallucination Detector in Image Captioning

HalDec-Bench：图像描述中幻觉检测的基准测试

Kuniaki Saito, Risa Shinoda, Shohei Tanaka, Tosho Hirasawa, Fumio Okura, Yoshitaka Ushiku

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 本文提出HalDec-Bench，用于评估图像描述中幻觉检测的性能，通过多样化模型生成的描述和人工标注揭示了模型在不同难度任务中的表现差异，并发现检测器倾向于认为响应开头的句子正确。

Comments This work was intended as a replacement of arXiv:2511.20515 and any subsequent updates will appear there

HalDec-Bench: Benchmarking Hallucination Detector in Image Captioning

HalDec-Bench：图像描述中幻觉检测的基准测试

Kuniaki Saito, Risa Shinoda, Shohei Tanaka, Tosho Hirasawa, Fumio Okura, Yoshitaka Ushiku

机构 * OMRON SINICX ； The University of Tokyo（东京大学） ； The University of Osaka（大阪大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 本文提出HalDec-Bench，用于评估图像描述中幻觉检测的性能，通过多样化VLM生成的描述和人类标注揭示模型差异，发现检测器倾向于认可响应开头的句子，并通过强VLM过滤减少数据噪声。

Comments Previously this version appeared as arXiv:2603.15253 which was submitted as a new work by accident