大模型对齐与安全

SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment

SAGE: 面向言语不确定性对齐的答案条件不确定性目标

Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出SAGE目标，通过答案条件不确定性几何从模型采样响应中构建群组级不确定性目标，结合GUPO训练框架优化言语不确定性表达，在多项推理任务中提升不确定性排序、降低校准误差和过度自信。

Benchmarking Large Language Models for Safety Data Extraction

大型语言模型在安全数据提取中的基准测试

Jonas Grill, Thomas Bayer, Sören Berlinger

机构 * SAP SE（SAP公司） ； Institute for Digital Transformation, Ravensburg-Weingarten University（拉文斯堡-魏恩加滕大学数字化转型研究所） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.CL

AI总结 针对安全数据表（SDS）的异构格式，本研究基准测试了四种大型语言模型（LLM）在文本与多模态处理下的提取性能，发现文本结合思维链提示的Gemini 1.5 Pro准确率最高（84%），但均未达到90%的可靠部署阈值。

Comments 18 pages, 8 figures, submitted to Applied Intelligence

Measuring Semantic Progress in Multi-turn Dialogue via Information Gain

通过信息增益衡量多轮对话中的语义进展

Paul He, Shiva Kasiviswanathan, Dominik Janzing

机构 * NTU Singapore（新加坡南洋理工大学） ； Amazon（亚马逊） ； Amazon Research, Tübingen, Germany（亚马逊研究院（德国图宾根）） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于信息论的信息增益指标，通过高斯嵌入近似量化多轮对话中问题相关的语义进展，无需LLM推理，在多个基准上取得与人类判断一致的结果。

Comments Preprint. 26 pages

Can News Predict the Market? Limits of Zero-Shot Financial NLP and the Role of Explainable AI

新闻能否预测市场？零样本金融自然语言处理的局限性与可解释人工智能的作用

Ali M Karaoglu, Shreyank N Gowda

机构 * University of Nottingham（诺丁汉大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.CL

AI总结 本研究通过零样本自然语言处理框架，结合时间聚合与多层次可解释性，发现零样本方法无法超越简单基线，但可解释性信号能区分可靠与不可靠预测，强调透明性和不确定性感知在决策支持中的价值。

Auditing CoT Answer-Hijack Patches: Source-Control Certificates with Type-I Guarantees

链式思维答案劫持的选择感知诊断

Jianwei Tai

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CY

AI总结 针对链式思维答案劫持攻击，提出选择感知诊断方法，通过激活修补定位脆弱区域，并验证恢复依赖于同问题干净源。

Identifying Topological Invariants of Non-Hermitian Systems via Domain-Adaptive Multimodal Model for Mathematics

通过数学多模态模型识别非厄密系统拓扑不变量

Jiuchun Meng, Lichao Sun, Xiumei Wang, Dandan Zhu, Xingping Zhou

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 本文提出利用多模态模型识别非厄密系统拓扑不变量，通过输入哈密顿量的本征值和本征向量，结合数学大语言模型进行复杂计算和推理，有效提取拓扑信息。