大模型对齐与安全

Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees

具有可证明对齐保证的大语言模型中的不确定性感知弃权

Sijin Dong, Hiroyuki Shinnou

机构 * Ibaraki University（茨城大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL

AI总结 研究大语言模型在问答系统中无可靠置信估计的问题，提出基于置信区间的校准框架CIC，将任意不确定性分数转化为风险可控的选择性回答规则，保证所选阈值控制错误率，兼具风险控制和回答效率。

Uncertainty-Aware Last-Layer Adaptation of RETFound for Referable Diabetic Retinopathy Screening Under Dataset Shift

数据集偏移下用于可参考糖尿病视网膜病变筛查的RETFound不确定性感知最后一层自适应

Karim Mardhani

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 用RETFound对糖尿病视网膜病变筛查的不确定性感知最后一层自适应进行以安全为中心的实证评估，比较多种方法，在APTOS上不确定性感知操作点改善了敏感性等，在DDR上结果有差异，强调安全评估的价值。

Comments 12 pages, 8 tables, 6 figures. Code available at https://github.com/kmardhani/uncertainty-aware-retfound

Aligning Language Models with Selective Prediction

通过选择性预测使语言模型对齐

Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Bioinformatics and Computational Biology Program（生物信息学与计算生物学项目） ； Division of Biostatistics and Health Data Science（生物统计学与健康数据科学部） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG；safety(comments)

AI总结 研究聚焦提升语言模型可靠性，采用选择性预测策略，在模型训练后对齐阶段，提出基于强化学习的框架RLSR，以风险-覆盖曲线下面积为目标，在域内域外任务中风险-覆盖权衡表现更好。

Comments Accepted by ICML 2026 Agents in the Wild: Safety, Security, and Beyond Workshop, Project Page: https://sun-umn.github.io/RLSR

Uncertainty-Aware Hybrid Machine Learning in Virtual Sensors for Vehicle Sideslip Angle Estimation

面向车辆侧倾角估计的不确定性感知混合机器学习虚拟传感器

Abinav Kalyanasundaram, Karthikeyan Chandra Sekaran, Philipp Stauber, Michael Lange, Wolfgang Utschick, Michael Botsch

机构 * CARISSMA Institute of Automated Driving, Technische Hochschule Ingolstadt（CARISSMA自动化驾驶研究所，因戈尔施塔特技术大学） ； GeneSys Elektronik GmbH（GeneSys电子 GmbH） ； Technische Universität München（慕尼黑技术大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出不确定性感知混合学习架构，通过融合机器学习与车辆运动模型，提升车辆状态估计精度，同时引入新的数据集ReV-StED验证方法有效性。

Comments Accepted at the 2025 IEEE Intelligent Vehicles Symposium (IV)

Journal ref 2025 IEEE Intelligent Vehicles Symposium (IV)

Autonomous Information Seeking: A Roadmap for Agentic Recommender Systems

自主信息寻求：智能推荐系统路线图

Xinyu Lin, Yashar Deldjoo, Sunhao Dai, Honghui Bao, Xiaopeng Ye, Fatemeh Nazary, Wenjie Wang, Tommaso Di Noia, Jun Xu, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Polytechnic University of Bari（巴里理工大学） ； Renmin University of China（中国人民大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

AI总结 综述基于大语言模型的智能体融入推荐系统带来的转变，介绍基于自主性水平的分类法及三种核心范式，分析各范式采用的架构和智能体对关键组件的增强，探讨评估方法及未解决问题，指出开放挑战。

Decentralized Aggregation of LLM Predictions via Wagering Mechanisms

通过投注机制对大语言模型预测进行去中心化聚合

Yuhong Luo, David M. Pennock, Xintong Wang

机构 * Rutgers University（罗格斯大学） ； DIMACS（离散数学和理论计算机科学研究所） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 旨在解决多模型预测聚合问题，提出基于投注机制的WALLA，各模型报告预测和投注，以投注为权重聚合预测，具有激励兼容等特性，实验表明其兼具多种优势。

Comments 32 pages

HAS-Bench: Evaluating LLM-Based Human-Agent Systems under Configurable Human Participation

HAS-Bench：在可配置人类参与下评估基于大语言模型的人机系统

Yaozu Wu, Wei-Chieh Huang, Jizhou Guo, Dongyuan Li, Renhe Jiang, Henry Peng Zou, Chunyu Miao, Shanghao Li, Weizhi Zhang, WeiWei Ye, Yankai Chen, Meng Zhang, Xue Liu, Philip S. Yu

机构 * The University of Tokyo（东京大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； MBZUAI ； McGill University（麦吉尔大学） ； Zhejiang University（浙江大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 介绍基于图的HAS-Framework框架，在此基础上HAS-Bench在多方面可配置人类参与下评估人机系统，测量任务结果与协作行为，实验表明人类参与可提升任务完成等，但收益取决于参与方式等。

The Anatomy of Uncertainty in LLMs

大语言模型中不确定性的解剖结构

Aditya Taparia, Ransalu Senanayake, Kowshik Thopalli, Vivek Narayanaswamy

机构 * School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出了一种将大语言模型不确定性分解为输入模糊性、知识缺口和解码随机性的框架，通过实验展示不同模型规模和任务中各组件的重要性，以提升模型可靠性与可信度。

Comments Accepted at the ICBINB Workshop, ICLR 2026

HKVLM: Faithful Query--Region Binding for Frozen-Detector Visual Grounding

HKVLM：通过将语言查询绑定到冻结检测器实现忠实推理定位

Bo Ma

机构 * Bo Ma 纠错

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 提出HKVLM框架，通过将定位从语言路径中分离，利用冻结检测器和语言模型，仅训练轻量对齐钩子实现推理定位，在少样本冷启动场景下显著提升定位精度并减少幻觉。