大模型对齐与安全

Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering

位置：在LLM中的不确定性量化仅仅是无监督聚类

Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei

机构 * School of Computing（计算学院） ； Augmented Intelligence, Arizona State University（智能增强与亚利桑那州立大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文指出，当前LLM的不确定性量化方法本质上是无监督聚类算法，无法有效评估模型的外部正确性，导致无法检测出自信但错误的回答。文章提出了改进的不确定性量化方法，以确保模型的自信度能可靠地反映现实。

Comments Accepted by ICML 2026 Position Paper Track

BalanceRAG: Joint Risk Calibration for Cascaded Retrieval-Augmented Generation

BalanceRAG: 为级联检索增强生成进行联合风险校准

Zijun Jia, Yuanchang Ye, Sen Jia, Yiyao Qian, Haoning Wang, Baojie Chen, Diyin Tang, Jinsong Yu, Zhiyuan Wang

机构 * Beihang University（北航） ； Shenzhen Institute of Advanced Technology（深圳先进技术研究院） ； Zhejiang University of Finance & Economics（浙江财经大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出BalanceRAG，一种用于级联检索增强生成的联合风险校准方法，通过在二维晶格上确定安全操作点，实现风险自适应的阈值校准，从而在控制系统级错误率的同时保留更多示例，并扩展到多风险校准。