From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models
从信号到迁移:基于探针的大语言模型不确定性估计的分解研究
机构 * Nanyang Technological University(南洋理工大学) ; Shanghai Jiao Tong University(上海交通大学) ; VinUniversity ; KAIST(韩国科学技术院)
AI总结 通过分解研究,发现原始隐藏状态和注意力特征在域内表现优异,但结构化压缩特征在分布偏移下更鲁棒,提示和标签构建显著影响探针行为,并训练出可迁移的预训练探针。