UAT-LITE: Inference-Time Uncertainty-Aware Attention for Pretrained Transformers
UAT-LITE:推理时间不确定性感知注意力用于预训练变换器
机构 * University of Central Florida(佛罗里达大学中央分校) ; University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校) ; Meharry Medical College(梅哈里医学院) ; University of Southern Queensland(昆士兰南方大学) ; New York University(纽约大学)
AI总结 UAT-LITE通过在预训练变换器中引入不确定性感知的自注意力机制,提升模型在不确定情况下的预测能力,减少校准误差,提高选择性预测效果。