Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs
基于置信度蒸馏的门控关系对齐用于高效视觉语言模型
机构 * Department of Information Technology(信息科技系) ; Electrical Engineering, ETH Zurich, Zurich, Switzerland(电气工程,苏黎世联邦理工学院,苏黎世,瑞士) ; Qualcomm AI Research, Amsterdam, the Netherlands(高通人工智能研究,阿姆斯特丹,荷兰) ; Department of Electrical, Electronic and Information Engineering(电气、电子与信息工程系) ; University of Bologna, Bologna, Italy(博洛尼亚大学,博洛尼亚,意大利) ; School of Electrical and Electronic Engineering(电气与电子工程学院)
专题命中 其他安全 :alignment(title,abstract);分类 cs.AI
AI总结 提出GRACE框架,通过信息瓶颈原理统一知识蒸馏与量化感知训练,使用置信度门控解耦蒸馏、关系中心核对齐和自适应控制器,在INT4量化下实现性能超越FP16基线并接近教师模型,同时显著降低内存和提升吞吐量。
Comments Accepted to the International Conference on Machine Learning (ICML 2026)