When Data Imbalance Helps: Robust Generalization Through Shortcut Saturation
数据不平衡何时起作用:通过捷径饱和实现稳健泛化
机构 * University of California, Los Angeles(加利福尼亚大学洛杉矶分校) ; Purdue University(普渡大学)
AI总结 研究虚假相关性下数据不平衡对模型泛化的影响,通过改变虚假比率和模型容量发现数据不平衡能促进强大模型泛化,如合成任务中2层变压器在特定虚假比率下泛化效果提升,还通过机制分析找到相关途径。