Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization
数据更少,对齐更好:用于偏好优化的数据中心多评估器一致性方法
机构 * University of Southern California(南加州大学) ; New York University(纽约大学) ; Columbia University(哥伦比亚大学) ; University of California, Berkeley(加利福尼亚大学伯克利分校) ; City College of New York, CUNY(纽约市立大学城市学院) ; Stevens Institute of Technology(史蒂文斯理工学院) ; Nanyang Technological University(南洋理工大学)
AI总结 研究聚焦偏好优化,提出DMAPO方法,从目标策略生成候选响应,经多评估器评估、校正后保留高一致性示例。实验表明该方法数据效率高,能提升模型在MT - Bench等指标上的表现,且改变评估器或准则对下游性能影响小。
Comments 19 pages