Metadata-Free Meta-Reweighted Direct Preference Optimization under Noisy Preference Labels
噪声偏好标签下无元数据的元重加权直接偏好优化
机构 * Xi’an Jiaotong University(西安交通大学)
AI总结 研究针对DPO性能依赖偏好数据质量问题,提出双层优化框架、无任务元知识驱动方法及结合中心差分近似与LoRA微调的可扩展训练方案,经实验验证该方法能在不同噪声率下提升训练性能。
Comments 36 pages, including appendices. Revised version with updated theoretical analysis, supplementary material, figures and improved table formatting