Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking
超越以相关性为中心的检索:面向评分标准的文档集选择与排序
机构 * University of Science and Technology of China(中国科学技术大学) ; Yuanbao Team, Tencent(腾讯元宝团队) ; University of Chinese Academy of Sciences(中国科学院大学) ; Shandong University(山东大学)
AI总结 研究针对大语言模型和人工智能代理对搜索结果质量需求,提出评估-诊断-优化框架。设计SetwiseEvalKit评估基准,评估多种重排器。在此基础上提出Rubric4Setwise方法,无需训练,能以更少文档和搜索轮次实现最佳下游生成性能,验证了闭环有效性。
Comments Project Page: https://rubric4setwise.github.io/