Massachusetts Institute of Technology（麻省理工学院）

Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

丢弃少量偏好可以改变大型语言模型的排名

Jenny Y. Huang, Yunyi Shen, Dennis Wei, Tamara Broderick

机构 * Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； IBM Research（IBM研究院） 纠错

AI总结 研究通过评估LLM排名系统的鲁棒性，发现丢弃少量偏好数据可显著影响模型排名，揭示MT-bench偏好更稳定的原因。

Calibrated Stackelberg Games: Learning Optimal Commitments Against Calibrated Agents

校准的斯塔克尔伯格博弈：学习针对校准代理的最优承诺

Nika Haghtalab, Chara Podimata, Kunhe Yang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

AI总结 研究校准斯塔克尔伯格博弈，将标准框架推广，其中代理依校准预测行动。虽信息减少，但委托人最优效用有界。针对校准挑战，开发新校准概念及算法，包括基于最佳响应区域的松弛，及代理自适应校准算法，助委托人更快收敛。