Johns Hopkins University（约翰斯·霍普金斯大学）

Can We Trust Item Response Theory for AI Evaluation?

我们能信任项目反应理论进行人工智能评估吗？

Han Jiang, Sunbeom Kwon, Jinwen Luo, Ziang Xiao, Susu Zhang

机构 * Johns Hopkins University（约翰·霍普金斯大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

AI总结 研究探讨项目反应理论（IRT）用于人工智能评估的可靠性，利用六个大语言模型基准模拟响应矩阵，比较四种估计工具，评估IRT在多方面的表现，发现经典估计器在大型基准中可能不可行，可扩展估计器在特定模型集下可能产生不可靠推断。

Simultaneous Calibration of Noise Covariance and Kinematics for State Estimation of Legged Robots via Bi-level Optimization

通过双层优化同时校准噪声协方差和运动学参数以实现四足机器人和双足机器人的状态估计

Denglin Cheng, Jiarong Kang, Xiaobin Xiong

机构 * Legged AI Lab（足式人工智能实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Shanghai Innovation Institute (SII)（上海创新研究院） 纠错

AI总结 本文提出一种双层优化框架，通过联合校准协方差矩阵和运动学参数提升机器人状态估计的准确性与不确定性校准。