University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

Can We Trust Item Response Theory for AI Evaluation?

我们能信任项目反应理论进行人工智能评估吗？

Han Jiang, Sunbeom Kwon, Jinwen Luo, Ziang Xiao, Susu Zhang

机构 * Johns Hopkins University（约翰·霍普金斯大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

AI总结 研究探讨项目反应理论（IRT）用于人工智能评估的可靠性，利用六个大语言模型基准模拟响应矩阵，比较四种估计工具，评估IRT在多方面的表现，发现经典估计器在大型基准中可能不可行，可扩展估计器在特定模型集下可能产生不可靠推断。

Towards a General Intelligence and Interface for Wearable Health Data

迈向可穿戴健康数据的通用智能与接口

Girish Narayanswamy, Maxwell A. Xu, A. Ali Heydari, Samy Abdel-Ghaffar, Marius Guerard, Kara Vaillancourt, Zhihan Zhang, Jake Garrison, Levi Albuquerque, Dimitris Spathis, Hong Yu, Hamid Palangi, Xuhai "Orson" Xu, David G. T. Barrett, Joseph Breda, Jed McGiffin, Yubin Kim, Yuwei Zhang, Naghmeh Rezaei, Samuel Solomon, Karan Ahuja, Tim Althoff, Jake Sunshine, Ming-Zher Poh, Benjamin Yetton, Ari Winbush, Nicholas B. Allen, James M. Rehg, Isaac Galatzer-Levy, Yun Liu, John Hernandez, Anupam Pathak, Conor Heneghan, Yuzhe Yang, Ahmed A. Metwally, Pushmeet Kohli, Mark Malhotra, Shwetak Patel, Xin Liu, Daniel McDuff

机构 * Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） ； University of Washington（华盛顿大学） ； University of Oregon（俄勒冈大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 提出一个基于超过一万亿分钟无标签传感器数据预训练的可穿戴健康基础模型，通过联合扩展模型容量和预训练数据量，在35项健康预测任务上实现系统性性能提升，并利用LLM代理自动搜索下游预测头，集成到个人健康代理中以提高相关性和安全性。

Comments Narayanswamy and Xu are co-first authors. McDuff and Liu are co-last authors

AutoSpec: Automated Generation of Neural Network Specifications

AutoSpec：神经网络规范的自动生成

Shuowei Jin, Taobo Liao, Anuj Kalia, Xenofon Foukas, Huan Zhang, Cheng Tan, Z. Morley Mao, Francis Y. Yan

机构 * University of Michigan（密歇根大学） ； Microsoft Research（微软研究院） ； Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 针对神经网络在学习增强系统中对模型安全鲁棒性需求，AutoSpec提出首个自动生成和评估神经网络规范的综合框架，通过基于树算法、统计认证框架及评估框架，经实验验证其性能优于手动定义规范和现有基线算法。