University of Michigan（密歇根大学安娜堡分校）

ASI-Bench: At the Dawn of Artificial Superintelligence

ASI-Bench：人工智能超级智能的黎明

Junwei Zhou, Zhen Sun, Binyu Li, Jiangyu Zhou, Yuexi Pan, Hengyu Wang, Honghe Ren, Xiaohan Jia, Xueyang Zhou, Xiaoyu Cao, Yongchao Chen, Yuanning Feng, Junhao Wu, Cheng Zhang, Sijia Chen, Haoyu Xue, Chengsong You, Huan Wang, Koutian Wu, Peigan Gao, Jiakun Wu, Wenzhe Li, Ergan Shang, Qingyuan Zheng, Jingjing Zhou, Ruixuan Jia, Yan Xu, Hongrui Zhang, Xiao-Han Ma, Zhengxiang Cheng, Yuexing Hao, Liting Mai, Xianglin Ji, Wenjun Zhang, Zhuofan Chen, Yixiao Huang, Chi Wang, Wenyue Hua, Yilun Hao, Yuantao Zhai, Ziyan Zhao, Jingyan Xie

机构 * Tsinghua University（清华大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan（密歇根大学） ； University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Boston University（波士顿大学） ； University of Queensland（昆士兰大学） ； University of Science and Technology of China（中国科学技术大学） ； Flatiron Institute（弗拉蒂伦研究所） ； Microsoft Research（微软研究院） ； AG2 AI（AG2 AI公司） 纠错

AI总结 研究人员推出首个联合评估AI创新探索与自主科学执行能力的基准ASI-Bench，逐步减少人类方法指导测试AI自主科研能力，发现当前AI仍严重依赖人类指导，该基准面向全球开放邀请贡献。

Comments 16 pages, 5 figures, 2 tables

KnowSim: Evaluating Information Calibration in LLM Assistants with User Simulators that Learn

KnowSim：用学习的用户模拟器评估大语言模型助手的信息校准

Yoonjoo Lee, Hyoungwook Jin, Tae Soo Kim, Shaoyang Zhang, Philippe Laban, Q. Vera Liao

机构 * University of Michigan（密歇根大学） ； KAIST（韩国科学技术院） ； Microsoft Research（微软研究院） 纠错

AI总结 本研究提出KNOWSIM框架，通过带显式知识状态的用户模拟器评估LLMs的信息校准，验证后其性能优于基线，可揭示用户知识水平与LLMs的适配关系。

Comments 30 pages, 6 figures, 16 tables

PDDL-ART: Autonomous Symbolic Abstraction From Demonstration For Long-Horizon Robotic Manipulation Using Vision-Language Models

PDDL-ART：基于演示的自主符号抽象方法，用于使用视觉语言模型的长时程机器人操纵

Disha Kamale, Dmitry Berenson

机构 * University of Michigan（密歇根大学） 纠错

AI总结 PDDL-ART是一种基于VLM的框架，可自主从演示生成PDDL描述，经多阶段校正确保语义对齐，在发动机维护和家庭操纵任务上平均成功率达93.3%，优于基线规划器。