University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

OpenHalDet: A Unified Benchmark for Hallucination Detection across Diverse Generation Scenarios

OpenHalDet：面向多种生成场景的幻觉检测统一基准

Xinyi Li, Zhen Fang, Yongxin Deng, Jinyuan Luo, Hongnan Ma, Changdae Oh, Zijing Shi, Shanshan Ye, Hanchen Wang, Shu-Lin Chen, Yadan Luo, Mengyue Yang, Sean Du, Sharon Li, Ling Chen

机构 * University of Technology Sydney（新南威尔士大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of Bristol（布里斯托大学） ； The University of Queensland（昆士兰大学） ； Nanyang Technological University（南洋理工大学） 纠错

AI总结 提出OpenHalDet基准，标准化幻觉检测评估流程，支持黑盒、灰盒、白盒检测器，实现跨任务、模型和检测器的可控比较。

Comments Preprint. Code and data are available at https://github.com/Nellie179/Hallucination-Detection

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

MMBU: 大规模多模态生物医学理解基准，用于探测视觉语言模型的感知能力

Ryan D'Cunha, Alejandro Lozano, Xiaoxiao Sun, Daniel Vela Jarquin, Min Woo Sun, Josiah Aklilu, James Burgess, Yuhui Zhang, Ryan Nayebi, Paola Avila, Robayo, Jin Ye, Ming Hu, Zhongying Deng, Junjun He, Xin Chen, Yue Yao, Robert Tibshirani, Jeffrey J. Nirschl, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Instituto Tecnológico de Monterrey（蒙特雷技术学院） ； Monash University（墨尔本大学） ； University of Cambridge（剑桥大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） 纠错

AI总结 提出MMBU基准，涵盖35个子模态，通过分类、定位和检测任务系统评估VLM在生物医学领域的视觉感知和泛化能力，发现高准确率可能掩盖感知缺陷。