医学 AI

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

MMBU: 大规模多模态生物医学理解基准，用于探测视觉语言模型的感知能力

Ryan D'Cunha, Alejandro Lozano, Xiaoxiao Sun, Daniel Vela Jarquin, Min Woo Sun, Josiah Aklilu, James Burgess, Yuhui Zhang, Ryan Nayebi, Paola Avila, Robayo, Jin Ye, Ming Hu, Zhongying Deng, Junjun He, Xin Chen, Yue Yao, Robert Tibshirani, Jeffrey J. Nirschl, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Instituto Tecnológico de Monterrey（蒙特雷技术学院） ； Monash University（墨尔本大学） ； University of Cambridge（剑桥大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） 纠错

专题命中 医学数据与评测 ：biomedical(title,abstract)；分类 cs.CV

AI总结 提出MMBU基准，涵盖35个子模态，通过分类、定位和检测任务系统评估VLM在生物医学领域的视觉感知和泛化能力，发现高准确率可能掩盖感知缺陷。

SWE-Explore: Benchmarking How Coding Agents Explore Repositories

SWE-Explore: 基准测试编码智能体如何探索代码仓库

Shaoqiu Zhang, Yuhang Wang, Jialiang Liang, Yuling Shi, Wenhao Zeng, Maoquan Wang, Shilin He, Ningyuan Xu, Siyu Ye, Kai Cai, Xiaodong Gu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xinjiang University（新疆大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Independent Researcher（独立研究者） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出SWE-Explore基准，通过评估编码智能体在给定代码仓库和问题下返回相关代码区域排名列表的能力，衡量其仓库探索性能，覆盖10种编程语言和203个仓库的848个问题。

Comments 20 pages, 5 figures

MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights

MADE：超越评分——通过多语言智能诊断引擎实现细粒度评估洞察

Yilun Liu, Miao Zhang, Shimin Tao, Minggui He, Chunguang Zhao, Chenxin Liu, Li Zhang, Chen Liu, Cheng Qian, Liqun Deng, Xiaojun Meng, Daimeng Wei

机构 * Huawei（华为） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 提出MADE多语言智能诊断引擎，将评估后分析分解为规划、聚合分析、实例检查、多语言文化反思和报告合成，在33个模型族、11个基准、26种语言等大规模设置下，诊断报告质量提升47%，专家偏好率达87.9%。