医学 AI

SC3: The Multi-Solvent Solubility Challenge and Benchmark

SC3：多溶剂溶解度挑战与基准

Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Sergei Tatarin, Lev Krasnov, Sayan Ranu, Tarak Karmakar

机构 * Indian Institute of Technology Delhi, India（印度德里印度理工学院） ； Kurnakov Institute of General and Inorganic Chemistry RAS, Russia（库尔诺夫一般和无机化学研究所俄罗斯科学院） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)；分类 cs.LG

AI总结 针对多溶剂溶解度预测中现有基准的缺陷，提出SC3基准，包含可复现的数据处理流程、多层级共识集和评估指标，并揭示最佳模型与理论极限仍有5倍差距。

Comments 34 pages, 16 tables, 22 figures

AVI-Bench: Toward Human-like Audio-Visual Intelligence of Omni-MLLMs

AVI-Bench：迈向全模态大语言模型的人类级视听智能

Yaoting Wang, Ziyi Zhang, Wenming Tu, Shaoxuan Xu, Wenjie Du, Cheng Liang, Weijun Wang, Yuanchao Li, Guangyao Li, Hao Fei, Yuanchun Li, Henghui Ding, Yunxin Liu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)；分类 cs.CV

AI总结 提出AVI-Bench基准，通过感知、理解、推理三阶段跨模态任务评估全模态大语言模型的视听智能，并引入AVI-Bench-PriSe测试原始视听感知，揭示当前模型局限，构建四级AVI分类体系。

Comments 31 pages, 8 figures, ICML 2026

Dynamic Computerized Tumbling-E Testing for Temporal Reliability of Human Sequential Perceptual Decisions

动态计算机化Tumbling-E测试用于人类顺序感知决策的时间可靠性

Avneek Sandhu, Bin Hu

专题命中 医学数据与评测 ：diagnosis(abstract)；分类 q-bio

AI总结 通过计算机化Tumbling-E任务收集人类试次级数据，包括反应时间、超时率和自适应阶梯行为，建立时间解析的感知决策基准，为与人工智能比较提供人类基线。

Comments 5 figures

DeepInsight II: One Trace from Benchmark to Robot

DeepInsight II：从基准测试到机器人的单条轨迹

Siyi Li, Yuchen Kang, Wuliang Wang, Zhengjie Zhang, Jiangpin Liu, Jianhao Yao, Jie Chen

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 DeepInsight II量化具身层，复现基准结果、通过MotionBench实现仿真到真实机器人的原生迁移，并扩展轨迹定位至带修复动作的交接标签，提供从基准到机器人的经验连续性。

LongRCA Bench: Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures

LongRCA Bench：诊断长 horizon 智能体失败中的责任角色与根本原因

Yunfei Zhang, Boyu Feng, Changhua Pei, Zexin Wang, Zhihuang Peng, Xinlong Liu, Hengyue Jiang, Difeng Ma, Jiayi Zhang, Yongzhou Yao, Yanan Zhao, Fei Sun, Yintong Huo, Zhaoyang Liu, Jingjing Li, Gaogang Xie, Dan Pei

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； Chongqing University（重庆大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Singapore Management University（新加坡管理大学） ； Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） ； Tsinghua University（清华大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 LongRCA Bench 是含1140条失败轨迹的长 horizon 智能体失败诊断基准，本文提出无需训练的 RCTA 方法，在责任角色归因和根本步骤定位上优于现有基线，表明需将二者作为独立评估目标。

Comments 17 pages, 5 figures. Yunfei Zhang and Boyu Feng contributed equally. Changhua Pei is the corresponding author

TRACE-BN: Transferring Bangla-English Tutoring Behavior to a Sub-1B Offline Language Model

TRACE-BN：将孟加拉语-英语辅导行为迁移至参数量小于10亿的离线语言模型

Khan Raiyan Ibne Reza, Sanjana Aktar Maria, Mohammad Tushar Abdullah, Asfee Bhuiyan Leen, Sumaiya Tabassum Nimi

机构 * North South University（北南大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出TRACE-BN数据集，将其辅导行为通过LoRA迁移至Qwen3-0.6B模型，在资源受限离线部署下，相关指标及多维度辅导效果均获显著提升。

When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry

当智能体执行失败时：从遥测数据中检测和定位运行时故障

Chenkai Zhang, Yiran Li, Yifang Tian, Michalis Bachras, Hans-Arno Jacobsen

机构 * University of Toronto（多伦多大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究提出 AGENTCHAOSBENCH 基准，在智能体系统遥测数据中检测定位运行时故障，实验显示现有 LLM 基线对该任务的解决效果仍远未达标。

Information Satisfaction: A Reader-Centered Axis for Summarization Evaluation

信息满意度：面向读者的摘要评估轴

Isabel Cachola, William Walden, Reno Kriz, Mark Dredze

机构 * St. Edward’s University（圣爱德华大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本研究提出以读者的信息满意度作为摘要评估的面向读者的轴，发现主流摘要指标无法衡量该满意度，且与人工判断一致性差。

AnchorSIPS: A Synthetic Dataset and Evaluation Resource for Evidence-Supported Psychosis-Risk Symptom Measurement

AnchorSIPS：用于证据支持的精神病风险症状测量的合成数据集与评估资源

Guilherme C. Oliveira, Stephanie Fong, Zimu Wang, Clarice Lee, Xiangyu Zhao, Duy Khoa Pham, Duong Nhu, Yiwen Jiang, Jiahe Liu, Zhongxing Xu, Dwarikanath Mahapatra, Dominic Dwyer, Zongyuan Ge

机构 * Monash University（莫纳什大学） ； Orygen（奥瑞金） ； The University of Melbourne（墨尔本大学） ； Swinburne University of Technology（斯威本科技大学） ； University of Liverpool（利物浦大学） ； Khalifa University（哈利法大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出AnchorSIPS合成数据集，基于Mini-SIPS访谈构建含1万次结构化精神病风险访谈，解决临床数据隐私问题，用于研究证据提取等，实验发现LLM基线存在细节提取不足问题。

AgenticTwin: An Agentic LLM Framework Integrated with Digital Twin for Anomaly Detection

AgenticTwin：集成数字孪生的智能体大语言模型异常检测框架

Touseef Hasan, Mounika Ghanta, Souvika Sarkar, Ujjwal Guin

机构 * School of Computing, Wichita State University（威奇托州立大学计算机学院） ； Auburn University（奥本大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本研究提出AgenticTwin框架，整合LLM推理与数字孪生异常检测管道，构建基准评估管道并验证轻量级开源LLM部署可行性，可提升异常诊断、检索及缓解质量。

Locally Deployable Small Language Models for Emergency Department Decision Support: A Systematic Benchmark of Fine-Tuning Strategies

可本地部署的小型语言模型用于急诊科决策支持：微调策略的系统基准测试

Qingfeng Zhang, Yuanxiong Guo, Yanmin Gong

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究针对急诊科决策支持的隐私风险，通过基准测试发现经LoRA微调的开源小型语言模型在分诊和转诊任务上优于商业模型，可本地部署且具备临床竞争力。

Comments Accepted to AMIA 2026 Annual Symposium

SurroPilot: An LLM-Assisted Platform for Heterogeneous Surrogate Endpoint Evaluation in Clinical Trials

SurroPilot：用于临床试验中异质性替代终点评估的大语言模型辅助平台

Xingyu Li, Peng Wei

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 SurroPilot是集成LLM与异质性中介框架的辅助平台，可通过自然语言交互完成临床试验异质性替代终点评估全流程，降低了相关方法的应用技术门槛。

Comments Submitted for journal

A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents

面向编码智能体的需求澄清、规划与代码生成的统一问题解决基准

Xin Zhou, Chun Yong Chong, Kisub Kim, Yun Peng, Rui Shu, Zihan Wu, Xu Han, Guowen Yuan, Zeyang Zhuang, Jounghoon Kim, Jeongjin Ju, Seongmin Ju, Taein Yoon, David Lo

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究推出SWE-RPG编码智能体基准，评估发现主流编码智能体在该基准上平均解决率仅31.5%，隐性需求恢复是主要瓶颈，为改进编码智能体提供了方向。

Comments 9 pages

CAP: A Scalable Benchmark for Evaluating Cross-Site Browser Agents with Complex Actions and Perception

CAP：用于评估具备复杂动作与感知能力的跨站点浏览器智能体的可扩展基准

Zejun Xu, Taiyi Chen, Jin Li, Yongtong Gu, Qi Cheng, Aixuan Lv, Shuai Zhu, Pengfei Zhu, Kaichen Yang, Boyu Sun, Yixian Yang, Mulong Xie, Xin Liu, Dagang Li, Xiaoteng Ma, Hongru Wang

机构 * Macau University of Science and Technology（澳门科技大学） ； Tsinghua University（清华大学） ； Southeast University（东南大学） ； FellouAI ； ARGUS Lab（ARGUS实验室） ； The University of Edinburgh（爱丁堡大学） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 研究人员推出可扩展基准CAP，通过分解-重组流程构建420项跨站点网页任务，实验发现当前浏览器智能体在感知密集型交互上存在明显瓶颈，与真实需求差距较大。

Comments Accepted to COLM 2026. Project page: https://warriorxu0302.github.io/CAP-Bench/

Initial Evaluation of the Usability of Front-End Ontology Tooling

前端本体论工具可用性的初步评估

Clair Kronk, Rishabh Jain

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 本研究针对生物医学领域，调查38名本体论研究者，用SUS量表评估15款前端本体论工具可用性，发现Protege和WebProtege可用性中等，熟悉程度影响得分，指出工具存在可用性差距。

Comments 5 pages, 1 figure

Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents

面向规则密集型国家标准文档评审的大语言模型基准测试与增强

Tao Wang, Qihao Yang, Rongjiao Liang, Lianghong Lin, Haitao Wang, Xinyu Cao, Tianyong Hao

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究针对规则密集型国家标准文档评审推出首个基准GB/T-Bench，提出多智能体框架GB/T-Reviewer，实验显示其大幅缩小了LLM与专家在该任务上的能力差距，为高风险文档领域可信AI奠定基础。

WeClawArena: An Auditable Sandbox and Benchmark for Cross-User Agents Collaboration and Security in Human-Centered Agent Networks

WeClawArena：面向以人为中心的智能体网络中跨用户智能体协作与安全的可审计沙箱及基准

Prince Zizhuang Wang, Aojie Yuan, Haiyue Zhang, Xiyang Hu, Yue Zhao, Shuli Jiang

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 WeClawArena是面向以人为中心的智能体网络的可审计沙箱与基准，含124个基础任务及620个场景变体，可评估跨用户智能体协作的效用与攻击成功率，支持安全审计与诊断。

Comments 31 pages

CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits

CockpitHAT：面向具身多智能体座舱的依赖图驱动分层归因方法

Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

机构 * ByteDance（字节跳动） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究针对LLM多智能体系统的“正确性崩溃”问题，提出CockpitHAT分层归因框架，发布含212条轨迹的CockpitBench基准，在相关基准上超越现有方法，实现可靠故障诊断。

AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers

AgentHPOBench：用于评估LLM智能体作为序列超参数优化器的基准

Tianyu Huai, Tingshuo Fan, Xinchi Chen, Yining Zheng, Yuxin Wang, Shuang Chen, Jie Zhou, Xuanjing Huang

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 AgentHPOBench是含30个任务的序列基准，用于评估LLM智能体的超参数优化能力，实验显示其在多领域有优化能力，但在迭代优化等方面存在局限。

CyberNeuro: A Privacy-Preserving Agentic Workbench for Cohort-Scale Neuroimage and Clinical Data Analysis

CyberNeuro：用于队列规模神经影像与临床数据分析的隐私保护智能体工作台

Ran Ren, Junhong Tong, Yunxi Kong, Yiyao Chen, Yucheng Li, Kunhao Zhou, Shaoqi Wang, Yuxiang Tao, Shuheng Cao, Zhihao Fan, Marissa DiPiero, Tingting Dan, Guorong Wu

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 CyberNeuro是配备WandaMind本地LLM的隐私保护智能体工作台，通过四个专用智能体实现神经影像与临床数据分析自动化，在NeuroBench上提升了域准确率，还降低了令牌使用量。

Comments 25 pages, 4 figures

EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses

EarlyDx：一个锚定入院时间的开放生成式循证急诊科就诊诊断基准

Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

机构 * University of Georgia（佐治亚大学） ； Beijing Luhe Hospital（北京潞河医院） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本文提出EarlyDx基准，针对现有诊断基准不适用入院诊断场景的问题，基于MIMIC-IV数据构建，发现各类LLM均无法可靠综合入院证据，仅能提取部分诊断，微调后仍有差距。

Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning

你会步行去洗车吗？揭示大型语言模型在常识推理中的显著性偏差

Zheng Wu, Chenhao Xue, Shijie Zheng, Yijie Lu, Cheng Yang, Zhuosheng Zhang

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本研究构建SaliTrap基准数据集，发现主流LLMs存在显著性偏差，其常识推理失败源于知识被干扰项抑制，而非知识缺失，轻量级推理时提示可大幅缓解该问题。

The MADRS Pipeline: Supporting Depression Assessment in Clinical Trials

MADRS 流程：支持临床试验中的抑郁评估

Mila Fodor, Katalin Ócsai, Francesco Periti, Rien Sonck, Alex Boudreau

机构 * Clario, part of Thermo Fisher Scientific（赛默飞世尔科技旗下Clario） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 本研究开发了一种 LLM 流程，可将临床试验的结构化音频访谈转换为文本，映射至 MADRS 10 项症状条目并评估严重程度，与专家评级整体相关性达 0.867，为抑郁评估提供可解释支持。

Zing: Social Mind for LLMs

Zing：大语言模型的社交智能

Zing Team, Ao Xiang, Bi Jingping, Chen Jiahui, Chen Lehan, Chen Yilin, Cheng Xueqi, Fan Yixing, Gan Kairong, Gao Haowen, Gao Jinhua, Gao Shuxuan, Gong Chang, Guo Jiafeng, Guo Ruijie, Han Zhouyu, He Guangfu, He Yichun, Jiang Shuo, Jing Shaoling, Jing Ya, Lei Chenhao, Lei Yan, Li Anqi, Li Chengao, Li Haoyu, Li Shitian, Liang Xinjian, Liu Zhaoge, Lyu Xingyu, Nie Zhuwei, Pang Liang, Quan Zeping, Shan Shiguang, Shen Huawei, Tang Xinran, Tian Feng, Wang Qian, Wang Ruiping, Wang Xiaohong, Xia Zaiyu, Xiao Yi, Xu Jiayuan, Xu Kehan, Xu Qianqian, Xu Tianyu, Xu Yongjun, Yang Haoming, Yang Jun, Yao Di, Yu Xiaoming, Zhang Futong, Zhang Jie, Zhang Shixuan, Zhang Yuxuan, Zhao Xinyu, Zhao Zhuoran, Zhong Yunfei, Zhu Shengyu

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 研究大语言模型社交智能，提出Zijing框架，含测量基准SoMBench、训练方法Zing及推理架构Actio，通过实验证明社交智能大语言模型在评估、内化和落地方面需协同发展。

AgentOmnia: Scaling Agentic Models for Full-Scenario Applications

AgentOmnia：用于全场景应用的规模化智能体模型

Hao Jiang, Gangtao Xin, Yingdi Huang, Guojie Zhu, Jiangshan Zhang, Xinyuan Lin, Yunkun Xu, Chengyu Shen, Wenlong Fei, Jiawei Li, Yujie Fu, Sichen Kang, Tingyu Xie, Yedi Hu, Jingren Zhang, Hongcheng Gao, Jianshu Zeng, Chong Chen, Chang Guo, Chao Feng, Feng Wang, Fulin Lin, Jinchao Ma, Lang Mei, Li Huang, Liyan Liu, Qing He, Shuting Tao, Siyu Mo, Xiangnan Chen, Xiaohan Yu, Xiaoyang Li, Yanheng Hou, Yanyu Wu, Zhihan Yang, Wentao Zhang, Yang Gao, Zhao Cao

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 研究大型语言模型智能体全场景扩展问题，提出AgentOmnia框架，结合多种技术构建环境、工具和任务，通过多种方式支持训练后处理，能将多个基准测试通过率和宏平均率大幅提高，实现广泛改进并为自我进化提供证据。

Comments 69 pages, 18 figures, 13 tables

The Clinical Trial Pipeline Reveals the Next Wave of Artificial Intelligence in Healthcare: A Multidimensional Analysis of 8,532 Registered Studies

临床试验管道揭示医疗保健领域人工智能的下一波浪潮：对8532项注册研究的多维分析

Lior Rokach

专题命中 医学数据与评测 ：clinical AI(abstract)

AI总结 该研究通过对8532项注册研究多维分析，揭示医学人工智能临床试验格局。用关键词搜索和分类器识别试验，从多维度分类，发现虽从回顾转向前瞻，但在规模、专业覆盖等方面有差距，未来进展取决于弥合这些差距。

MIRA-Ev:A Benchmark for Granular Evidence Detection and Relational Reasoning in Clinical Exams

MIRA-Ev：临床考试中颗粒证据检测和关系推理的基准

Iker De la Iglesia, Johanna Ramirez-Romero, Jose Maria Villa-Gonzalez, Irune Urroz García, Ander Barrena, Aitziber Atutxa

机构 * HiTZ Center, University of the Basque Country (EHU)（巴斯克大学HiTZ中心） ； Hospital Universitario de Cruces（克鲁塞斯大学医院） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 该研究针对临床自然语言处理评估局限，引入基于西班牙MIR执照考试案例的MIRA-Ev基准，重新注释相关关系并发布多语言版本，将评估组织为证据句子检索、论证组件提取和关系分类的三层任务层次结构。

Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery

行动之前：在前瞻性假设发现任务上对大语言模型进行基准测试

Tianyun Zhong, Wangyi Jiang, Wei Wang, Xuanang Chen, Yaojie Lu, Shiwei Ye, Yuzhen Shi, Boyu Yang, Jinghang Wang, Han Li, Weiqi Zhai, Bing Zhao, Hu Wei, Haiyang Yu, Yongbin Li, Hongyu Lin, Le Sun, Xianpei Han

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 研究旨在评估大语言模型在开放式结论前阶段的发现能力，引入前瞻性假设发现任务及评估框架HypoArena，提出回顾性上下文回归构建基准数据，实验揭示模型能力分层及效应，结果支持将其作为评估大语言模型制定调查方向的独特目标。

BioTIER: A Refusal Benchmark for Targeted Biological Risk Mitigation

BioTIER：用于针对性生物风险缓解的拒绝基准

Eleanor M. Marshall, Pedro Medeiros, Peter Peneder, Nelly Mak, Jacob Kaffey, Faith Rovenolt, Mac Walker, Seth Donoughe, Jasper Götting

专题命中 医学数据与评测 ：biomedical(abstract)

AI总结 针对大语言模型生物滥用问题，引入BioTIER基准，将生物内容分三个风险集，含542个专家策划提示及元数据，可隔离控制灾难性风险信息，确保生物科学知识获取，助力针对性生物风险缓解。

Comments 52 pages, 9 main figures, 9 supplementary figures, 1 main table, 9 supplementary tables

Agent-Alternation-Free Epistemic Metric Temporal Logic with Past: Model Checking and Complexity

带过去时态的无主体交替认知度量时态逻辑：模型检查与复杂性

Benedikt Bollig, Matthias Függer, Thomas Nowak, Paul Zeinaty

专题命中 医学数据与评测 ：diagnosis(abstract)

AI总结 研究带过去时态的无主体交替认知度量时态逻辑的模型检查，通过结合时态测试自动机与完美回忆观察者进行分析，证明其模型检查为EXPSPACE完全，给出了该逻辑在特定条件下的复杂性结论。

Comments 31 pages