多模态大模型

A Composable Multimodal Framework for cine CMR-Text-Driven Prediction of Heart Failure Outcomes

用于电影心脏磁共振-文本驱动的心力衰竭结局预测的可组合多模态框架

Jianzhou Chen, Jinyang Sun, Xiumei Wang, Xi Chen, Heyu Chu, Guo Song, Yuji Luo, Xingping Zhou, Rong Gu

机构 * Department of Cardiology, Nanjing Drum Tower Hospital, State Key Laboratory of Pharmaceutical Biotechnology, Nanjing University（南京鼓楼医院心内科，南京大学国家药物生物技术重点实验室） ； School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院） ； College of Electronic and Optical Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学电子与光学工程学院） ； College of Integrated Circuit Science and Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学集成电路科学与工程学院） ； Department of Cardiology, Nanjing Drum Tower Hospital Clinical College of Nanjing Medical University（南京医科大学南京鼓楼医院临床学院心内科） ； Institute of Quantum Information and Technology, Nanjing University of Posts and Telecommunications（南京邮电大学量子信息与技术研究院） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种可组合多模态框架，通过整合cine CMR影像、结构化临床指标和非结构化文本记录，实现比单模态AI算法更准确的心力衰竭预后预测，并支持个性化治疗优化。

IPO-Mine: A Toolkit and Dataset for Section-Structured Analysis of Long, Multimodal IPO Documents

IPO-Mine：用于长多模态IPO文档的章节结构化分析的工具包和数据集

Michael Galarnyk, Siddharth Lohani, Vidhyakshaya Kannan, Sagnik Nandi, Aman Patel, Liqin Ye, Arnav Hiray, Rutwik Routu, Prasun Banerjee, Siddhartha Somani, Sudheer Chava

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Sai University（赛大学） ； Duke University（杜克大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IPO-Mine工具包和数据集，通过标准化解析IPO文件为章节结构化文本和图像，构建大规模多模态数据集，并建立图表评估任务，揭示多模态模型在长文档分析中的对齐挑战。

Comments 12 pages

FLORO: A Multimodal Geospatial Foundation Model for Ecological Remote Sensing Across Sensors and Scales

FLORO：面向跨传感器与尺度的生态遥感多模态地理空间基础模型

Jorge L. Rodriguez, Victor Angulo Morales, Areej Alwahas, Mariana Elias Lara, Fida Mohammad Thoker, Kasper Johansen, Bernard Ghanem, Fernando T. Maestre, Matthew F. McCabe

机构 * Biological and Environmental Science and Engineering Division, King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹科技大学生物与环境科学与工程 division） ； Computer, Electrical and Mathematical Science and Engineering Division, King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹科技大学计算机、电气与数学科学与工程 division） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出FLORO多模态地理空间基础模型，通过掩码自编码在异构遥感数据上预训练，利用可用性感知输入统一异构传感器配置，在PANGAEA基准上实现强迁移性能。

Comments 29 pages, 9 figures

EVADE-Bench: Multimodal Benchmark for Evaluating and Enhancing Evasive Content Detection

EVADE-Bench：用于评估和增强规避性内容检测的多模态基准

Ancheng Xu, Zhihao Yang, Jingpeng Li, Guanghu Yuan, Longze Chen, Liang Yan, Jiehui Zhou, Zhen Qin, Hengyu Chang, Yukun Chen, Hamid Alinejad-Rokny, Min Yang

机构 * SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Alibaba Group（阿里巴巴集团） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对电商平台中LLM/VLM易受规避性内容攻击的问题，提出首个专家标注的中文多模态基准EVADE-Bench，评估26个模型并发现规则分类可提升检测一致性，多智能体分解策略能显著提高准确率。

Comments SIGIR 2026

MMTABREAL: Real-World Benchmark for Multimodal Table Understanding

MMTABREAL：多模态表格理解的真实世界基准

Prasham Titiya, Jainil Trivedi, Chitta Baral, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态表格理解，构建了包含500个真实表格和4021个问答对的人工筛选基准MMTABREAL，评估发现现有模型在视觉定位、空间对齐和多步推理上存在20-40%的性能差距。

LiveK12Bench: Have Large Multimodal Models Truly Conquered High School-level Examinations?

LiveK12Bench: 大型多模态模型真的征服了高中水平的考试吗？

Xiaohan Wang, Mingze Yin, Yilin Zhao, Gang Liu, Dian Li

机构 * Tencent PCG（腾讯PCG） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 本文提出动态多学科基准LiveK12Bench，通过自动化流水线和新颖的模拟考试评估方案，揭示大型多模态模型在真实考试场景下性能显著下降，尤其对复杂视觉布局敏感。

VIDA: A dataset for Visually Dependent Ambiguity in Multimodal Machine Translation

VIDA: 多模态机器翻译中视觉依赖歧义的数据集

Jingheng Pan, Xintong Wang, Longyue Wang, Liang Ding, Weihua Luo, Chris Biemann

机构 * Department of Informatics, Universität Hamburg（汉堡大学信息学院） ； Alibaba Group（阿里巴巴集团） ； Alibaba Cloud（阿里云） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出VIDA数据集，包含2500个精心策划的实例，用于评估多模态机器翻译中需要视觉证据才能解决的歧义，并引入以歧义消解为中心的指标，实验表明链式思维微调能提升跨分布歧义消解能力。

VT-Bench: A Unified Benchmark for Visual-Tabular Multi-Modal Learning

VT-Bench：视觉-表格多模态学习的统一基准

Zi-Yi Jia, Zi-Jian Cheng, Xin-Yue Zhang, Kun-Yang Yu, Zhi Zhou, Yu-Feng Li, Lan-Zhe Guo

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出首个视觉-表格多模态基准VT-Bench，涵盖9个领域14个数据集，评估23个模型，揭示视觉-表格学习的挑战。

Multi-SpatialMLLM: Multi-Frame Spatial Understanding with Multi-Modal Large Language Models

Multi-SpatialMLLM: 多模态大语言模型的多帧空间理解

Runsen Xu, Weiyao Wang, Hao Tang, Xingyu Chen, Xiaodong Wang, Fu-Jen Chu, Matt Feiszli, Kevin J. Liang

机构 * FAIR, Meta（FAIR，Meta） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出一种框架，通过整合深度感知、视觉对应和动态感知等基本空间技能，使多模态大语言模型具备多帧空间理解能力，并构建MultiSPA数据集和基准测试，模型Multi-SpatialMLLM在多项任务上取得显著提升。

Comments CVPR 2026 Camera Ready. 27 pages. Project page: https://runsenxu.com/projects/Multi-SpatialMLLM

The Expense of Seeing: Attaining Trustworthy Multimodal Reasoning Within the Monolithic Paradigm

视见之代价：在单体范式内实现可信的多模态推理

Karan Goyal

机构 * IIIT Delhi, India（德里印度理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种新的多模态评估方法，通过信息论视角揭示了多模态推理中的视见代价问题，提出了三个新指标并提出了语义充分性准则，挑战了传统多模态评估方法。

Comments Addresses practical viability of Vlabel construction. Writing is grounded. Acknowledgement is duly added

SVFSearch: A Multimodal Knowledge-Intensive Benchmark for Short-Video Frame Search in the Gaming Vertical Domain

SVFSearch: 一种面向游戏垂直领域的多模态知识密集型短视频帧搜索基准

Lingtao Mao, Huangyu Dai, Xinyu Sun, Zihan Liang, Ben Chen, Chenyi Lei, Wenwu Ou

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SVFSearch，首个针对中文游戏领域短视频帧搜索的多模态知识密集型基准，通过5000个四选一测试示例和4198个辅助训练示例，评估了从直接问答到计划-行动-重新计划代理等多种方法在短视频帧搜索中的性能。

PlantTraitNet: An Uncertainty-Aware Multimodal Framework for Global-Scale Plant Trait Inference from Citizen Science Data

PlantTraitNet: 一种考虑不确定性的多模态框架，用于从公民科学数据中进行全球尺度植物特性推断

Ayushi Sharma, Johanna Trost, Daniel Lusk, Johannes Dollinger, Julian Schrader, Christian Rossi, Javier Lopatin, Etienne Laliberté, Simon Haberstroh, Jana Eichel, Daniel Mederer, Jose Miguel Cerda-Paredes, Shyam S. Phartyal, Lisa-Maricia Schwarz, Anja Linstädter, Maria Conceição Caldeira, Teja Kattenborn

机构 * GeoSense-Freiburg（弗赖堡GeoSense） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出PlantTraitNet，一种多模态、多任务且考虑不确定性的深度学习框架，通过弱监督从公民科学照片中预测四个关键植物特性（植物高度、叶面积、特定叶面积和氮含量），并利用空间聚合生成全球特性分布图，验证结果表明其在所有评估特性上均优于现有特性地图。

Comments Accepted at the 40th AAAI Conference on Artificial Intelligence (AAAI-26). Link: https://ojs.aaai.org/index.php/AAAI/article/view/41272

GeoSym127K: Scalable Symbolically-verifiable Synthesis for Multimodal Geometric Reasoning

GeoSym127K：可扩展的符号验证合成用于多模态几何推理

Jinhao Jing, Zheng Ma, Jinwei Liang, Qiannian Zhao, Shawn Chen, Jing Yang, Por Lip Yee, Prayag Tiwari, Jingjing Bai, Benyou Wang, Lewei Lu, Zhan Su

机构 * School of Information Technology, Halmstad University（哈姆斯塔德大学信息科技学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GeoSym引擎，通过类型条件语法和分析SymGT求解器生成精确符号地面真实值，构建了包含51K高清图像、127K问题和55K答案验证CoT QA对的GeoSym127K数据集，并展示了其在几何推理任务中的性能提升。

BEACON: A Multimodal Dataset for Learning Behavioral Fingerprints from Gameplay Data

BEACON：一个用于从游戏数据中学习行为指纹的多模态数据集

Ishpuneet Singh, Gursmeep Kaur, Uday Pratap Singh Atwal, Guramrit Singh, Gurjot Singh, Maninder Singh

机构 * Computer Science and Engineering Department Thapar Institute of Engineering and Technology（计算机科学与工程系 泰帕尔工程与技术学院） ； David R Cheriton School of Computer Science University of Waterloo, Canada（大卫·R·切里顿计算机科学学院 温哥华大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 BEACON数据集通过高精度运动技能和认知负荷，为行为生物特征的鲁棒性测试提供严格压力测试，支持连续认证、行为建模和多模态学习。

MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory

MemEye：一种以视觉为中心的多模态代理记忆评估框架

Minghao Guo, Qingyue Jiao, Zeru Shi, Yihao Quan, Boxuan Zhang, Danrui Li, Liwei Che, Wujiang Xu, Shilong Liu, Zirui Liu, Mubbasir Kapadia, Vladimir Pavlovic, Jiang Liu, Mengdi Wang, Yiyu Shi, Dimitris N. Metaxas, Ruixiang Tang

机构 * Rutgers（罗格斯大学） ； Notre Dame（圣母大学） ； Princeton（普林斯顿大学） ； UMN（明尼苏达大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 MemEye框架从视觉证据的粒度和证据使用的复杂性两个维度评估多模态代理记忆，通过8个生活场景任务构建新基准，验证记忆方法在细粒度视觉细节保留和时间状态推理上的不足。

Comments 46 pages, 15 figures

MultiEmo-Bench: Multi-label Visual Emotion Analysis for Multi-modal Large Language Models

MultiEmo-Bench：多标签视觉情绪分析用于多模态大语言模型

Tianwei Chen, Takuya Furusawa, Yuki Hirakawa, Ryotaro Shimizu, Mo Fan, Takashi Wada

机构 * ZOZO NEXT Inc.（ZOZO NEXT公司） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一个多标签视觉情绪分析基准数据集，用于评估多模态大语言模型对图像引发情绪的预测能力。通过改进标注方案，提供更可靠的数据集，并评估了多个模型在情绪预测上的表现。

MMCL-Bench: Multimodal Context Learning from Visual Rules, Procedures, and Evidence

MMCL-Bench：多模态上下文学习从视觉规则、程序和证据

Yifan Chen, Fei Yin, Qingyan Bai, Zicheng Lin, Yujiu Yang

机构 * University of Cambridge（剑桥大学） ； HKUST（香港科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MMCL-Bench提出一个多模态上下文学习基准，要求模型从视觉或混合模态教学上下文中学习规则、程序和经验模式，并应用于新实例。评估发现当前系统在多模态上下文学习上仍不稳健。

RW-Post: Auditable Evidence-Grounded Multimodal Fact-Checking in the Wild

RW-Post: 实时可审计的多模态事实核查证据基础

Danni Xu, Shaojing Fan, Harry Cheng, Mohan Kankanhalli

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 RW-Post提出一个可审计的多模态事实核查基准，通过人机协同提取和审计流程，链接社交媒体帖子与推理轨迹及证据项，评估不同场景下的视觉 grounding 和证据利用能力。

Comments This submission was made in error. It was intended to replace the existing submission arXiv:2512.22933 rather than create a new submission

RW-Post: Auditable Evidence-Grounded Multimodal Fact-Checking in the Wild

RW-Post：可审计的证据导向多模态事实核查

Danni Xu, Shaojing Fan, Harry Cheng, Mohan Kankanhalli

机构 * School of Computing (SoC), National University of Singapore (NUS)（新加坡国立大学计算机学院（SoC）） ； National University of Singapore (NUS)（新加坡国立大学） ； Department of Electrical and Computer Engineering (ECE), National University of Singapore (NUS)（新加坡国立大学电子与计算机工程系（ECE）） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 RW-Post提出一种可审计的多模态事实核查基准，通过人类事实核查文章提取证据，支持不同场景下的可控评估，提升视觉 grounding 和证据利用能力。

Comments Code and dataset will be released at https://github.com/xudanni0927/AgentFact

PromptDx: Differentiable Prompt Tuning for Multimodal In-Context Alzheimer's Diagnosis

PromptDx: 为多模态上下文阿尔茨海默病诊断的可微提示微调

Lujia Zhong, Yihao Xia, Shuo Huang, Jianwei Zhang, Yonggang Shi

机构 * Stevens Neuroimaging and Informatics Institute, Keck School of Medicine, University of Southern California（斯蒂文斯神经影像与信息学研究所，凯克医学院，南加州大学） ； Ming Hsieh Department of Electrical and Computer Engineering, Viterbi School of Engineering, University of Southern California（明希德电气与计算机工程系，维特比工程学院，南加州大学） ； Alfred E. Mann Department of Biomedical Engineering, Viterbi School of Engineering, University of Southern California（阿尔弗雷德·E·曼生物医学工程系，维特比工程学院，南加州大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 PromptDx通过可微提示微调机制，结合预训练的TabPFN实现多模态上下文诊断，提升数据效率和临床适用性。

LENS: LLM-Enabled Narrative Synthesis for Mental Health by Aligning Multimodal Sensing with Language Models

LENS：通过对齐多模态传感与语言模型实现LLM赋能的叙事合成用于心理健康

Wenxuan Xu, Arvind Pillai, Subigya Nepal, Amanda C Collins, Daniel M Mackin, Michael V Heinz, Tess Z Griffin, Nicholas C Jacobson, Andrew Campbell

机构 * Dartmouth College（达特茅斯学院） ； University of Virginia（弗吉尼亚大学） ； Massachusetts General Hospital（麻省总医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LENS框架，通过将多模态传感数据与语言模型对齐，生成临床相关的心理健康叙述。该方法构建大规模数据集并训练补丁级编码器，提升对长时序传感器数据的处理能力，实验显示其在自然语言处理指标和症状严重性准确性上优于基线模型。

Comments Camera-ready version. Additional experiments

Prompt to Protection: A Comparative Study of Multimodal LLMs in Construction Hazard Recognition

提示到保护：多模态大语言模型在建筑危险识别中的比较研究

Nishi Chaudhary, S M Jamil Uddin, Sathvik Sharath Chandra, Anto Ovid, Alex Albert

机构 * Department of Construction Management, Colorado State University（科罗拉多州立大学建设管理系） ； Department of Civil, Construction, and Environmental Engineering, North Carolina State University（北卡罗来纳州立大学土木、建设与环境工程系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文比较了五种先进多模态大语言模型在建筑危险识别中的表现，发现提示策略显著影响性能，CoT提示效果最佳，GPT-4.5和GPT-o3表现突出，强调了提示设计在提升建筑安全应用准确性中的关键作用。

LithoBench: Benchmarking Large Multimodal Models for Remote-Sensing Lithology Interpretation

LithoBench：用于遥感岩石学解释的大型多模态模型基准测试

Jun Wang, Fengpeng Li, Hang Dong, Tianjin Huang, Wei Han

机构 * School of Computer Science, China University of Geosciences（中国地质大学（北京）计算机学院） ； PRADA Lab, King Abdullah University of Science and Technology（科廷大学PRADA实验室） ； Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LithoBench，一个用于评估遥感岩石学解释中地质语义理解的多级基准，包含10000个专家标注实例，涵盖12种岩石类型，通过专家反馈的半自动化流程提升评估可靠性。

Think Before You Drive: World Model-Inspired Multimodal Grounding for Autonomous Vehicles

在驾驶前思考：基于世界模型的多模态接地用于自动驾驶车辆

Haicheng Liao, Huanming Shen, Bonan Wang, Yongkang Li, Yihong Tang, Chengyue Wang, Dingyi Zhuang, Kehua Chen, Hai Yang, Chengzhong Xu, Zhenning Li

机构 * University of Macau（澳门大学） ； UESTC（电子科技大学） ； Purdue University（普渡大学） ； McGill University（麦吉尔大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ThinkDeeper框架，通过预测未来空间状态提升自动驾驶车辆的自然语言指令理解能力，结合超图引导解码器融合多模态输入，提出DrivePilot数据集并在多个基准测试中表现优异。

Physics-Based Benchmarking Metrics for Multimodal Synthetic Images

基于物理的多模态合成图像基准度量指标

Kishor Datta Gupta, Marufa Kamal, Md. Mahfuzur Rahman, Fahad Rahman, Mohd Ariful Haque, Sunzida Siddique

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出结合大语言模型与推理、知识映射和视觉语言模型的物理约束多模态数据评估指标，以提升多模态合成图像的语义和结构准确性。

TableVista: Benchmarking Multimodal Table Reasoning under Visual and Structural Complexity

TableVista：在视觉和结构复杂性下多模态表格推理的基准测试

Zheyuan Yang, Liqiang Shang, Junjie Chen, Xun Yang, Chenglong Xu, Bo Yuan, Chenyuan Jiao, Yaoru Sun, Yilun Zhao

机构 * Tongji University（同济大学） ； University of Bristol（布里斯托大学） ； Tianjin University（天津大学） ； Yale University（耶鲁大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 TableVista包含3000个高质量表格推理问题，通过多风格渲染和转换流程生成30000个多模态样本，评估29种基础模型在不同复杂性下的表现，揭示结构复杂性和视觉整合对推理一致性的影响。

Comments ACL 2026 Findings

TRIP-Evaluate: An Open Multimodal Benchmark for Evaluating Large Models in Transportation

TRIP-Evaluate: 一个用于评估交通领域大模型的开放多模态基准

Han Gong, Zhen Zhou, Yunyang Shi, Yan Tan, Jinbiao Huo, Qi Hong, Zhiyuan Liu

机构 * School of Transportation（交通学院） ； Southeast University（东南大学） ； School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院） ； Jiangnan University（江南大学） ； Department of Civil and Environmental Engineering（土木与环境工程系） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 TRIP-Evaluate是首个开放多模态交通评估基准，通过837项任务覆盖车辆、交通管理、旅行者和规划设计功能，提供能力、模态和难度标签，支持跨模态诊断，揭示大模型在多步工程计算、规则约束推理和多模态场景理解方面的不足。

Comments 19 pages, 12 figures

CheXthought: A global multimodal dataset of clinical chain-of-thought reasoning and visual attention for chest X-ray interpretation

CheXthought：一个包含临床推理链和视觉注意力的全球多模态数据集，用于胸部X光解读

Sonali Sharma, Jin Long, George Shih, Sarah Eid, Christian Bluethgen, Francine L. Jacobson, Emily B. Tsai, Global Radiology Consortium, Ahmed M. Alaa, Curtis P. Langlotz

机构 * Center for Artificial Intelligence in Medicine and Imaging（医学与影像人工智能中心） ； Department of Radiology（放射科） ； Department of Pediatrics（儿科） ； Department of Radiology, Weill Cornell Medicine（韦氏 Cornell 医学院放射科） ； Department of Radiology, Brigham and Women’s Hospital（布里奇妇产科医院放射科） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, San Francisco（加州大学旧金山分校） ； Department of Biomedical Data Science（生物医学数据科学部） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 CheXthought数据集通过501名放射科医生的50312例多读X光片，提供了103592条推理链和6609082条同步视觉注意力标注，展示了临床推理模式，并在事实准确性、空间定位、病理分类、视觉忠实度、时间推理和不确定性沟通等方面提升了视觉语言模型性能。

Comments 51 pages, 7 figures, 10 tables

VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

VLM评判者能排序但无法评分：多模态评估中的任务依赖性不确定性

Divake Kumar, Sina Tayebati, Devashri Naik, Ranganath Krishnan, Amit Ranjan Trivedi

机构 * University of Illinois at Chicago（伊利诺伊大学香槟分校） ； AI Labs at Capital One（Capital One人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文通过置信预测框架分析VLM作为评判者的可靠性，发现任务依赖性显著影响评估不确定性，提出排名-评分解耦问题，揭示任务难度和标注质量对区间宽度的影响。

Structured and Abstractive Reasoning on Multi-modal Relational Knowledge Images

多模态关系知识图像上的结构化与抽象推理

Yichi Zhang, Zhuo Chen, Lingbing Guo, Wen Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出STAR-64K数据集及两阶段增强框架，通过合成多模态指令数据提升模型在抽象推理任务中的性能，实验表明小型模型在STAR任务中超越GPT-4o。

Comments Accepted by Findings of ACL 2026