多模态大模型

M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering

M$^3$-VQA：多模态、多实体、多跳视觉问答的基准测试

Jiatong Ma, Longteng Guo, Yuchen Liu, Zijia Zhao, Dongze Hao, Xuanxu Lin, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 M$^3$-VQA引入了多实体问题，要求模型在多个文档间进行顺序和并行多跳推理，揭示了多模态大语言模型在知识获取和推理方面的挑战。

QEVA: A Reference-Free Evaluation Metric for Narrative Video Summarization with Multimodal Question Answering

QEVA：一种基于多模态问答的无参考视频文本摘要评估指标

Woojun Jung, Junyeong Kim

机构 * Department of Artificial Intelligence, Chung-Ang University（Chung-Ang大学人工智能系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出QEVA，一种无参考视频摘要评估指标，通过多模态问答直接评估候选摘要与源视频，从覆盖性、事实性和时间顺序三个维度进行评估，引入MLVU(VS)-Eval基准数据集，实验表明QEVA与人类判断的关联性更高。

Comments Accepted to Findings of EMNLP 2025

EmoTrans: A Benchmark for Understanding, Reasoning, and Predicting Emotion Transitions in Multimodal LLMs

EmoTrans：一个多模态大语言模型中情感过渡理解、推理和预测的基准测试

He Hu, Tengjin Weng, Zebang Cheng, Yu Wang, Jiachen Luo, Björn Schuller, Zheng Lian, Laizhong Cui

机构 * Shenzhen University（深圳大学） ； Guangdong Laboratory of Artificial Intelligence（广东人工智能与数字经济实验室） ； Queen Mary University of London（女王学院伦敦大学） ； Technical University of Munich（慕尼黑技术大学） ； Imperial College London（伦敦帝国学院） ； Tongji University（同济大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 EmoTrans旨在评估多模态视频中情感动态理解能力，包含1000个手工标注的视频片段和3000多个任务特定问题-答案对，通过四个任务形成从粗粒度检测到深度推理的评估框架，发现当前大语言模型在细粒度情感动态建模上仍存在挑战。

EuropeMedQA Study Protocol: A Multilingual, Multimodal Medical Examination Dataset for Language Model Evaluation

欧洲医学问答研究协议：一个多语言、多模态的医学考试数据集用于语言模型评估

Francesco Andrea Causio, Vittorio De Vita, Olivia Riccomi, Michele Ferramola, Federico Felizzi, Alessandro Tosi, Antonio Cristiano, Lorenzo De Mori, Chiara Battipaglia, Melissa Sawaya, Luigi De Angelis, Marcello Di Pumpo, Alessandra Piscitelli, Pietro Eric Risuleo, Alessia Longo, Giulia Vojvodic, Mariapia Vassalli, Bianca Destro Castaniti, Nicolò Scarsi, Manuel Del Medico

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出欧洲医学问答数据集，旨在通过多语言多模态数据评估语言模型性能，评估跨语言迁移和视觉推理能力。

UNIKIE-BENCH: Benchmarking Large Multimodal Models for Key Information Extraction in Visual Documents

UNIKIE-BENCH：用于视觉文档中关键信息提取的大型多模态模型基准测试

Yifan Ji, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Qian Zhang, Zhibo Yang, Junyang Lin, Yu Gu, Ge Yu, Maosong Sun

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出UNIKIE-BENCH基准，用于评估大型多模态模型在视觉文档关键信息提取中的性能，揭示了不同场景下模型的性能差异及挑战。

Automated Detection of Dosing Errors in Clinical Trial Narratives: A Multi-Modal Feature Engineering Approach with LightGBM

临床试验叙述中剂量错误自动检测：基于LightGBM的多模态特征工程方法

Mohammad AL-Smadi

机构 * Qatar University（卡塔尔大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于LightGBM的多模态特征工程方法，用于自动检测临床试验叙述中的剂量错误，通过结合多种特征提取方法提升模型性能，克服类别不平衡问题。

Comments Accepted for CL4Health 2026, LREC26 conference

A Two-Stage Multi-Modal MRI Framework for Lifespan Brain Age Prediction

一种用于全生命周期脑年龄预测的双阶段多模态MRI框架

Dingyi Zhang, Ruiying Liu, Yun Wang

机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Department of Biomedical Informatics, Emory University（埃默里大学生物医学信息学系） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出双阶段多模态MRI框架，通过独立处理模态并融合评估，实现对全生命周期脑成熟度的统一评估。

Cognitive Chain-of-Thought (CoCoT): Structured Multimodal Reasoning about Social Situations

认知链式推理（CoCoT）：关于社会情境的结构化多模态推理

Eunkyu Park, Wesley Hanwen Deng, Gunhee Kim, Motahhare Eslami, Maarten Sap

机构 * Seoul National University（首尔国立大学） ； Human-Computer Interaction Institute, Carnegie Mellon University（人机交互研究所，卡内基梅隆大学） ； Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CoCoT框架，通过感知、情境推断和规范应用三个阶段提升多模态社会推理能力，在多个任务中取得显著提升。

Comments Under review; 17 pages

Chain-of-Thought Degrades Visual Spatial Reasoning Capabilities of Multimodal LLMs

基于链式思维的多模态大语言模型视觉空间推理能力退化

Sai Srinivas Kancheti, Aditya Sanjiv Kanade, Vineeth N. Balasubramanian, Tanuja Ganu

机构 * Microsoft Research India（微软印度研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究发现链式思维范式在视觉空间推理任务中导致性能下降，通过实验揭示多模态模型在空间基准测试中的关键缺陷，并指出需转向以视觉为中心的推理方法。

Mind's Eye: A Benchmark of Visual Abstraction, Transformation and Composition for Multimodal LLMs

Mind's Eye：多模态大语言模型的视觉抽象、转换与组合基准

Rohit Sinha, Aditya Kanade, Sai Srinivas Kancheti, Vineeth N Balasubramanian, Tanuja Ganu

机构 * CSE Dept., IIT Hyderabad（IIT海得拉巴计算机科学与工程系） ； Microsoft Research（微软研究院） ； IIT Hyderabad（IIT海得拉巴） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Mind's Eye基准，通过A-R-T分类评估多模态大语言模型的视觉认知能力，发现人类准确率达80%，而顶级模型低于50%，揭示模型在视觉空间推理上的不足。

KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

KMMMU：评估韩语多学科多模态理解

Nahyun Lee, Guijin Son, Hyunwoo Ko, Chanyoung Kim, JunYoung An, Kyubeen Han, Il-Youp Kwak

机构 * Chung-Ang University（Chung-Ang 大学） ； Seoul National University（首尔国立大学） ； SK A.X ； OnelineAI ； HAE-RAE 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

AI总结 KMMMU是首个针对韩语文化机构场景的多模态理解评估基准，包含3466道韩语原生考试题，涵盖九大学科和九种视觉模态，验证了多模态模型在韩语环境下的性能差异与挑战。

Comments 8 pages

MM-Telco: Benchmarks and Multimodal Large Language Models for Telecom Applications

MM-Telco: 电信应用的多模态大语言模型基准与工具

Anshul Kumar, Gagan Raj Gupta, Manish Rai, Apu Chakraborty, Ashutosh Modi, Abdelaali Chaoub, Soumajit Pramanik, Moyank Giri, Yashwanth Holla, Sunny Kumar, M. V. Kiran Sooraj

机构 * IIT Bhilai（比哈尔理工学院） ； IIT Kanpur（坎pur理工学院） ； INPT（伊斯兰北方技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MM-Telco，为电信领域设计的多模态基准和模型，旨在解决领域特定挑战，通过基准任务和实验验证提升大语言模型在电信中的性能。

Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems

在何时不回答：评估多模态推理系统中的退避

Nishanth Madhusudhan, Vikas Yadav, Alexandre Lacoste

机构 * ServiceNow Research（ServiceNow研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出MM-AQA基准，通过视觉模态依赖性和证据充分性变换生成不可回答实例，评估三种前沿VLM和两种MAS架构，发现VLM在标准提示下 rarely 退避，MAS提升退避但引入准确率-退避权衡，序列设计表现优异，表明退避意识训练比提示或更多代理更重要。

Comments 10 pages and 4 figures (excluding appendix)

Good Scores, Bad Data: A Metric for Multimodal Coherence

好分数，坏数据：一种多模态一致性度量

Vasundra Srinivasan

机构 * AI Architect（人工智能架构师） ； Author, Data Engineering for Multimodal AI (O’Reilly)（多模态AI数据工程作者（O’Reilly）） ； Stanford School of Engineering, Graduate Certificate (in progress)（斯坦福工程学院，研究生证书（在读）） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出多模态一致性度量（MCS），用于评估多模态融合质量，不依赖下游模型。通过四个维度（身份、空间、语义、决策）评估，MCS在1000张视觉基因组图像和150张COCO图像上验证，比任务准确率更敏感。

Comments 9 pages, 6 figures, NeurIPS 2024 format

Dental-TriageBench: Benchmarking Multimodal Reasoning for Hierarchical Dental Triage

牙科分诊基准：用于分层牙科分诊的多模态推理基准

Ziyi He, Yushi Feng, Shuangyu Yang, Yinghao Zhu, Xichen Zhang, Pak Chuen Patrick Tai, Hei Yuet Lo, Songying Wu, Weifa Yang, Lequan Yu

机构 * School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院） ； Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院） ； The Prince Philip Dental Hospital（菲利普王子牙科医院） ； Li Ka Shing Faculty of Medicine, The University of Hong Kong（香港大学利滋医学学院） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

AI总结 本文提出Dental-TriageBench，首个专家标注的多模态牙科分诊基准，通过246个脱敏案例评估19种模型在细粒度治疗层面分诊中的表现，揭示了人类与模型间的显著差距。

FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios

FORGE：面向制造场景的细粒度多模态评估

Xiangru Jian, Hao Xu, Wei Pang, Xinjian Zhao, Chengyu Tao, Qixin Zhang, Xikun Zhang, Chao Zhang, Guanzhi Deng, Alex Xue, Juan Du, Tianshu Yu, Garth Tarr, Linqi Song, Qiuzhuang Sun, Dacheng Tao

机构 * University of Waterloo（滑铁卢大学） ； University of Sydney（悉尼大学） ； Singapore Management University（新加坡管理大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Hunan University（湖南大学） ； Nanyang Technological University（南洋理工大学） ； Royal Melbourne Institute of Technology（皇家墨尔本理工大学） ； City University of Hong Kong（香港城市大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FORGE，构建高质量多模态数据集并评估18种先进MLLM在制造任务中的表现，揭示领域知识不足是主要瓶颈，展示结构化标注可提升模型精度。

Comments Project Page:https://ai4manufacturing.github.io/forge-web

VisText-Mosquito: A Unified Multimodal Dataset for Visual Detection, Segmentation, and Textual Explanation on Mosquito Breeding Sites

VisText-Mosquito：一种统一的多模态数据集，用于蚊虫繁殖地的视觉检测、分割和文本解释

Md. Adnanul Islam, Md. Faiyaz Abdullah Sayeedi, Md. Asaduzzaman Shuvo, Shahanur Rahman Bappy, Md Asiful Islam, Swakkhar Shatabda

机构 * United International University, Bangladesh（孟加拉国联合国际大学） ； University of Arizona, USA（美国亚利桑那大学） ； BRAC University, Bangladesh（孟加拉国布拉卡大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出VisText-Mosquito数据集，整合视觉和文本数据以支持自动化检测、分割和解释，通过YOLOv9s和YOLOv11n-Seg模型实现高精度检测与分割，并利用大视觉语言模型生成文本解释，强调预防胜于治疗的主题。

Comments Accepted at CVPRW 2026

HM-Bench: A Comprehensive Benchmark for Multimodal Large Language Models in Hyperspectral Remote Sensing

HM-Bench：多模态大语言模型在高光谱遥感中的综合基准

Xinyu Zhang, Zurong Mai, Qingmei Li, Zjin Liao, Yibin Wen, Yuhang Chen, Xiaoya Fan, Chan Tsz Ho, Bi Tianyuan, Haoyuan Liang, Ruifeng Su, Zihao Qian, Juepeng Zheng, Jianxi Huang, Yutong Lu, Haohuan Fu

机构 * Sun Yat-sen University（中山大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； China Agricultural University（中国农业大学） ； Southwest Jiaotong University（西南交通大学） ； Southwest University（西南大学） ； National Supercomputing Center in Shenzhen（国家超级计算深圳中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HM-Bench，首个用于评估多模态大语言模型在高光谱图像理解中的基准，通过构建19337对问题-答案对，探索模型在处理高维高光谱数据中的挑战，揭示视觉输入在空间-光谱推理中的优势。

Detection of Hate and Threat in Digital Forensics: A Case-Driven Multimodal Approach

数字取证中的仇恨与威胁检测：基于案例的多模态方法

Ponkoj Chandra Shill

机构 * University of Nevada, Reno（内华达大学雷诺分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种基于案例的多模态方法，用于数字取证中的仇恨与威胁检测，通过区分文本证据、关联上下文文本和图像证据，提升取证的可追溯性和准确性。

Comments 8 pages, 4 figures

Cognitive Mismatch in Multimodal Large Language Models for Discrete Symbol Understanding

多模态大语言模型在离散符号理解中的认知不匹配

Yinghui Li, Jiayi Kuang, Peng Xing, Daixian Liu, Yongheng Zhang, Junnan Dong, Shu-Yu Guo, Yangning Li, Qingyu Zhou, Wenhao Jiang, Hai-Tao Zheng, Ying Shen, Liang Lin, Philip S. Yu

机构 * Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； Independent Researcher（独立研究员） ； The Hong Kong Polytechnic University（香港理工大学） ； Guangdong Laboratory of AI and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究发现多模态大语言模型在离散符号识别上表现欠佳，而在复杂推理任务上表现较好，揭示了当前系统依赖语言先验而非稳健视觉基础的问题。

MM-MoralBench: A MultiModal Moral Evaluation Benchmark for Large Vision-Language Models

MM-MoralBench: 一种多模态道德评估基准用于大型视觉-语言模型

Bei Yan, Jie Zhang, Zhiyuan Chen, Shiguang Shan, Xilin Chen

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 为评估大型视觉-语言模型的道德对齐性，提出MM-MoralBench基准，通过多模态场景测试模型在六个道德基础上的判断与分类能力，揭示模型存在显著的道德偏见问题。

Comments Accepted by Pattern Recognition

Multi-modal user interface control detection using cross-attention

基于交叉注意力的多模态用户界面控制检测

Milad Moradi, Ke Yan, David Colwell, Matthias Samwald, Rhona Asgari

机构 * AI Research Lab, Tricentis（Tricentis AI研究实验室） ； Institute of Artificial Intelligence, Center for Medical Statistics, Informatics, and Intelligent Systems, Medical University of Vienna（维也纳医科大学人工智能研究所、医学统计、信息学与智能系统中心） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种结合文本描述与视觉信息的多模态YOLOv5改进模型，通过交叉注意力模块提升UI控件检测的鲁棒性和语义理解能力，实验表明在复杂或模糊的UI场景中性能显著提升。

ProMQA-Assembly: Multimodal Procedural QA Dataset on Assembly

ProMQA-Assembly：多模态装配任务问答数据集

Kimihiro Hasegawa, Wiradee Imrattanatrai, Masaki Asada, Susan Holm, Yuran Wang, Vincent Zhou, Ken Fukuda, Teruko Mitamura

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） ； National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所（AIST）） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ProMQA-Assembly数据集，包含646个多模态问答对，用于评估装配任务中的人机交互系统，通过半自动化标注方法生成问题并结合细粒度动作标签提升多样性，验证了推理模型在复杂多模态任务中的表现。

Comments LREC 2026. Code and data: https://github.com/kimihiroh/promqa-assembly

V2X-QA: A Comprehensive Reasoning Dataset and Benchmark for Multimodal Large Language Models in Autonomous Driving Across Ego, Infrastructure, and Cooperative Views

V2X-QA：面向自动驾驶多视角的多模态大语言模型综合数据集与基准测试

Junwei You, Pei Li, Zhuoyu Jiang, Weizhe Tang, Zilin Huang, Rui Gan, Jiaxi Liu, Yan Zhao, Sikai Chen, Bin Ran

机构 * Department of Civil and Environmental Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Department of Civil and Architectural Engineering and Construction Management, University of Wyoming（怀俄明大学土木与建筑工程及施工管理系） ； School of Transportation, Southeast University（东南大学交通学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出V2X-QA数据集和基准测试，用于评估多模态大语言模型在自动驾驶中的多视角推理能力，揭示视角对性能的影响，并提出V2X-MoE模型以提升多视角推理性能。

Multimodal Language Models Cannot Spot Spatial Inconsistencies

多模态语言模型无法发现空间不一致性

Om Khangaonkar, Hadi J. Rad, Hamed Pirsiavash

机构 * University of California, Davis（加州大学戴维斯分校） ； Shell（壳牌） ； TU Delft（代尔夫特理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 研究探讨多模态大语言模型在识别3D几何空间不一致性方面的不足，提出生成空间不一致图像对的方法，发现先进模型在该任务上表现欠佳，揭示其对物理世界理解的脆弱性。

Less Is More? Selective Visual Attention to High-Importance Regions for Multimodal Radiology Summarization

少即是多？选择性关注高重要性区域用于多模态放射学摘要

Mst. Fahmida Sultana Naznin, Adnan Ibney Faruq, Mushfiqur Rahman, Niloy Kumar Mondal, Md. Mehedi Hasan Shawon, Md Rakibul Hasan

机构 * Bangladesh University of Engineering and Technology（孟加拉国工程技术大学） ； BRAC University（布拉克大学） ； Curtin University（科廷大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文通过MIMIC-CXR基准测试表明，选择性关注病理相关视觉区域比全图更有效，提出ViTAS模型在多模态放射学摘要中取得SOTA结果。

Med-CMR: A Fine-Grained Benchmark Integrating Visual Evidence and Clinical Logic for Medical Complex Multimodal Reasoning

Med-CMR：一个整合视觉证据和临床逻辑的细粒度基准，用于医疗复杂多模态推理

Haozhen Gong, Xiaozhong Ji, Yuansen Liu, Wenbin Wu, Xiaoxiao Yan, Jingjing Liu, Kai Wu, Jiazhen Pan, Bailiang Jian, Jiangning Zhang, Xiaobin Hu, Hongwei Bran Li

机构 * National University of Singapore（新加坡国立大学） ； Nanjing University（南京大学） ； Tongji University（同济大学） ； Ruijin Hospital（瑞金医院） ； Technical University of Munich（慕尼黑工业大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Med-CMR通过细粒度分解医疗多模态推理能力，设计挑战性任务并覆盖广泛高质量数据，评估18种先进大语言模型，发现GPT-5在多项选择题和开放性评分中表现最佳，但专业医疗大语言模型并不总能超越强通用模型，长尾泛化成为主要失败模式。

MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome

MiroEval: 多模态深度研究代理的流程与成果评估基准

Fangda Ye, Yuxin Hu, Pengxiang Zhu, Yibo Li, Ziqi Jin, Yao Xiao, Yibo Wang, Lei Wang, Zhen Zhang, Lu Wang, Yue Deng, Bin Wang, Yifan Zhang, Liangcai Su, Xinyu Wang, He Zhao, Chen Wei, Qiang Ren, Bryan Hooi, An Bo, Shuicheng Yan, Lidong Bing

机构 * MiroMind Team（MiroMind团队） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 MiroEval通过100个真实需求任务评估多模态深度研究代理的流程与成果，揭示系统在适应性合成、事实验证和过程审计方面的差异，证明流程质量对整体表现的预测作用。

Comments GitHub: https://github.com/MiroMindAI/MiroEval

SACRED: A Faithful Annotated Multimedia Multimodal Multilingual Dataset for Classifying Connectedness Types in Online Spirituality

SACRED：一个忠实标注的多媒体多模态多语言数据集，用于在线灵性中连接类型的分类

Qinghao Guan, Yuchen Pan, Donghao Li, Zishi Zhang, Yiyang Chen, Lu Li, Flaminia Canu, Emilia Volkart, Gerold Schneider

机构 * University of Zurich（苏黎世大学） ； Ping An Technology（平安科技） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CL、cs.MM

AI总结 本文提出SACRED数据集，用于分类在线灵性中的连接类型，评估13种LLM及传统方法，发现DeepSeek-V3在抽象概念分类中表现优异，GPT-4o-mini在视觉任务中表现最佳，同时发现新的连接类型。

Comments Accepted by LLMs4SSH 2026 at LREC

Disrupting Hierarchical Reasoning: Adversarial Protection for Geographic Privacy in Multimodal Reasoning Models

破坏层次推理：多模态推理模型中地理隐私的对抗保护

Jiaming Zhang, Che Wang, Yang Cao, Longtao Huang, Wei Yang Bryan Lim

机构 * Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） ； Institute of Science Tokyo（东京科学大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ReasonBreak框架，通过概念感知扰动破坏多模态推理模型中的层次推理，利用GeoPrivacy-6K数据集验证其在提升地理隐私保护效果上的优势。

Comments ICLR 2026