多模态大模型

Can You Trust What You See? Human and AI Detection of Synthetic Legal Evidence

你能相信你所见的吗？人类与AI对合成法律证据的检测

Jinzhe Tan, Ali Ekber Cinar, Karim Benyekhlef

机构 * Faculty of Law, McGill University（麦吉尔大学法学院） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究人类和前沿多模态大模型在民事纠纷场景中区分真实照片与AI生成图像的能力，发现两者均不可靠，提出结合人工审查、MLLM筛查和来源认证的解决方案。

VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning?

VisualFLIP: 在多模态推理中，预测是否依赖于任务关键的视觉证据？

Didi Zhu, Changrui Chen, Stefanos Zafeiriou, Jiankang Deng

机构 * Imperial College London（伦敦帝国理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出VisualFLIP基准，通过成对图像扰动测试多模态大模型是否真正依赖关键视觉证据，发现正确预测与证据依赖存在分离。

AgroOmni: A Large-Scale Multi-view Agricultural Dataset for Cross-Scale Multimodal Reasoning

AgroOmni：一个大规模多视角农业数据集用于跨尺度多模态推理

Jiarui Zhang, Junqi Hu, Zurong Mai, Yang Liu, Yuhang Chen, Shuohong Lou, Henglian Huang, Hong Cheng, Lingyuan Zhao, Jianxi Huang, Yutong Lu, Haohuan Fu, Juepeng Zheng

机构 * Sun Yat-sen University（中山大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； HuanTian Wisdom Technology Co., Ltd.（慧天智慧科技有限公司） ； China Agricultural University（中国农业大学） ； Southwest Jiaotong University（西南交通大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AgroOmni数据集，通过288K视觉问答对覆盖56个专业任务类别，解决多视角跨尺度农业多模态推理中的尺度偏差问题，提出AgroNVILA模型在AgroMind基准上达到62.32%的SOTA成绩。

Hummus: A Dataset of Humorous Multimodal Metaphor Use

Hummus：幽默多模态隐喻使用数据集

Xiaoyu Tong, Zhi Zhang, Pia Sommerauer, Martha Lewis, Ekaterina Shutova

机构 * ILLC, University of Amsterdam, the Netherlands（阿姆斯特丹大学语言学研究所，荷兰） ； Vrije Universiteit Amsterdam, the Netherlands（阿姆斯特丹自由大学，荷兰） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出幽默多模态隐喻数据集Hummus，基于不一致理论和概念隐喻理论设计标注方案，测试多模态大语言模型在检测和理解幽默多模态隐喻上的表现，发现现有模型仍存在困难。

H2HMem: A Multimodal Memory Benchmark for Agents in Human-Human Interactions

H2HMem: 面向人际交互中智能体的多模态记忆基准

Shiping Zhu, Yibo Yang, Zhengyang Wang, Tiancheng Shen, Dandan Guo, Ming-Hsuan Yang

机构 * Jilin University（吉林大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California at Merced（加州大学默塞德分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出H2HMem基准，通过双人和多人多模态对话评估智能体在记忆召回、推理和应用方面的能力，揭示现有模型在多模态、多参与者场景下的显著局限。

Comments 22 pages, 6 figures

Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges

多模态大语言模型中的隐私风险揭示：任务特定漏洞与缓解挑战

Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本研究揭示了多模态大语言模型在处理图像和文本时存在的隐私泄露风险，通过构建MM-Privacy数据集评估了不同任务下的披露风险与保留风险，并强调了任务不一致性对隐私风险的影响。

When Correct Decisions Hide Internal Stress: Decision-State Probing in Multimodal Language Models

当正确决策隐藏内部压力：多模态语言模型中的决策状态探测

Haoran Zhao, Soyeon Caren Han, Eduard Hovy

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出S³E框架，通过正锚定A/B强制选择任务和隐藏状态分析，发现多模态语言模型在正确行为下仍存在语义压力导致的决策状态位移。

PereStruct: Multimodal Semantic Assembly for Robust Historical Document Parsing

PereStruct: 面向鲁棒历史文档解析的多模态语义组装

Maksim Shandybo, Ivan Bespalov, Daniil Yefimov, Marina Kosheleva, Alexander Loukianov

机构 * IGIC RAS（俄罗斯科学院信息传输问题研究所） ； Yandex Cloud ； National University of Science and Technology MISIS（莫斯科国立钢铁合金学院） ； Nekrasov Central Universal Scientific Library（涅克拉索夫中央综合科学图书馆） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 针对历史报纸复杂多栏布局的解析难题，提出结合微调YOLO与语义组装模块的多模态方法，在块到文章映射上F1达0.904，BLEU约0.96，显著优于通用视觉语言模型。

Comments Code and data available at https://github.com/makSShandybo/PereStruct

Principled Uncertainty in Clinical AI: End-to-End Bayesian Modelling and Algorithmic Equity Auditing Across Multimodal Patient Data

临床AI中的原则性不确定性：跨多模态患者数据的端到端贝叶斯建模与算法公平审计

Oladimeji Anthonio, Dimeji Abdulsobur Olawuyi, Oloruntoba Ajayi, Temiloluwa Aderemi, Joseph Odamo

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出端到端贝叶斯不确定性建模框架，结合校准不确定性作为公平性度量，在模拟患者数据中识别出初级/农村设施和低社会经济地位患者的认知不确定性公平差距。

Popcorn: A Configurable Benchmark for Visual Evidence in Multimodal Movie Recommendation

Popcorn: 多模态电影推荐中视觉证据的可配置基准

Ali Tourani, Fatemeh Nazary, Yashar Deldjoo, Tommaso Di Noia

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出Popcorn基准，通过配置合同标准化多模态电影推荐中的视觉证据（全片、预告片、缩略图）的嵌入、融合与评估，实验表明视觉源不可互换且影响推荐性能。

Comments 8 pages, 3 figures, 3 tables

FineGen: A VLM-based Multi-Agent Framework for Fine-Grained Image-Text Dataset Construction

FineGen：基于VLM的多智能体框架用于细粒度图像-文本数据集构建

Chang Kong, Yuebing Li, Peng Mo, Haigang Zhang, Qiuming Luo

机构 * Shenzhen Polytechnic University（深圳职业技术大学） ； Institute of Applied Artificial Intelligence of the Guangdong-Hong Kong Macao Greater Bay Area（粤港澳大湾区应用人工智能研究所） ； Shenzhen University（深圳大学） 纠错

专题命中 多模态评测 ：image-text(title)；分类 cs.CV、cs.AI

AI总结 提出FineGen框架，通过生成-验证-校正流水线和闭环反馈机制自动构建含硬负样本的细粒度数据集，在ImageNet上构建FineGen-100K，硬样本准确率提升14.4%。

Comments 15 pages, 2 figures, conference

GD-MIL: Grade-Disentangled Multiple Instance Learning for Multimodal Biochemical Recurrence Prediction in Prostate Cancer

GD-MIL：用于前列腺癌多模态生化复发预测的等级解耦多实例学习

Dasari Naga Raju

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 针对前列腺癌生化复发预测，提出GD-MIL方法，通过梯度反转等级对抗训练实现H&E全切片图像特征与Gleason等级解耦，融合临床变量后C-index达0.704，显著优于临床基线。

ATN3D: Density-Aware LiDAR-Radar Early 3D Object Detection Under Extreme Sparsity

ATN3D：面向极端稀疏性的密度感知激光雷达-雷达早期3D目标检测

Debojyoti Biswas, Xianbiao Hu

机构 * University of California, Berkeley（加州大学伯克利分校） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对远距离稀疏感知下早期融合丢失信息、通道监督不均衡的问题，提出ATN3D框架，通过密度感知融合、占用门控邻域聚合、证据条件通道自注意力和距离感知损失，在VoD数据集上显著提升远距离检测性能。

FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks

FieldWorkArena：面向真实作业任务的代理AI基准测试

Jun Takahashi, Atsunori Moteki, Akiyoshi Uchida, Shoichi Masui, Fan Yang, Kanji Uchino, Yueqi Song, Yonatan Bisk, Graham Neubig, Ikuo Kusajima, Yasuto Watanabe, Hiroyuki Ishida, Koki Nakagawa, Shan Jiang

机构 * Fujitsu Limited（富士通株式会社） ； Fujitsu Research of America（富士通美国研究部） ； Carnegie Mellon University（卡内基梅隆大学） ； Master’s Student, The University of Tokyo（东京大学硕士研究生） ； Agent Research Collective（代理研究集体） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FieldWorkArena，用于评估代理AI在真实制造业和零售环境中的性能，通过现场采集的数据和实地访谈设计任务，验证多模态大语言模型的评估可行性。

Comments 27 pages, 10 figures, 7 tables [ICPR 2026 Accepted] Changes from previous version: added supplemental material

ChronoPhyBench: Do MLLMs Truly Understand the World or Merely Exploit Language Priors?

ChronoPhyBench：多模态大语言模型真正理解世界还是仅仅利用语言先验？

Bin Zhu, Yanhao Jia, Kexin Zhao, Jie Wang, Munan Ning, Hao Li, Yuwei Niu, Tanqing Sun, Huangchong Yan, Mingjun Pan, Xinyi Wu, Qishen Yin, Yunyang Ge, Shuai Zhao, Li Yuan

机构 * Peking University, Shenzhen Graduate School（北京大学深圳研究生院） ； Peng Cheng Laboratory（鹏城实验室） ； Rabbitpre Intelligence ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出ChronoPhyBench基准，通过视频上下文和文本描述强制模型进行物理状态推理，揭示当前开源模型物理推理能力仍处初级阶段。

Unification of Closed-Open Industrial Detection Scenarios: New Large-Scale Benchmarks,Challenges and Baselines

闭集与开集工业检测场景的统一：新的大规模基准、挑战与基线

Zekai Zhang, Jinglin Zhang, Qinghui Chen, Gang Li, Da Chen, Shuainan Jing, He Wang, Dagang Li, Cong Liu, Cong Bai, Shengyong Chen

机构 * Shandong University（山东大学） ； University Paris Dauphine, PSL Research University, CNRS, UMR 7534（巴黎多芬纳大学，PSL研究大学，法国国家科学研究中心，UMR 7534） ； Qilu University of Technology（齐鲁工业大学） ； Zhejiang University of Technology（浙江工业大学） ； Nova University of Lisbon（里斯本新大学） ； Macau University of Science and Technology（澳门科技大学） ； Tianjin University of Technology（天津理工大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对工业缺陷检测中数据集稀缺和人工提示依赖问题，提出含百万样本的MMIOC-1M基准和RTVPNet网络，通过专家辅助域投影、能量稀疏采样和双向文本-视觉交互实现最优性能。

Learning from Human Driving: A Human-in-the-Loop Online Behavior Cloning Framework for Autonomous Driving

从人类驾驶中学习：一种用于自动驾驶的人机协同在线行为克隆框架

Yuhong Shi, Jianyi Liu, Lihang Sun, Li Li, Xudong Dong

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所人机混合增强智能国家重点实验室） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)

AI总结 提出人机协同在线行为克隆框架HiL-OBC，通过人类干预初始化策略、贝叶斯潜在行为建模和在线更新，结合大模型感知与人类驾驶智能，在CARLA基准上显著提升驾驶性能。

Where Does the Answer Come From? Benchmarking View-Level Visual Evidence Identification in Multi-View MLLMs for Autonomous Driving

答案从何而来？面向自动驾驶的多视角MLLMs中视角级视觉证据识别基准

Yimu Wang, Yee Man Choi, Barry Zhang, Mozhgan Nasr Azadani, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对多视角自动驾驶场景，提出一个基准测试，评估多模态大模型在视觉问答中识别支持性相机视角的能力，包含122个冲突中心问题对，并区分视角选择与答案正确性。

TABVERSE: Benchmarking Cross-Format Table Understanding in LLMs and VLMs

TABVERSE：大语言模型与视觉语言模型中跨格式表格理解的基准测试

Momina Ahsan, Sarfraz Ahmad, Ming Shan Hee, Roy Ka-Wei Lee, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出TABVERSE基准，通过控制表格内容、跨多种结构格式（HTML、Markdown、LaTeX）和渲染图像，系统评估LLM和VLM在问答、结构理解和结构重建任务中的表现，发现表示格式显著影响表格理解能力。

Comments 24 pages, 18 tables, 16 figures, Submitted to ARR May 2026

ChinaHeritaQA: A Culturally-Grounded Visual Question Answering Dataset for World Heritage Sites in China

ChinaHeritaQA：面向中国世界遗产地的文化基础视觉问答数据集

Yi Zhang, Bolei Ma, Yong Cao, Chengyan Wu, Daniel Hershcovich, Anna-Carolina Haensch

机构 * LMU Munich（慕尼黑大学） ； FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Tübingen & Tübingen AI Center（图宾根大学与图宾根人工智能中心） ； Sun Yat-sen University（中山大学） ； University of Copenhagen（哥本哈根大学） ； University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出ChinaHeritaQA多模态基准数据集，包含2279张图像和14133个双语多项选择题，覆盖七个认知维度，评估视觉语言模型在中国世界遗产上的文化推理能力。

DAL-PCQA: Enabling Distortion-Level and Language-Driven Reasoning for Point Cloud Quality Assessment

DAL-PCQA：实现点云质量评估的失真级别与语言驱动推理

Swarna Chakraborty, Gabriel De Castro Araújo, Syeda Tasmi Faria, Marcelo M. Carvalho, Mylene C. Q. Farias

机构 * University of Brasília（巴西利亚大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出DAL-PCQA数据集，通过多级失真标签、质量类别和自然语言描述，结合零样本与微调多模态模型，实现可解释的点云质量评估。

Comments Accepted at Qomex 2026

A Dataset for Dynamic Human Preferences for Vision Language Models

面向视觉语言模型的动态人类偏好数据集

Hannah Gao, Dylan Hadfield-Menell, Rachel Ma

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一个评估视觉语言模型理解动态人类偏好能力的基准，通过自动化管道生成包含图像依赖变化的数据集，并评估了现有模型。

Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions

修正语境，转变模拟立场：审计基于LLM的在线讨论立场模拟

Xinnong Zhang, Wanting Shan, Hanjia Lyu, Zhongyu Wei, Jiebo Luo

机构 * Fudan University（复旦大学） ； University of Rochester（罗切斯特大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.MM

AI总结 本研究通过反事实语境修正框架审计LLM立场模拟，对比纯文本与多模态策略，评估平均方向性立场转变和立场转换率，揭示语境敏感性的有效性与鲁棒性。

Multilingual Training and Evaluation Resources for Vision-Language Models

面向视觉语言模型的多语言训练和评估资源

Daniela Baiamonte, Elena Fano, Matteo Gabburo, Stefano Simonazzi, Leonardo Rigutini, Andrea Zugarini

机构 * Villanova.ai ； Aithlas 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出跨五种欧洲语言的视觉语言模型训练与评估资源，通过再生与翻译方法生成高质量多语言数据，验证多语言数据在非英语基准上的有效性。

POTATR: A Lightweight Image-to-Graph Model for Page-Level Table Extraction

POTATR: 一种用于页面级表格提取的轻量级图像到图模型

Brandon Smock, Libin Liang, Max Sokolov, Amrit Ramesh, Valerie Faucon-Morin, Tayyibah Khanam, Maury Courtland

机构 * Kensho Technologies 纠错

专题命中 多模态评测 ：MLLM(abstract_cn)；分类 cs.CV

AI总结 提出轻量级图像到图模型POTATR（29M参数），在页面级表格提取任务上以130倍速度和300倍低成本超越前沿模型，GriTS_Con达0.964，输出空间可解释。

Comments 16 pages, split from PubTables-v2 paper

Transition-Based Digital Twin Modelling for Alzheimer's Disease under Sparse Longitudinal Data

基于转换的阿尔茨海默病数字孪生建模在稀疏纵向数据下的应用

Yinyu Huang, Yilin Zhang, Sofia Michopoulou, Christopher Kipps, Rahman Attar

机构 * University of Southampton（南安普顿大学） ； University Hospital Southampton NHS Foundation Trust（南安普顿大学医院NHS基金会信托） ； Faculty of Medicine, University of Southampton（南安普顿大学医学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 针对阿尔茨海默病进展异质性和数据稀疏问题，提出结合局部转换建模与序列建模的数字孪生框架，利用多模态纵向数据预测认知状态并量化不确定性，在ADNI数据上表现优异。

Comments 13 pages, 5 figures, 3 tables. Accepted as a full-length paper at the International Conference on AI in Healthcare (AIiH) 2026

LargeMonitor: Monitoring Online Task-Free Continual Learning via Large Pretrained Models

LargeMonitor: 通过大型预训练模型监控在线无任务持续学习

Mingqi Yuan, Xiaoquan Sun, Shihao Luo, Jiayu Chen

机构 * HKU（香港大学） ； Qicore Tech（启科科技） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出LargeMonitor框架，利用大型预训练模型（LVM和LMM）解耦检测与诊断，实现无任务持续学习中的零样本漂移检测和语义病因诊断，提升现有算法性能。

Context-Aware Deep Learning for Defect Classification in Atomic-Resolution STEM

上下文感知深度学习用于原子分辨率扫描透射电镜中的缺陷分类

Jiadong Dan, Cheng Zhang, Leyi Loh, Ivan Verzhbitskiy, Yuan Chen, Goki Eda, Michel Bosman, N. Duane Loh

机构 * cond-mat.mtrl-sci（材料科学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出上下文感知学习框架，融合图像对比度与元数据（成分、束能、探测器几何），解决仅凭图像对比度进行缺陷分类的歧义性，在模拟数据上准确率超98%，实验数据接近人类水平。

Comments 6 figures

Symbolic and Abstractive Reasoning with Complex Visual Queries

复杂视觉查询的符号与抽象推理

Yichi Zhang, Jingdian Lu, Zhuo Chen, Lingbing Guo, Jun Xu, Wen Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； Nanjing University（南京大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL

AI总结 提出复杂视觉查询（CVQ）概念，通过多模态知识图谱合成数据集，并设计两阶段训练框架，提升多模态大语言模型的符号与抽象推理能力。

Comments Work in progress

A Resilience-as-a-Service assessment framework for coordinated disruption response in interdependent urban transit systems

面向城市交通系统协同中断响应的弹性即服务评估框架

Sara Jaber, S. M. Hassan Mahdavi, Neila Bhouri, Mostafa Ameli

机构 * Univ. Gustave Eiffel, COSYS, GRETTIA, Paris, France（古斯塔夫·埃菲尔大学，交通系统、网络与安全实验室，交通工程与智能交通系统研究组，法国巴黎） ； VEDECOM, mobiLAB, Department of Human factors and Economics of Sustainable Mobility, Versailles, France（VEDECOM研究所，移动出行实验室，可持续出行人因与经济系，法国凡尔赛） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出一个基于KPI的时间索引框架，结合优化模型与智能体仿真，从脆弱性、适应性、鲁棒性等多维度评估城市交通中断响应方案的弹性，并通过巴黎RER B线案例验证了协同策略的优越性。