多模态大模型

Faithful Grounded Visual Reasoning via Learned Proxy-Tokens

通过学习的代理令牌实现忠实的接地视觉推理

Tom Hodemon, Mohamed Chaouch, Aboubacar Tuo, Angelique Loesch

机构 * CEA-LIST（法国原子能委员会-信息与系统技术实验室） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出Composer模型，利用基于学习代理令牌的视觉接地机制，通过离散符号指针显式索引图像潜在空间，在保持答案准确性的同时将视觉接地准确率提升9.0个百分点。

Comments Accepted at ICIP 2026. Code, model and data available at: https://github.com/CEA-LIST/Composer

FleetAgent: Teleoperation Assistant for Autonomous Fleets via Vectorized V2N Messages

FleetAgent: 通过向量化V2N消息实现自主车队远程操作助手

Juntong Peng, Qi Chen, Deyuan Qu, Takayuki Shimizu, Yaobin Chen, Ziran Wang

机构 * College of Engineering, Purdue University（普渡大学工程学院） ； Toyota InfoTech Labs（丰田信息技术实验室） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出FleetAgent，一种基于多模态大语言模型的云端助手，通过紧凑的向量化V2N消息实现高效远程操作监控，显著降低上行负载和内存占用，并提升操作员优先级判断与干预效果。

MLUBench: A Benchmark for Lifelong Unlearning Evaluation in MLLMs

MLUBench: 多模态大语言模型终身遗忘评估基准

He Li, Haoang Chi, Qizhou Wang, Yunxin Mao, Zhiheng Zhang, Jie Tan, Tongliang Liu, Wenjing Yang, Bo Han

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出MLUBench基准，评估多模态大模型在连续遗忘请求下的性能，发现现有方法存在累积退化，并揭示多模态对齐保持的挑战，提出LUMoE方法缓解退化。

Comments 36 pages, accepted to the ICML 2026

MMArt A Multi-Perspective Multimodal Dataset for Visual Art Understanding

MMArt：用于视觉艺术理解的多视角多模态数据集

Shuai Wang, Wangyuan Ding, Yixian Shen, Jia-Hong Huang, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring

机构 * University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊AGI） ； College of Business and Economics, University of Johannesburg（约翰内斯堡大学经济与商学院） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV、cs.MM

AI总结 针对现有艺术数据集单视角局限，推出含74234幅WikiArt画作的多视角多模态数据集MMArt，通过分析各视角特性证实多视角设计的必要性，为视觉艺术理解提供支撑。

What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks

你的简答题VQA分数实际衡量的是什么？多模态简答题基准中依赖评估者的不稳定性

Guanhua Ye, Niu Jingbin, Yan Li, Meiyu Liang, Zhe Xue, Yingxia Shao, Yawen Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV、cs.MM

AI总结 研究简答题VQA基准中模型答案语义正确性与和评估者期望表面形式匹配度被混淆的问题，通过人工验证语义判断等方法研究六个视觉语言模型和六个基准，发现答案类型影响不稳定性，提出官方分数应伴有语义审计和答案类型诊断以保持可解释性。

CLIR-Bench: Benchmarking Multimodal Question Answering over Irregular Clinical Time Series

CLIR-Bench：针对不规则临床时间序列的多模态问答基准测试

Frank Nie, Ethan B. Liu, Yuan Zhu, Loe Yan, Wei Fan, Jindong Han

机构 * Shandong University（山东大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CL、cs.AI

AI总结 研究针对临床时间序列稀疏、不规则等问题，引入CLIR-Bench基准，通过四阶段流程构建，含6600个问答实例。实验发现现有通用模型处理稀疏临床证据困难，强调需更强不规则时间序列推理方法。

MSUE: Multi-Modal Soccer Understanding Expert

MSUE：多模态足球理解专家

Litao Li, Yibo Yu, Yufeng Hu, Zhuo Yang, Jiali Wen, Yixin Chen, Yixi Zhou

机构 * South China University of Technology（华南理工大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 多模态评测 ：multi-modal(title)；分类 cs.CV、cs.AI

AI总结 提出MSUE多专家问答架构，结合VLM数据合成管道与LLM动态调度文本、图像、视频专家，在SoccerNet VQA挑战中达到0.95准确率，获第三名。

Comments 6 pages, 1 figures

FineGen: A VLM-based Multi-Agent Framework for Fine-Grained Image-Text Dataset Construction

FineGen：基于VLM的多智能体框架用于细粒度图像-文本数据集构建

Chang Kong, Yuebing Li, Peng Mo, Haigang Zhang, Qiuming Luo

机构 * Shenzhen Polytechnic University（深圳职业技术大学） ； Institute of Applied Artificial Intelligence of the Guangdong-Hong Kong Macao Greater Bay Area（粤港澳大湾区应用人工智能研究所） ； Shenzhen University（深圳大学） 纠错

专题命中 多模态评测 ：image-text(title)；分类 cs.CV、cs.AI

AI总结 提出FineGen框架，通过生成-验证-校正流水线和闭环反馈机制自动构建含硬负样本的细粒度数据集，在ImageNet上构建FineGen-100K，硬样本准确率提升14.4%。

Comments 15 pages, 2 figures, conference

OmniPath: A Multi-Modal Agentic Framework for Auditing Wheelchair Accessibility

OmniPath: 用于审计轮椅可达性的多模态智能体框架

ASM Mobarak Hossain, Nadim Mahmud, Vaskar Raychoudhury, Md Osman Gani

机构 * Causal AI Lab, Department of Information Systems, University of Maryland Baltimore County（因果AI实验室，信息系统系，马里兰大学巴尔的摩分校） ； Department of Computer Science & Software Engineering, Miami University（计算机科学与软件工程系，迈阿密大学） 纠错

专题命中 多模态评测 ：multi-modal(title,comments)；分类 cs.AI

AI总结 提出OmniPath框架，融合OSM网络拓扑与机载LiDAR数据，通过虚拟遍历量化坡度、横坡等物理摩擦点，按ADA标准分级评估轮椅可达性，经实地验证有效识别标准地图遗漏的障碍。

Comments 10 pages, 13 figures. Submitted to IEEE COMPSAC 2026. OmniPath: A Multi-Modal Agentic Framework for Auditing Wheelchair Accessibility

LongChart VQA: A Comprehensive Benchmark for MLLMs with Complex Multi-Chart Reasoning

LongChart VQA：面向具备复杂多图表推理能力的多模态大语言模型的综合基准

Ziyan Xiao, Yinghao Zhu, Wenting Zhang, Heaju Kim, Lequan Yu

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 LongChart VQA是面向具备复杂多图表推理能力的MLLMs的综合基准，该基准含平均6.5张图像与31.2个问题，评估10个SOTA MLLMs发现其准确率随计算复杂性提升下降，为多图表推理研究指明方向。

Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents

从失败中学习：计算机使用代理的推理时自我改进

Xueqiao Sun, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy, Yuhui Zhang

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出失败驱动的自我改进循环，利用LLM诊断失败模式并生成代码补丁，在OSWorld基准上将OpenCUA-72B模型成功率从42.3%提升至48.9%，无需额外训练成本。

Comments Published in ECCV 2026

When Prompts Mislead: Textual Dominance and Diagnostic Bias in MLLMs

当提示误导：多模态大语言模型中的文本主导与诊断偏差

Inhyuk Park, Doohyun Park

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)

AI总结 研究揭示在医学多模态大语言模型中，文本提示会主导视觉线索，导致诊断偏差，即使模型具备空间定位能力，提示策略仍可能不安全。

Comments Accepted to the CVPR 2026 MMFM-BIOMED Workshop

Agentic Anomaly Detection with ORCA-Style Dynamic Inductive Bias Adaptation in Multimodal Wearable Time Series Data

基于ORCA风格动态归纳偏差自适应的多模态可穿戴时间序列智能体异常检测

Anushka Roy, Jyotirmoy Singh, Shreea Bose, Chittaranjan Hota

机构 * BITS Pilani（皮尔尼理工学院） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.AI

AI总结 该研究针对资源受限的非平稳生理时间序列异常检测问题，提出ORCA框架，通过监督控制器动态调整时间感受野，在WBAN和MIMIC-IV数据集上实现稳健性能，无需预调时间范围。

OmniMech: All-in-one Multimodal Mechanical Benchmark for 3D Reconstruction

OmniMech：面向3D重建的全合一多模态机械基准

Taiting Lu, Runze Liu, Ziwei Dong, Sisong Bei, Jingying Zeng, Mingjia Wang, Zhenghao Li, Kaiyuan Lin, Yi-Shan Wu, Yangshoudu Zheng, Hongxing Pan, Kai Zhang, Guoliang Shi, Ling Ma, Yifan Yang, Jiaying Lu, Qi He, Sung-Liang Chen, Yi-Chao Chen, Yincheng Jin, Mahanth Gowda

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 研究人员提出OmniMech——首个百万级多模态机械基准，针对工业制造数据的可执行CAD生成任务，含四类任务，实验发现现有模型在相关任务中存在不足，将发布资源支持后续研究。

OmniRouting: A Semantic-Coupled Multimodal Benchmark for Constraint-Aware Spatial Reasoning in PCB Routing

OmniRouting：面向PCB布线中约束感知空间推理的语义耦合多模态基准

Taiting Lu, Kaiyuan Lin, Ziwei Dong, Sisong Bei, Haolin Ye, Yuxin Tian, Runze Liu, Mingjia Wang, Jingying Zeng, Hongxing Pan, Kai Zhang, Haoyu Wang, Guoliang Shi, Ling Ma, Yifan Yang, Jiaying Lu, Qi He, Yi-Chao Chen, Sung-Liang Chen, Yincheng Jin, Mahanth Gowda

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 本研究针对LLMs在PCB布线推理上的能力缺口，构建了OmniRouting基准，含1681个工业级PCB设计及四项任务，发现现有LMMs存在显著局限并计划开源相关资源。

When Do Fewer Visual Tokens Accelerate Multimodal Inference? A Break-Even Study Across Decision Locations and Hardware

更少的视觉令牌何时能加速多模态推理？跨决策位置与硬件的盈亏平衡点研究

Hao Dou, Ruiwen Tian

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 该研究通过可复现协议分析视觉令牌数量与多模态推理延迟的盈亏平衡点，发现视觉前路由在A100上的延迟优势超过视觉后策略的下游令牌减少量，且视觉后预测器的效果经校正后仍显著。

Comments 16 pages, 3 figures, 13 tables. Experiments use Qwen2.5-VL-3B-Instruct on RTX 3090 and A100 PCIe GPUs

MAViE: A Multi-scale Adaptive Vision Encoder for Fine-grained Visual Perception and Efficient Multimodal Reasoning

MAViE：用于细粒度视觉感知和高效多模态推理的多尺度自适应视觉编码器

Shaofei Lei

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 研究针对视觉语言模型问题，提出多尺度自适应视觉编码器MAViE，通过融合多层特征、进行令牌路由及引入相关策略，在统一框架下实验，减少视觉令牌数量，提升多任务分数并降低处理时间，还给出模型设计与评估协议。

Comments 10 pages

GaitFace: A Multimodal Dataset for Long-Range Person Identification

GaitFace：一个用于远距离人员识别的多模态数据集

Alain Komaty, Luis S. Luevano, Vidit Vidit, Anjith George, Zeina Al Amine, Sébastien Marcel

机构 * Idiap Research Institute（伊迪阿普研究所） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 介绍用于远距离人员识别的多模态数据集GaitFace，利用预注册和“野外”捕获数据反映真实边境场景，通过基准测试揭示当前面部和步态模型在低分辨率和高视角下的关键漏洞，为无约束生物识别研究提供公共基准。

Comments Accepted in IJCB 2026 , see https://idiap.ch/paper/gaitface/

Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models

盲点基准：评估多模态模型中的盲点

Matteo Santelmo, Xiuying Wei, Israa Fakih, Felix Bauer, Juan Garcia Giraldo, Chengkun Li, Etienne Bamas, Emmanuel Abbé

机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.AI

AI总结 研究旨在评估多模态模型盲点，引入盲点基准，收集学生原始问题并标注，提出任务分类法和自动评分管道。分析发现闭源前沿模型超越开源模型，各模型在不同任务类型表现各异，凸显该基准对识别模型弱点的价值。

Comments 25 pages, 8 figures

OmniLayout: A Schematic-Coupled Multimodal Benchmark for Constraint-Aware Geometric Reasoning in PCB Layout

OmniLayout：用于印刷电路板布局中约束感知几何推理的原理图耦合多模态基准测试

Taiting Lu, Kaiyuan Lin, Mingjia Wang, Haolin Ye, Runze Liu, Yuxin Tian, Vahe Melkonyan, Haoyu Wang, Muchuan Wang, Chufan Hong, Yifan Yang, Sung-Liang Chen, Yi-Chao Chen, Yicheng Jin, Mahanth Gowda

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Shanghai Jiao Tong University（上海交通大学） ； Microsoft Research（微软研究院） ； Binghamton University（宾汉姆顿大学） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 介绍OmniLayout基准测试，用于评估大语言模型在印刷电路板布局放置推理。含1681个工业级原理图耦合PCB布局及四项任务，揭示当前大语言模型在PCB布局放置上有诸多局限。

PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception

PerceptionRubrics：将多模态评估校准至人类感知

Yana Wei, Hongbo Peng, Yanlin Lai, Liang Zhao, Kangheng Lin, En Yu, Keyu Lv, Han Zhou, Yin Tang, Haodong Li, Mitt Huang, Hangyu Guo, Jianjian Sun, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） ； StepFun ； Tsinghua University（清华大学） ； Independent Researcher（独立研究者） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 提出基于准则的评估框架PerceptionRubrics，通过双流准则和门控评分机制，解决基准分数饱和而实际脆弱性问题，揭示可靠性差距、开源与闭源感知差异，并实现与人类感知的高度对齐。

Comments ICML 2026. Project page: https://weiyana.github.io/PerceptionRubrics

Context-Aware Prediction of Student Quiz Performance with Multimodal Textbook Features

基于多模态教材特征的情境感知学生测验表现预测

Samin Khan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.AI

AI总结 本研究通过提取CourseKata教材中复习题的文字和图像特征，结合学生历史表现，将章节测验预测准确率相对提升9.1%，表明情境感知模型能利用内容特征改进预测。

Comments 4 pages, 2 figures, 2 tables

PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

PHANTOM：面向视觉-语言模型的多模态对抗攻击大规模数据集

Simone Gallivanone, Hossein Khodadadi, Mauro Dore, Mauro Medda, Nicola Franco

机构 * The Italian Institute of Artificial Intelligence (AI4I)（意大利人工智能研究所（AI4I）） ； HikmaAI S.r.l.（HikmaAI有限责任公司） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.AI

AI总结 提出一个大规模开源对抗攻击数据集PHANTOM，涵盖10个高级类别和55个子类别的有害意图，包含47,524个对抗样本，旨在降低对抗研究门槛，促进VLM鲁棒性和安全性的系统评估。

Comments The dataset has been released at: https://huggingface.co/datasets/it4lia/PHANTOM

Sensor Configuration Matters: A Systematic Evaluation of Multimodal SLAM on Quadruped Robots

传感器配置至关重要：四足机器人多模态SLAM的系统评估

Roberto Corlito, Fabian Schmidt, Nils Seibert, Markus Enzweiler, Abhinav Valada, Arne Roennau

机构 * Machine Intelligence and Robotics Lab, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院智能机器人实验室） ； Institute for Intelligent Systems, Esslingen University of Applied Sciences（埃森堡应用科学大学智能系统研究所） ； Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 针对四足机器人运动中的传感器配置问题，系统评估了视觉、视觉-惯性和LiDAR-视觉-惯性SLAM方法，发现立体相机、全局快门和适当惯性集成能显著提升定位鲁棒性。

HiST: A Hierarchical Sparse Transformer for Cross-Modal Spatial Transcriptomics Modeling

HiST：用于跨模态空间转录组建模的分层稀疏Transformer

Weiyi Wu, Xinwen Xu, Xingjian Diao, Siting Li, Zhi Wei, Alma Andersson, Jiang Gui

机构 * New Jersey Institute of Technology（新泽西理工学院） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Karolinska Institutet（卡罗林斯卡学院） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 多模态评测 ：cross-modal(title)；分类 cs.CV

AI总结 提出HiST，一种分层稀疏Transformer，通过稀疏窗口注意力和分辨率变换算子实现高效的多尺度空间转录组推断，显著降低计算开销并提升预测性能。

Journal ref ICML 2026

GD-MIL: Grade-Disentangled Multiple Instance Learning for Multimodal Biochemical Recurrence Prediction in Prostate Cancer

GD-MIL：用于前列腺癌多模态生化复发预测的等级解耦多实例学习

Dasari Naga Raju

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 针对前列腺癌生化复发预测，提出GD-MIL方法，通过梯度反转等级对抗训练实现H&E全切片图像特征与Gleason等级解耦，融合临床变量后C-index达0.704，显著优于临床基线。

Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination

我们能否防御AI生成视频对现实世界危机事件的攻击？对检测器、生成器及社交传播的系统性评估

Shuo Liang, Yixing Ma, Pengfei Zhou, Xingyan Chen, Zihan Mei, Manting Li, Feihan Chen, Zhiwen Wang, Bin Xu, Haotian Zhang, Jiajun Song, Shiya Su, Run Liu, Zhenghang Ni, Yifa Yu, Jintao Hong, Bolong Feng, Yifei Liu, Zirui Zhang, Jingxuan Zhang, Songlin Zhao, Yifan Bai, Kang Tan, Yizhe Liu, Junhao Du, Yongtao Ge, Zhaopan Xv, Xinyuan Zhang, Mengru Ma, Chunhua Shen, Wei Wang, Yang You, Zheng Zhu, Kaipeng Zhang, Wangbo Zhao

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 本研究推出RA-Bench基准，系统评估AI生成视频检测器、生成器及社交传播特性，发现现有检测器泛化性差、难以检测逼真生成视频，需鲁棒检测器。

Comments 63 pages, 20 figures, 32 tables

OncoTriad-QA: A Patient-Level Radiology-Pathology-Genomics Benchmark for Pan-Cancer Reasoning

OncoTriad-QA：用于泛癌推理的患者级放射学-病理学-基因组学基准

Ahnaf Munir, Dannong Wang, Michael W. McDonald, Mubarak Shah, Pegah Khosravi, Yu Tian

专题命中 多模态评测 ：multimodal(abstract)；image-text(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出OncoTriad-QA多模态癌症问答基准及OncoVLM模型，实验显示OncoVLM经微调后在泛癌问答任务上优于现有模型，该基准可用于相关模型的训练与评估。

SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence

SciFigAlign：通过微调视觉内容与稿件证据的对齐来对科学图表进行评分

Chuanzhi Xu, Zihan Deng, Huiqi Liang, Chengkun Yue, Zhanlin Cui, Pengfei Ye, Weidong Cai

专题命中 多模态评测 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文构建了含3857张科学图表的标注数据集，提出基于稿件证据的多模态评分器SciFigAlign，其在测试集上的MAE为0.3524，相对最佳LLM基准降低59%误差，证实需视觉与稿件证据的学习对齐。

DrawingVQA: A Real-World Benchmark for Multi-Depth Visual-Textual Reasoning on Construction Drawings

DrawingVQA：建筑图纸上多深度视觉文本推理的真实世界基准测试

Yoonhwa Jung, Junryu Fu, Mani Golparvar-Fard

机构 * Louisiana State University（路易斯安那州立大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 DrawingVQA针对建筑图纸多深度视觉文本推理设计基准测试，利用图纸与问答对，提出双分类框架评估模型，揭示模型与专家表现差距，为领域特定多模态推理及AI与工程工作流程整合奠定基础。

Comments CVPR 2026 Findings accepted paper