多模态大模型

Geometry-Enhanced Portion Estimation for Multimodal LLMs

用于多模态大语言模型的几何增强部分估计

Lin Liao, Peng Li

专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态大语言模型部分估计弱的问题，提出用精确部分头部增强冻结商业MLLM的方法，该头部基于DINOv2主干构建，无需深度传感器和微调，在三个基准测试中降低部分误差，优于旗舰MLLM及原图像模型。

Omni-Perception Policy Optimization for Multimodal Emotion Reasoning

全模态感知策略优化用于多模态情感推理

Zhiyuan Han, Beier Zhu, Wenwen Tong, Pengyang Shao, Peipei Song, Xinyi Wang, Jiangnan Chen, Lewei Lu, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； SenseTime Research（商汤科技研究院） ； National University of Singapore（新加坡国立大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；omni-modal(abstract)；分类 cs.AI

AI总结 提出OPPO强化学习框架，通过全模态感知奖励和损失优化多模态感知，提升情感推理中模态利用率和忠实度，在多个基准上达到最优。

Comments Accepted at ICML 2026. Project page: https://zjycutieee.github.io/OPPO-page/ Code: https://github.com/ZhiyuanHan-Aaron/OPPO

Overview of the NLPCC 2026 Shared Task 1: Difficulty-Aware Multilingual and Multimodal Medical Instructional Video Understanding Evaluation

NLPCC 2026共享任务1概述：难度感知多语言多模态医学教学视频理解评估

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与工程学院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 NLPCC 2026的DA - MIVQA共享任务，通过区分问题难度扩展多语言多模态医学视频基准，含三个赛道。其数据集来自公共医学教学渠道，涵盖多种场景并经人工标注难度。该任务为评估医学教学视频问答系统提供实用基准。

Comments 19 pages, 6 figures, 6 tables

MMR-V: What's Left Unsaid? A Benchmark for Multimodal Deep Reasoning in Videos

MMR-V：未言明的是什么？视频中多模态深度推理的基准测试

Kejian Zhu, Zhuoran Jin, Hongbang Yuan, Jiachun Li, Shangqing Tu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院，北京，中国） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 针对视频多模态推理挑战，提出MMR-V基准测试，具有长程多帧推理等特点。该基准测试含317个视频和1257个任务，实验发现当前模型多模态推理困难，最佳模型准确率低，现有增强策略收益有限，旨在推动多模态推理能力研究。

Comments Accepted at ICLR 2026. Camera-ready version

GRASP: Grounded CoT Reasoning with Dual-Stage Optimization for Multimodal Sarcasm Target Identification

GRASP：基于双阶段优化的 grounded CoT 推理用于多模态讽刺目标识别

Faxian Wan, Xiaocui Yang, Yifan Cao, Shi Feng, Daling Wang, Yifei Zhang

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 GRASP通过整合视觉定位与显式Co-T推理，解决多模态讽刺目标识别中的细粒度定位问题，提出MSTI-MAX数据集和双阶段联合优化策略，实验表明其在多模态讽刺目标识别中表现更优。

MMGraphRAG: Bridging Vision and Language with Interpretable Multimodal Knowledge Graphs

MMGraphRAG: 通过可解释的多模态知识图谱弥合视觉与语言的鸿沟

Xueyao Wan, Hang Yu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 MMGraphRAG通过引入可解释的多模态知识图谱，解决多模态场景下的实体链接和跨模态推理问题，实现最先进的多模态信息处理性能。

Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances

用于多模态话语语义发现的无监督多模态聚类

Hanlei Zhang, Hua Xu, Fei Long, Xin Wang, Kai Gao

机构 * State Key Laboratory of Intelligent Technology and Systems, Department of Computer Science and Technology, Tsinghua University（智能技术与系统国家重点实验室，计算机科学与技术系，清华大学） ； School of Information Science and Engineering, Hebei University of Science and Technology（信息科学与工程学院，河北科技大学） ； Samton (Jiangxi) Technology Development Co.,Ltd（江西松通科技发展有限公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 本文针对多模态话语语义发现问题，提出无监督多模态聚类方法UMC。通过构建增强视图预训练、动态选样及自动确定参数优化样本选择，在基准数据集上实验，UMC比现有方法聚类指标提升2-7%，取得开创性成果。

Comments Accepted by ACL 2024, Main Conference, Long Paper

Can Multimodal Large Language Models Understand OCT?

多模态大语言模型能理解光学相干断层扫描（OCT）吗？

Baochen Fu, Wenzhi Deng, Baihao Jin, Yang Li, Zihan Nie, Kailin Jiang, Yuntao Du, Weiye Song

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 研究探讨多模态大语言模型能否理解OCT，引入OCT - Bench基准，包含多维度细粒度任务，基于多个数据集构建大量选择题，评估20个代表性模型，发现当前模型理解OCT能力不足，为评估模型和推动OCT理解提供基础。

How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks

对话状态的多模态信号有多可靠？来自远程二元协作任务的证据

Tahiya Chowdhury

机构 * Colby College（科尔比学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究探讨从多模态行为测量对话状态的特征可靠性，提出三维评估框架用于视频会议二元对话特征评估，发现语言特征预测佳但跨任务通用性差，声学可靠性受说话者身份影响，交互特征是唯一可靠信号，强调相关评估对对话系统特征选择的重要性。

Comments Accepted, to appear in Proceedings of ACM International Conference on Multimodal Interaction 2026, 13 pages, 6 figures, 4 tables

SpEmoC: A Balanced Speaker-Segment Multimodal Emotion Benchmark

SpEmoC：一个平衡的说话者片段多模态情感基准

Sania Bano, Shahzad Ahmad, Santosh Kumar Vipparthi, Sukalpa Chanda, Subrahmanyam Murala

机构 * Indian Institute of Technology Ropar（印度理工学院罗帕尔分校） ； Østfold University College（东福尔郡大学学院） ； Trinity College Dublin（都柏林圣三一大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究口语对话中人类情感理解，提出SpEmoC基准，整合预训练模型与人工验证标注七种情感模态，采用严格分割保持情感平衡分布，实验证明其能提升模型跨数据集评估时情感性能的稳定性。

An Explicit World Model Based on Data-First Ontology: DaoQL Multimodal Storage Validation and Counterfactual Reasoning Evaluation

基于数据优先本体的显式世界模型：DaoQL多模态存储验证与反事实推理评估

Zhanbo Li, Shifeng Wu, Xiangjin Meng, Wenjie Cai

机构 * School of Mathematics and Statistics, Chongqing University（重庆大学数学与统计学院） ； Guangzhou Polytechnic Normal University（广州技术师范大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究大型语言模型隐式编码世界模型的风险，提出数据优先本体并构建DaoQL多模态数据库。通过形式化显式世界模型，对比隐式模型优势。实验展示系统性能，如在反事实实验中DaoQL+GPT-4o可组合反事实可分解性大幅提升。

Comments 20 pages, 2 figures. Code: https://github.com/zhanbolee/DaoQL-Edu

BanClickThumb: A Multimodal Dataset and Transformer Fusion Benchmarks for Clickbait Detection in Bengali YouTube Videos

BanClickThumb：用于孟加拉语YouTube视频中标题党检测的多模态数据集和Transformer融合基准测试

Md. Ariful Islam, Md Tanvirul Islam, Md. Maruf Hossain Miru, Md Khalid Syfullah

机构 * Department of Computer Science and Engineering, Bangladesh Army University of Science and Technology（孟加拉国陆军科技大学计算机科学与工程系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对孟加拉语YouTube视频标题党检测，公开多模态数据集BanClickThumb，用其对单模态和多模态方法进行基准测试，提出多模态模型BanClickFusionFormer，结合ViT和XLM - RoBERTa，证明多模态融合有效性，提供基准支持低资源多模态内容分析研究。

Learning Sparse Latent Predictive Foundation Model for Multimodal Neuroimaging

学习用于多模态神经影像的稀疏潜在预测基础模型

Haoxu Huang, Long Chen, Jingyun Chen, Jinu Hyun, James Ryan Loftus, Kara Melmed, Daniel Orringer, Jennifer Frontera, Seena Dehkharghani, Arjun Masurkar, Narges Razavian

机构 * New York University, Center for Data Science（纽约大学数据科学中心） ； NYU Grossman School of Medicine, Department of Radiology（纽约大学格罗斯曼医学院放射学系） ； State University of New York at Binghamton, School of Computing（纽约州立大学宾汉姆顿分校计算机学院） ； NYU Grossman School of Medicine, Department of Neurology（纽约大学格罗斯曼医学院神经病学系） ； NYU Grossman School of Medicine, Department of Neurosurgery（纽约大学格罗斯曼医学院神经外科学系） ； NYU Grossman School of Medicine, Department of Pathology（纽约大学格罗斯曼医学院病理学系） ； School of Medicine, Department of Radiology, Stanford（斯坦福大学医学院放射学系） ； NYU Grossman School of Medicine, Department of Neuroscience（纽约大学格罗斯曼医学院神经科学系） ； NYU Grossman School of Medicine, Neuroscience Institute（纽约大学格罗斯曼医学院神经科学研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Neuro-JEPA模型，结合潜在预测目标和专家混合架构，学习T1w、T2w和FLAIR三种MRI序列的统一表示，在25项临床任务和22项公开数据集任务上优于现有基础模型和CNN基线。

Comments Under Review Preprint

CARV: A Diagnostic Benchmark for Compositional Analogical Reasoning in Multimodal LLMs

CARV：多模态大语言模型中组合类比推理的诊断基准

Yongkang Du, Xiaohan Zou, Minhao Cheng, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出CARV任务及5500样本数据集，评估多模态大语言模型在组合类比推理中的能力，发现Gemini-2.5 Pro准确率仅为40.4%，远低于人类水平，揭示模型在规则提取与组合变换上的局限。

Data-Efficient Curation for Multimodal Reasoning under Fixed Training Protocols

固定训练协议下多模态推理的数据高效整理

Yosub Shin, Michael Buriek, Boris Sobolev, Pavel Bushuyeu, Vikas Kumar, Haoyang Xu, Samuel Watson, Igor Molybog

机构 * University of Hawai'i at M\=anoa, Honolulu, HI, USA 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究固定协议微调下多模态推理的数据整理，以NeurIPS 2025 DCVLR挑战为测试平台，分析多种因素对推理准确性的影响，发现对齐源语料库的难度过滤增益最强，为数据受限的多模态推理微调提供经验方法。

When Do Multimodal and Graph-Augmented RAG Help? A Controlled Evaluation for Document Question Answering

多模态和图增强的检索增强生成（RAG）何时有用？文档问答的对照评估

Sokipriala Jonah

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 研究文档问答中多模态和图增强RAG的作用，提出用多模态图-RAG架构，通过独立检索并融合文本、图和视觉证据源来评估效果。经实验发现其价值取决于多种因素，如检索设计等，还揭示了一些相关问题，如图像检索及生成器效率对结果的影响。

Comments 8 pages, 3 figures

Multi-Dimensional Quality Assessment for AI-Generated Human-Centric Videos: Dataset and Model

人工智能生成的以人为中心的视频的多维质量评估：数据集与模型

Sijing Wu, Yunhao Li, Huiyu Duan, Yucheng Zhu, Xiongkuo Min, Patrick Le Callet, Guangtao Zhai

机构 * Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所） ； USC-SJTU Institute of Cultural and Creative Industry, Shanghai Jiao Tong University（上海交通大学南加州大学文化创意产业学院） ； Polytech Nantes, Université de Nantes（法国南特大学高等理工学院） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 研究针对AI生成的以人为中心的视频质量评估问题，提出扩展数据集HVEval+并构建MoE-Rater模型，该模型采用专家混合及三阶段训练策略，能统一多种任务，在相关数据集上性能优越，推动了视频质量评估及T2V模型优化。

Comments Accepted for publication in IEEE TCSVT, 2026

Tracking the 2024 US Presidential Election Chatter on Tiktok: A Public Multimodal Dataset

追踪2024年美国总统大选在TikTok上的讨论：一个公共多模态数据集

Gabriela Pinto, Charles Bickham, Tanishq Salkar, Luca Luceri, Emilio Ferrara

专题命中 多模态评测 ：multimodal(title)

AI总结 本文公开了一个包含2024年美国总统大选相关TikTok视频的多模态数据集，通过API和第三方爬虫收集180万条视频，分析选举相关关键词和双词组合。

Comments The 2024 Election Integrity Initiative

Journal ref WWW '25: Companion Proceedings of the ACM on Web Conference 2025

Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence

Apple-$π$：基于视频对基于法律的物理智能进行思维基准测试

Runmao Yao, Kairui Hu, Yukang Cao, Ruisi Wang, Shulin Tian, Ziang Cao, Weichen Fan, Ziqi Huang, Yuhao Dong, Hao Li, Zhaoxi Chen, Zhongang Cai, Lei Yang, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究针对视频模型评估仅看输出层面的不足，提出Apple-PI基准，含数据集、协议和评估套件三部分，通过对11个模型测试发现其距可靠世界模拟器差距大，并揭示了一些瓶颈与差距，为指导视频模型发展提供诊断基础。

GenSyn10: A Multi-Generative AI Dataset For Benchmarking Image Classification

GenSyn10：用于图像分类基准测试的多生成式人工智能数据集

Md Faraz Kabir Khan, Saeed Anwar, Ghulam Mubashar Hassan

机构 * The University of Western Australia（西澳大利亚大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对生成式AI输出检测难的问题，引入GenSyn10数据集，由三种模型生成图像。通过标准化协议整理数据，评估17个分类模型，结果显示CIFAR-10训练模型在该数据集上有一定准确率，确立其为合成图像检测基准，助力相关研究。

ECG-LLM: Foundation Model for ECG-Based Cardiac Reasoning

心电图大语言模型：基于心电图的心脏推理基础模型

Alexander Selivanov, Friederike Jungmann, Jan Kehrer, Karl-Ludwig Laugwitz, Eimo Martens, Daniel Rueckert

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对一线分诊缺乏确定性成像及现有心电图人工智能系统局限的问题，提出ECG-LLM模型，用多模态到语言监督策略训练，能从心电图回答多样心血管问题，恢复测量值、预测表型，在相关任务中表现良好，为临床推理提供支持。

Scope3Trace: Evidence-Based Identification and Extraction of Scope 3 GHG Emissions from Sustainability Reports

Scope3Trace：基于证据的可持续发展报告中范围三温室气体排放识别与提取

Siyuan Zheng, Yifan Duan, Chao Xue, Flora D. Salim

机构 * UNSW Sydney（新南威尔士大学悉尼分校） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 研究针对范围三温室气体排放分析难题，提出Scope3Trace框架，集成多种技术从ESG和可持续发展报告中提取相关信息，并构建多模态数据集，实现了异构可持续发展披露信息可靠提取与透明整合，且提取精度高。

Comments 23 pages

How Do You Choose Your AI Component? An Interview Study of Secure AI Integration in Practice

你如何选择人工智能组件？关于安全人工智能集成实践的访谈研究

Mahzabin Tamanna, Elizabeth Lin, Sparsha Gowda, Laurie Williams, Dominik Wermke

机构 * North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究通过访谈了解从业者选择和集成人工智能组件的决策及安全考量，发现其选模型多受功能标准驱动，安全常被忽视，集成过程缺安全关注，行业重蹈早期软件依赖管理覆辙，为此给出相关建议倡导安全设计方法。

Comments 18 pages, 3 figures/tables

Local Brushstroke Quality Assessment via Vision-Language Feedback

通过视觉-语言反馈进行局部笔触质量评估

Mio Mitamura, Hirokatsu Kataoka

机构 * Tokyo Institute of Science High School（东京理科大学附属高中） ； National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所） ； Visual Geometry Group, University of Oxford（牛津大学视觉几何组） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 研究多模态语言模型能否评估书法局部笔触质量并生成反馈，构建评估框架让三个模型评估图像对并与专家打分比较，还研究了RAG变体，结果显示模型有一定绝对分数准确性，但与专家排名相关性不强，RAG有正负两方面表现。

Comments 6 pages, 8 figures. Accepted to the SAUAFG Workshop at CVPR 2026

Fully-sensorized smart-eyewear platform for on-device Machine Learning

用于设备端机器学习的全传感器智能眼镜平台

Andrea Giudici, Christian Veronesi, Pietro Bartoli, Mario Caliò, Aurelio Teliti, Giacomo Gervasoni, Diana Trojaniello, Franco Zappa

机构 * EssilorLuxottica（依视路陆逊梯卡集团） ； Politecnico di Milano（米兰理工大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 介绍ARGO智能眼镜平台，通过硬件、固件和人工智能整体协同设计，利用STM32N6微控制器及集成神经处理单元实现设备端机器学习，以优化的YOLOv11模型识别障碍物，展示了高性能、隐私保护辅助设备可行性。

Comments This work was carried out in the EssilorLuxottica "Smart Eyewear Lab", a Joint Research Center between EssilorLuxottica and Politecnico di Milano

An interactive enhanced driving dataset for autonomous driving

一种交互增强的自动驾驶数据集

Haojie Feng, Xinrui Zhang, Mengjie Tian, Peizhi Zhang, Zhuoren Li, Junpeng Huang, Xiurong Wang, Junfan Zhu, Jianzhou Wang, Dongxiao Yin, Lu Xiong

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出交互增强驾驶数据集，通过生成合成视频实现多模态对齐，用于评估和优化自动驾驶模型的推理能力。

Comments Accepted for publication in Scientific Data

A2RL V\textsubscript{max}: The A2RL autonomous racing dataset for long-range, high-speed perception and multi-vehicle interaction

A2RL V下标max：用于远程、高速感知和多车辆交互的A2RL自动驾驶数据集

Marvin Klemp, Dominic Ebner, Cornelius Schröder, Davide Malvezzi, László Turányi, Riccardo Donati, Ilia Schminik, Xia Ning, Yanxin Zhou, Matthew Flagg, Christoph Stiller, Markus Lienkamp, Marko Bertogna, Gergely Bári, Andreas Birk, Ren Jin, Chen Lv, Johannes Betz

机构 * Institute of Measurement and Control Systems, Karlsruhe Institute of Technology（测量与控制系统研究所，卡尔斯鲁厄理工学院） ； Institute of Automotive Technology, Technical University of Munich（汽车技术研究所，慕尼黑工业大学） ； Professorship of Autonomous Vehicle Systems, Technical University of Munich（自动驾驶车辆系统教授职位，慕尼黑工业大学） ； University of Modena and Reggio Emilia（摩德纳大学和雷焦艾米利亚大学） ； Humda Lab, Széchenyi István University（胡姆达实验室，塞切尼·伊什特万大学） ； Politecnico di Milano（米兰理工大学） ； Constructor University（康斯坦丁大学） ； Beijing Institute of Technology（北京理工大学） ； Nanyang Technological University（南洋理工大学） ； Code 19 Racing（代码19赛车） ； Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich（慕尼黑机器人与机器智能研究所（MIRMI），慕尼黑工业大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 介绍A2RL V下标max开源数据集，专为高速自动驾驶和多车辆交互感知任务设计，含多样场景数据及专业标注激光雷达点云，以开发者友好格式提供，还对相关检测和跟踪方法做了实现与评估。

Comments 8 pages