arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 600 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态评测 600 篇

2608.01462 2026-08-04 cs.AI 新提交 79%

Loud or Silent? A Reusable Framework for Per-Modality Failure Analysis in Multimodal Clinical AI

大声还是沉默?一种用于多模态临床AI中模态级失败分析的可复用框架

Quang Bui, Shlok Jaiswal, Samuel Paik-Heintz, Kevin Zhou, Kaushik Madapati, Krittaphas Chaisutyakorn, Noah Dane Hebdon, Dimitrios Proios, Sebastián Andrés Cajas Ordóñez, Kacper Dobek, Boya Zhang, Aly Dhedhi, Ahram Han, Kushul Reddy Palakala, Rahul Gorijavolu, Jacques Kpodonu, Leo Anthony Celi

机构 * Massachusetts Institute of Technology(麻省理工学院) American International School Vienna(维也纳美国国际学校) Neuqua Valley High School(纽夸谷高中) North Hollywood High School(北好莱坞高中) Hopewell Valley Central High School(霍普韦尔谷中央高中) University of California, Berkeley(加州大学伯克利分校) Siriraj Hospital(诗里拉吉医院) Harvard University(哈佛大学) Agency for Science, Technology and Research(新加坡科技研究局) Johns Hopkins University(约翰斯·霍普金斯大学) University of Geneva(日内瓦大学) Poznan University of Technology(波兹南理工大学)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 该研究提出一种模型无关的多模态临床AI模态级失败分析框架,可复用且仅用部署可观测信号,经植入真实值和MIMIC-IV队列验证,能定位失败模态、区分失败类型,为心脏基础模型部署提供参考。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00074 2026-08-04 cs.CV 新提交 79%

Explainable Multimodal AI for Adaptive Calibration of Archaeological Sensing Workflows

面向考古传感工作流自适应校准的可解释多模态人工智能

Nevio Dubbini, Daniel P. van Helden, Claudia Sciuto, Martina Naso, Arthur Leck, Clement Joubert, Heeli C. Schechter, Remy Chapoulie, Gabriele Gattiglia

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 本文提出一种可解释多模态AI框架,用于考古传感工作流的自适应校准、质量评估与采集支持,经多模态考古数据集验证可实现跨模态稳健质量评估。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.29624 2026-08-03 cs.CY cs.AI cs.HC 新提交 79%

The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations

苏格拉底测试的理论基础:动态、多模态、对话式考试

Ilya Mikhelson

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 本文提出苏格拉底测试的理论基础,整合多类教育评估原则与分类学,量化最近发展区并设计非补偿性加法评分架构,以解决传统评估的缺陷并提升测量可靠性。

Comments 21 pages, 1 figure, submitted to Computers and Education: Artificial Intelligence

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.29039 2026-08-03 cs.CV 新提交 79%

ReMoE: Report-Guided Mixture-of-Experts for Multimodal OCT/OCTA Anomaly Detection

ReMoE:报告引导型混合专家模型用于多模态OCT/OCTA异常检测

Zihan Nie, Qincheng Qiao, Muhao Xu, Wei Feng, Xinguo Hou, Weiye Song, Zongyuan Ge

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 针对多模态OCT/OCTA异常检测,提出ReMoE模型,融合正常报告语义构建模态感知先验,在两个数据集上取得最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.29002 2026-08-03 cs.AI 新提交 79%

MMShopBench: A Real-Log Benchmark for Multimodal, Multi-Turn Shopping Agents

MMShopBench:面向多模态多轮购物智能体的真实日志基准

Zeying Hao, Hao Guo, Mengtao Xu, Yimin Hu, Yuheng Song, Zesheng Zhou, Jinsong Lan, Xiaoyong Zhu

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 该研究推出首个多模态多轮购物智能体真实日志基准MMShopBench,构建离线购物沙箱,经微调后开源模型性能大幅接近领先专有模型,验证了基准及配套训练数据的有效性。

Comments 16 pages, 6 figures, including appendix

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28991 2026-08-03 cs.CV 新提交 79%

CAER: Conflict-Aware Evidence Routing with Dual Prefix Experts for Multimodal Large Language Models

CAER:面向多模态大语言模型的冲突感知证据路由,采用双前缀专家机制

Zixuan Liu, Juntao Cai, Xiaoxu Cai, Haishuai Wang, Jiajun Bu

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 本研究提出与主干无关的CAER框架,通过双前缀专家路由机制实现视觉-语言冲突检测与冲突感知生成,在MMMC及AgriConflict数据集上验证可提升开源多模态大语言模型的可靠性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27357 2026-07-31 cs.CV eess.IV 新提交 79%

Shared Semantic Codebook Distillation for Unpaired Cross-Modal Medical Classification

用于非配对跨模态医学分类的共享语义码本蒸馏

Dillan Imans, Phuoc-Nguyen Bui, Duc-Tai Le, Hyunseung Choo

机构 * Sungkyunkwan University(成均馆大学) Convergence Research Institute, Sungkyunkwan University(成均馆大学融合研究院)

专题命中 多模态评测 :cross-modal(title,abstract);分类 cs.CV

AI总结 针对非配对跨模态医学分类的挑战,提出SSCD方法,通过共享语义码本转移知识,在两个医学分类任务中提升学生模型性能,优于各基线方法

Comments 16 pages, 2 figures, 4 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27296 2026-07-31 cs.SD cs.MM 新提交 79%

SKY-Piano: A Multimodal Piano Performance Dataset

SKY-Piano:多模态钢琴演奏数据集

Joonhyung Bae, Dawon Park, Taegyun Kwon, Yoon-Seok Choi, Hyeon Hur, Satoshi Obata, Shigeru Kai, Yohei Wada, Yu Takahashi, Akira Maezawa, Jaebum Park, Jonghwa Park, Juhan Nam

机构 * Seoul National University(首尔大学) KAIST(韩国科学技术院) Yamaha(雅马哈)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.MM

AI总结 该研究发布SKY-Piano多模态钢琴演奏数据集,含多类数据及标注工具,通过微调实验验证其用于MIDI到动作生成的可用性。

Comments Accepted to the 27th International Society for Music Information Retrieval Conference (ISMIR 2026), Abu Dhabi, UAE. Project page: https://joonhyungbae.github.io/skypiano/

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26465 2026-07-30 cs.AI 新提交 79%

MultivationBench: A Benchmark for Multimodal Sequential Motivation Reasoning

MultivationBench:多模态序列动机推理基准

Kawai Chung, Chunkit Chan, Yauwai Yim, Yuxuan Liu, Haochen Shi, Weiqi Wang, Qing Zong, Tianshi Zheng, Yixuan Fu, Kai Chung Wong, Hao Liang, Yifan Gao, Xi Yang, Janet Hui-wen Hsiao, Yangqiu Song

机构 * The Hong Kong University of Science and Technology(香港科技大学)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 本文提出MultivationBench基准,基于心理学框架评估多模态序列动机推理,发现现有模型难以在序列语境中保持一致的动机推理,暴露了静态识别与动态推理的差距。

Comments 31 pages, including appendices; 6 figures and 22 tables. Code: https://github.com/HKUST-KnowComp/MultivationBench

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25393 2026-07-29 cs.CV 新提交 79%

Towards Reliable Stain Transfer: An Iterative Data-Model Co-Optimization Framework Based on Multimodal Expert-Guided Assessment

迈向可靠的染色转移:基于多模态专家指导评估的迭代数据-模型协同优化框架

Siyuan Xu, Yan Wang, Haofei Song, Lili Gao, Jiansheng Wang, Qing Zhang, Dan Huang, Boxiang Yun, Hongkai Xiong, Qingli Li

机构 * East China Normal University(华东师范大学) Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院) Hangzhou Hyperspectral Imaging Technology Co., Ltd.(杭州高光谱成像技术有限公司) Fudan University Shanghai Cancer Center(复旦大学附属肿瘤医院)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 研究针对染色转移建模难题,提出DMCoStain框架,通过迭代优化数据与模型能力提升准确性和可解释性。基于IPE视觉语言模型构建MEGFS策略并创建ImmunoInstruction数据集,实验证明该框架达最优精度,其范式有实用价值,MEGFS可作评估工具。

Comments 10 pages, accepted by ACMMM2026 Main Track

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23633 2026-07-28 eess.IV cs.CV 新提交 79%

A Controlled Visual-Backbone Benchmark for Multimodal Short-Term Solar Irradiance Forecasting

用于多模态短期太阳辐照度预测的可控视觉主干基准测试

Oshadha Samarakoon, Dushan Herath, Ishara Ranmandala, Dilshara Herath, Roshan Godaliyadda, Parakrama Ekanayake, Vijitha Herath

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 该研究针对多模态短期太阳辐照度预测,固定多模态预测管道,仅改变视觉主干进行基准测试。比较多种主干在不同数据集上的预测表现,给出了各主干的RMSE等结果,提供了可重复的编码器比较,未确立架构优势等。

Comments 6 pages, 3 figures, Moratuwa Engineering Research Conference 2026 (MERCon 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24407 2026-07-28 cs.CV 新提交 79%

Mixture-of-Thought-Tokens: Unifying Perception and Reasoning for Free-form Multimodal Grounding

思想令牌混合:统一感知与推理以实现自由形式多模态基础定位

Tianyi Gao, Han Fang, Tianyi Ding, Hao Li, Xin Wei, Hongbo Sun, Xiaodong Dong, Ye Yuan, Jinglin Xu, Kongming Liang, Hao Sun, Jingmin Xin

机构 * Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所) Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(星辰通用人工智能实验室,中国电信人工智能技术(北京)有限公司) University of Science and Technology Beijing(北京科技大学) Beijing University of Posts and Telecommunications(北京邮电大学) Shanghai Jiao Tong University(上海交通大学)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 研究旨在统一多模态基础定位中的感知与推理。提出思想令牌混合(Motto)方法,通过空间接地思想令牌化及上下文自适应令牌链实现,构建PR-Bench基准,实验证明该方法在自由形式接地任务中达领先性能。

Comments Accepted by ACM MM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23972 2026-07-28 cs.CV 新提交 79%

Color Fundus Photography Analysis: Co-evolution of Data, Preprocessing, and Modeling toward Multimodal AI

彩色眼底摄影分析:数据、预处理和建模向多模态人工智能的共同进化

Yu Li, Wengan He, Wenhui Xu, Lihong Jiang, Fan Xiao, Zhuohang Huang, Yuanzhu Liang, Jiayi Liu, Yuxi Chen, Yongsheng Luo

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 研究彩色眼底摄影分析中数据、预处理和建模的共同进化,通过数据集进化、预处理范式和建模框架的相互作用进行综合概述,指出未来进展取决于三者协同优化,为临床部署等提供路线图。

Comments Survey paper, 77 pages, 18 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23870 2026-07-28 cs.MA cs.AI 新提交 79%

MulRobBench: A Decision-Level Benchmark for Safe and Security-Policy-Compliant Multimodal UAV Agents

MulRobBench:用于安全且符合安全策略的多模态无人机智能体的决策级基准测试

Belal S. Alsinglawi, Weizheng Wang, Junyi Wu, Yi Jiang, Lianhai Lin, Merouane Debbah, Izzat Alsmadi

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 智慧城市中无人机需在复杂条件下决策,MulRobBench作为决策级基准测试,将多模态观测、安全策略等集成,含多任务样本和评分维度,评估结合多种方式,给出模型得分,通过研究找出决策不稳定原因,为无人机多模态决策提供可重复基准。

Comments 22 pages, 18 figures, 17 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23537 2026-07-28 cs.AI 新提交 79%

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness

ObsDriveBench:具有可观测性意识的恶劣天气下多模态理解基准测试

Qiao Yan, Yihan Wang, Zhenghao Xing, Jiaqi Xu, Pheng-Ann Heng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系) Institute of Medical Intelligence and XR, The Chinese University of Hong Kong(香港中文大学医学智能与扩展现实研究所)

专题命中 多模态评测 :multimodal(title);multi-modal(abstract);分类 cs.AI

AI总结 研究恶劣天气下视觉语言模型在多模态输入时的表现,引入ObsDriveBench基准测试,通过可观测性元标注等构建含多类问题的测试集,实验发现现有模型性能降,还引入ObsDrive模型提升其在多方面的鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22698 2026-07-28 cs.CV 新提交 79%

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

FogDrive:用于分级雾天感知的多模态合成驾驶数据集

Vansh Panwar

机构 * Indian Institute of Technology, Guwahati(印度理工学院古瓦哈提分校)

专题命中 多模态评测 :multi-modal(title,abstract);分类 cs.CV

AI总结 FogDrive是用于分级雾天感知的多模态合成驾驶数据集,基于CARLA模拟器构建,含多种传感器数据,模拟不同密度雾。通过跨两种范式建立基线基准,得出训练中混合多密度雾可收紧3D边界框几何形状等见解,将开源加速多模态研究。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21998 2026-07-27 cs.CV 新提交 79%

Medical-Checklist: Assessing the Comprehension of Medical Images by Multimodal Models

医学检查表:评估多模态模型对医学图像的理解

Bannapol Limanond, Masanori Suganuma, Takayuki Okatani

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 介绍医学检查表这一基准测试,通过给模型一张图像及一正一误两个标题进行二元测试,可统一评估不同多模态模型,验证其对医学概念的理解,评估其处理分布外输入的能力,用其评估四个先进模型发现它们理解图像能力待提升。

Comments Accepted for publication in IEEE Journal of Biomedical and Health Informatics

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19975 2026-07-23 cs.CV 新提交 79%

Forecasting the Number of Harvest-ready Fruits of Sweet Peppers Using Multimodal Time-Series Data

使用多模态时间序列数据预测甜椒的可收获果实数量

Enrico Pallotta, Mohamed Farag, Esra Guclu, Chris McCool, Ribana Roscher, Juergen Gall

机构 * University of Bonn(波恩大学) Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所) CSIRO(联邦科学与工业研究组织)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 针对单株甜椒产量预测,提出融合图像特征与计数测量的多模态深度学习框架,利用LSTM网络处理时间依赖性和不规则采样,实验证明该方法能降低RMSE,提供校准不确定性估计,还发布数据集和代码助力相关研究。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18768 2026-07-22 cs.CV 新提交 79%

Cross-Modal UAV Object Tracking: State-Aware Representation Learning and A Unified Benchmark

跨模态无人机目标跟踪:状态感知表示学习与统一基准

Yun Xiao, Zhihong Hong, Jiandong Jin, Chenglong Li, Jin Tang, Amir Hussain

机构 * Anhui University(安徽大学) Edinburgh Napier University(爱丁堡龙比亚大学)

专题命中 多模态评测 :cross-modal(title,abstract);分类 cs.CV

AI总结 针对无人机跨模态目标跟踪中模态切换致外观和位置突变的问题,提出状态感知表示学习方法SARLA,含相关模块及损失函数,建立CM-UOT基准,实验证明其性能优于多种方法,推动了该领域发展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18514 2026-07-22 cs.HC cs.AI 新提交 79%

Querying Multimodal Scientific Papers with AI: Practices and Preferences Across Blind, Low-Vision, and Sighted Scientists

用人工智能查询多模态科学论文:盲人、低视力和视力正常科学家的实践与偏好

Arnavi Chheda-Kothary, Lucy Lu Wang, Joseph Chee Chang, Jonathan Bragg

机构 * Paul G. Allen School of Computer Science \& Engineering University of Washington Seattle WA USA The Information School University of Washington Allen Institute for AI Seattle WA USA Allen Institute for AI Seattle WA USA University of Washington Allen Institute for AI

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 研究不同视力科学家如何用ChatGPT和Gemini查询多模态科学文档,通过采访了解其审查多模态内容的实践、对AI响应的反馈等,发现相关问题,贡献数据集,讨论对AI科学QA系统的影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18109 2026-07-21 cs.CV 新提交 79%

SpEmoC: A Balanced Speaker-Segment Multimodal Emotion Benchmark

SpEmoC:一个平衡的说话者片段多模态情感基准

Sania Bano, Shahzad Ahmad, Santosh Kumar Vipparthi, Sukalpa Chanda, Subrahmanyam Murala

机构 * Indian Institute of Technology Ropar(印度理工学院罗帕尔分校) Østfold University College(东福尔郡大学学院) Trinity College Dublin(都柏林圣三一大学)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 研究口语对话中人类情感理解,提出SpEmoC基准,整合预训练模型与人工验证标注七种情感模态,采用严格分割保持情感平衡分布,实验证明其能提升模型跨数据集评估时情感性能的稳定性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17269 2026-07-21 cs.AI cs.DB 新提交 79%

An Explicit World Model Based on Data-First Ontology: DaoQL Multimodal Storage Validation and Counterfactual Reasoning Evaluation

基于数据优先本体的显式世界模型:DaoQL多模态存储验证与反事实推理评估

Zhanbo Li, Shifeng Wu, Xiangjin Meng, Wenjie Cai

机构 * School of Mathematics and Statistics, Chongqing University(重庆大学数学与统计学院) Guangzhou Polytechnic Normal University(广州技术师范大学)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 研究大型语言模型隐式编码世界模型的风险,提出数据优先本体并构建DaoQL多模态数据库。通过形式化显式世界模型,对比隐式模型优势。实验展示系统性能,如在反事实实验中DaoQL+GPT-4o可组合反事实可分解性大幅提升。

Comments 20 pages, 2 figures. Code: https://github.com/zhanbolee/DaoQL-Edu

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17182 2026-07-21 cs.CV 新提交 79%

BanClickThumb: A Multimodal Dataset and Transformer Fusion Benchmarks for Clickbait Detection in Bengali YouTube Videos

BanClickThumb:用于孟加拉语YouTube视频中标题党检测的多模态数据集和Transformer融合基准测试

Md. Ariful Islam, Md Tanvirul Islam, Md. Maruf Hossain Miru, Md Khalid Syfullah

机构 * Department of Computer Science and Engineering, Bangladesh Army University of Science and Technology(孟加拉国陆军科技大学计算机科学与工程系)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 针对孟加拉语YouTube视频标题党检测,公开多模态数据集BanClickThumb,用其对单模态和多模态方法进行基准测试,提出多模态模型BanClickFusionFormer,结合ViT和XLM - RoBERTa,证明多模态融合有效性,提供基准支持低资源多模态内容分析研究。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16056 2026-07-20 cs.CV 新提交 79%

Multi-Modal Semantic Segmentation of Electrolyzer Components for Sustainable Hydrogen Technologies: A Dual-Branch Deep Learning Approach

用于可持续氢能技术的电解槽组件多模态语义分割:一种双分支深度学习方法

Wasimul Karim, Nur Mohammad Fahad, Abdul Hasib Siddique, Md Rafiqul Islam, Hooman Mehdizadeh-Rad, Asif Karim, Sami Azam

机构 * Applied Artificial Intelligence and INtelligent Systems (AAIINS) Laboratory(应用人工智能与智能系统(AAIINS)实验室) University of Scholars(学者大学) Murdoch University(莫道克大学) Charles Darwin University(查尔斯达尔文大学)

专题命中 多模态评测 :multi-modal(title);cross-modal(abstract);分类 cs.CV

AI总结 针对电解槽材料分割难题,提出双分支深度学习框架HREM-Net,结合高光谱和RGB图像,通过创新模块、融合模块及损失函数,在相关数据集上取得良好效果,有望用于工业提升电解槽效率和制氢预测性维护。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.15240 2026-07-17 cs.CL 新提交 79%

TikStance: A Multimodal and Hierarchical Dataset for Multi-target Stance Analysis in TikTok Political Conversations

TikStance:用于TikTok政治对话中多目标立场分析的多模态分层数据集

Yazhi Zhang, Fuqiang Niu, Bowen Zhang

机构 * School of Artificial Intelligence, Shenzhen Technology University(深圳技术大学人工智能学院) School of Cyber Science and Technology, University of Science and Technology of China(中国科学技术大学网络空间安全学院)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CL

AI总结 研究针对TikTok政治对话中多目标立场分析,提出多模态分层数据集TikStance,涵盖2024年美国选举周期三位政治人物,结合多目标覆盖、分层对话与人工注释,支持多模态立场检测等多领域研究。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.15205 2026-07-17 cs.SE cs.AI 新提交 79%

MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization

MM-IssueLoc:用于评估多模态仓库级问题定位中视觉证据的可控基准

Shaoxiong Zhan, Shi Hu, Boyu Feng, Hai Lin, Andrew Gong, Zhengda Zhou, Jiaying Zhou, Yunyun Hou, Hao Su, Hai-Tao Zheng

机构 * Tsinghua University(清华大学)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 研究针对仓库级问题定位多为文本任务,视觉证据作用不明的情况,引入MM-IssueLoc基准和评估协议,含多语言实例与标注等。评估LLM和检索系统,发现现有系统距可靠多模态定位有差距,该基准让视觉证据成评估变量,助于后续研究。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.14683 2026-07-17 cs.AI 新提交 79%

InCarEmo: A Multimodal Dataset for In-Cabin Emotion Recognition and Driver State Monitoring

InCarEmo:用于车内情感识别和驾驶员状态监测的多模态数据集

Hao Yang, Yanyan Zhao, Kewei Zhao, Hongbo Zhang, Tian Zheng, Yusheng Liu, Xing Fu, Bichen Wang, Yu Zhang, Hao He, Zhen Wu, Xuda Zhi, Yongbo Huang, Bing Qin

机构 * Harbin Institute of Technology(哈尔滨工业大学) SERES(赛力斯)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 针对现有车内情感计算数据集局限,引入多模态InCarEmo数据集,整合多种数据支持情感识别、疲劳检测和分心监测等任务,构建中英文基准并给出基线结果,证明多模态融合优势,为车内情感理解奠基,推动人车交互发展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.14497 2026-07-17 cs.CV 新提交 79%

Reinforcing Egocentric Spatial Perception in Multimodal Large Language Models via Ego Scene Augmentation

通过自我场景增强在多模态大语言模型中强化自我中心空间感知

Chi Kit Wong, Ye Pan, Yuanhuiyi Lyu, Xu Zheng, Zidong Cao, Lutao Jiang, Zixin Zhang, Huiyu Zhou, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Guangxi Zhuang Autonomous Region Information Center(广西壮族自治区信息中心) The Hong Kong University of Science and Technology(香港科技大学)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 研究如何强化多模态大语言模型的自我中心空间感知,提出自我场景增强框架ESA,利用自我元素图作为中间表示,通过视觉基础模型增强空间感知,在EgoTextVQA基准上取得显著性能提升。

Comments 14 pages, 8 figures. Chi Kit Wong and Ye Pan contributed equally. Code: https://github.com/Chikit-WONG/spatialGraph

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12278 2026-07-15 cs.CV cs.LG 新提交 79%

Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks

全切片图像多模态基准测试中的数据泄露审计

Wenhao Zhang, Zhongliang Zhou, John Kang, Sheng Li

机构 * University of Virginia(弗吉尼亚大学) Merck & Co., Inc.(默克公司)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 研究针对计算病理学中WSI VQA基准测试数据泄露问题,通过追踪标识符发现患者级和机构级泄露,证明其可从基础模型特征空间解码,导致准确率差距,当前评估无法区分推理与检索,最后给出无污染评估建议。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11459 2026-07-14 eess.SY cs.AI cs.SY 新提交 79%

A Multimodal Dataset for Large Language Model Applications in the Energy Domain

用于能源领域大语言模型应用的多模态数据集

Costas Mylonas, Magda Foti

机构 * UBITECH

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.AI

AI总结 介绍mAIEnergy多模态数据集,整合文本、图像、时间序列及地理空间等数据,统一为结构化格式并伴有元数据与工作流程,可作能源知识库,遵循FAIR原则,助力能源领域大语言模型应用的研究、建模和决策。

详情

展开后加载摘要…

URL PDF HTML 收藏