多模态大模型

Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents

用于空中多模态大语言模型智能体的零样本任务级评估

Suman Navaratnarajah, Taehyoung Kim, Jona Ruthardt, Ishaan Bhimwal, Ryousuke Yamada, Yannik Blei, Wolfram Burgard, Yuki M Asano

专题命中 多模态评测 ：MLLM(title)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究空中MLLMs在零样本下解决长期具身任务的能力，引入MissionBench基准，含120个任务。对比22个模型与人类表现，发现模型成功率低，虽规模扩大有收益，但任务级能力需协调多种能力，凸显具身AI改进的前景与风险。

Comments Preprint

Time-Reversed Imaging: A Multimodal Benchmark and Framework for Reconstructing Past Human-Environment Interactions

时间反转成像：用于重建过去人类与环境交互的多模态基准和框架

Jorge Bacca, Kebin Contreras, Luis Toscano-Palomino, Mauro Dalla Mura

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究提出时间反转成像范式，通过TRACE-HEI数据集及多模态推理方法，从热、紫外和可见光谱中残余物理印记推断过去人类与环境交互，为时间反转成像奠定基础，开辟场景理解新方向。

Medical-Checklist: Assessing the Comprehension of Medical Images by Multimodal Models

医学检查表：评估多模态模型对医学图像的理解

Bannapol Limanond, Masanori Suganuma, Takayuki Okatani

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 介绍医学检查表这一基准测试，通过给模型一张图像及一正一误两个标题进行二元测试，可统一评估不同多模态模型，验证其对医学概念的理解，评估其处理分布外输入的能力，用其评估四个先进模型发现它们理解图像能力待提升。

Comments Accepted for publication in IEEE Journal of Biomedical and Health Informatics

PixDLM: A Dual-Path Multimodal Language Model for UAV Reasoning Segmentation

PixDLM：一种用于无人机推理分割的双路径多模态语言模型

Shuyan Ke, Yifan Mei, Changli Wu, Yonghan Zheng, Jiayi Ji, Liujuan Cao, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出PixDLM，一种用于无人机推理分割的多模态语言模型，通过构建DRSeg基准数据集，验证了该模型在处理高分辨率无人机图像中的有效性。

Comments Accepted to CVPR 2026 (highlight)

Unfit for stranding assessment: a panel-scale multimodal-LLM audit of building-decarbonisation disclosure (BeDA)

不适用于搁浅评估：建筑脱碳披露（BeDA）的面板规模多模态大语言模型审计

Jingyi Xu, Minghui Cheng, Anchen Sun

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 研究建筑脱碳披露情况，引入多模态大语言模型工具BeDA审计全球公司面板。发现多数披露不适用，存在报告差距，BeDA分数可靠，可监测该差距，为可执行的建筑搁浅法规提供支持，是筛选工具非预测工具。

Mag4D-SLAM Dataset: A Repeated-Traversal Multi-Modal 4D Geomagnetic Dataset for Localization and Mapping

Mag4D-SLAM数据集：用于定位和映射的重复遍历多模态4D地磁数据集

Bibhutibhusan Nayak, Hyoseok Ju, Giseop Kim

机构 * Department of Robotics and Mechatronics Engineering, DGIST（大邱庆北科学技术院机器人与机电工程系） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 该研究提出Mag4D-SLAM这一首个大规模室外地磁SLAM数据集，含多传感器同步测量与地面真值姿态。通过重复遍历实验分析磁场重复性等特性，支持偏航漂移缓解等研究，还能开启地磁传感补充其他模态及应对特殊情况的新研究。

Comments Accepted to IROS 2026. 8 pages, 8 figures. *Bibhutibhusan Nayak and Hyoseok Ju contributed equally to this work

Khondo: A Multimodal Benchmark for Document Packet Splitting of Bangla Forms

Khondo：孟加拉语表格文档分组拆分的多模态基准测试

Abu Tyeb Azad, Fahim Ahmed, Ishita Sur Apan, Ezharuddin Jubaer, Sumaiya Karim Katha, Armun Alam, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

机构 * Wichita State University（威奇托州立大学） ； CCDS, Independent University, Bangladesh（孟加拉国独立大学计算与通信科学系） ； Amazon GenAI（亚马逊生成式人工智能） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对孟加拉语表格文档分组拆分难的问题，引入多模态基准测试Khondo，涵盖多种拼接方案和行政领域。通过对语言模型零样本评估及对照分析，发现页面排列是主要挑战，语言有影响，确立页面顺序重建问题并提供基准测试。

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

对抗风格优化：通过基于GRPO的风格触发优化增强VLM越狱

Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Shandong University（山东大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。

Comments Accepted by CVPR 2026 (Oral)

ACME: A Multi-Cultural, Multi-Embodiment Social-Navigation Dataset

ACME：一个多文化、多实体的社会导航数据集

Shashank Rao Marpally, Allan Wang, Atharva Ghotavadekar, Renato Alexandre Ribeiro, Nhat Le, Pilar Bachiller-Burgos, Pranav Goyal, Subham Agrawal, Yasuhiro Nitta, Howard Ziyu Han, Daeun Song, Masaki Kuribayashi, Kohei Uehara, Xiyue Wang, Yangzhe Kong, Duc M. Nguyen, Amirreza Payandeh, Gerardo Pérez-González, Alejandro Torrejón-Harto, Jeeho Ahn, Tisha Jain, Andrew Stratton, Elvin Yang, Jorge de Heuvel, Nico Ostermann-Myrau, Sai Anudeep Sajja, Mithilya Raj, Daisuke Sato, Gaston Rouquette, Nikolas Martelaro, Maki Sugimoto, Hironobu Takagi, Chieko Asakawa, Maren Bennewitz, Aaron Steinfeld, Xuesu Xiao, Christoforos Mavrogiannis, Harold Soh

机构 * School of Computing, National University of Singapore（新加坡国立大学计算学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI

AI总结 该研究针对现有社会导航数据集缺乏文化等多样性的问题，引入ACME数据集，通过多国多地多机器人实体大规模收集数据，提供多种数据便于学习与预测，经分析其能捕捉更具挑战场景及更广泛行人行为。

Comments 24 Pages, 19 Figures, Submitted to IJRR on June 29th 2026

A Systematic Survey on Image Description Techniques for STEM Domains

关于STEM领域图像描述技术的系统综述

Marco Cardia, Letizia Angileri, Marina Buzzi, Giulio Galesi, Barbara Leporini

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 综述20项关于AI描述STEM视觉的研究，关注可及性和人机交互。分析目标视觉类型等多方面内容，指出从静态转向交互式多模态系统，同时存在事实不准确等挑战，最后概述人机交互关键研究方向。

Comments This is the Author's Original Manuscript of an article accepted for publication in International Journal of Human-Computer Interaction, published by Taylor and Francis. The Version of Record is available at DOI 10.1080/10447318.2026.2668031

The Computational Basis of Confidence in Large Language Models

大语言模型中置信度的计算基础

Dharshan Kumaran, Viorica Patraucean, Maks Ovsjanikov, Petar Veličković, Nathaniel Daw

机构 * Google DeepMind（谷歌DeepMind） ； École Polytechnique（巴黎综合理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究大语言模型中置信度的计算基础，利用统计决策置信度框架，通过答案 - 对数差异测试其预测特征，结果表明在多种任务中答案对数可作潜在决策变量读出，为多模态语言模型置信度提供解释并统一研究框架。

MATNet: Multi-Level Fusion Transformer-Based Model for Day-Ahead PV Generation Forecasting

MATNet：基于多层级融合Transformer的日前光伏发电预测模型

Matteo Tortora, Francesco Conte, Gianluca Natrella, Paolo Soda

机构 * Department of Naval, Electrical, Electronics ； Telecommunications Engineering, University of Genoa, Via all’Opera Pia 11a, 16145 Genoa, Italy ； Unit of Innovation, Entrepreneurship \& Sustainability, Department of Engineering, University Campus Bio-Medico of Rome Via Alvaro del Portillo 21, 00128 Rome, Italy ； Computer Systems Department of Engineering, University Campus Bio-Medico of Rome Via Alvaro del Portillo 21, 00128 Rome, Italy 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出一种基于多层级融合Transformer的多模态架构MATNet，通过多级联合融合和软注意力机制利用历史光伏数据与气象数据，在日前多步光伏发电预测中显著优于基线模型（RMSE 0.0445，相对提升约65%），并展现出对缺失数据的鲁棒性和跨域零样本泛化能力。

Journal ref Frontiers in Artificial Intelligence. 9 (2026)

PC2Model: ISPRS benchmark on 3D point cloud to model registration

PC2Model：ISPRS基准在点云到模型配准

Mehdi Maboudi, Said Harb, Jackson Ferrao, Kourosh Khoshelham, Yelda Turkan, Karam Mawas

机构 * 1 Institute of Geodesy 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出PC2Model基准，通过结合模拟点云与真实扫描数据，解决点云到模型配准中的稀疏性、噪声等问题，提升跨领域模型泛化能力。

Comments ISPRS Congress 2026, Toronto

An AI-Driven Virtual Patient for Breaking Bad News: An Expert Formative Study on Facial Expression Intensity

用于传达坏消息的人工智能驱动虚拟患者：面部表情强度的专家形成性研究

Steffen Hauck, Theresa Schell, Sophie Jörg, Jens Grubert

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 研究探讨大语言模型驱动的虚拟患者情感表达设计难题，提出结合大语言模型对话与实时面部动画的框架，通过对七位医学专家评估，发现专家通过多渠道评估情感真实感，为未来医学培训模拟器提出需同步多模态管道的路线图。

Industrial Dexterity Benchmark: A Hardware-Software Benchmarking Platform for Industrial Dexterous Manipulation

工业灵巧性基准测试：一个用于工业灵巧操作的硬件-软件基准测试平台

Honglu He, Jacob Laufer, Zhiwu Zheng, David Elkan-gonzalez, Raman Goyal, Xinyi Li, Su Lu, Mishek Musa, Berke Saat, Nicolas Tan, Colm Prendergast

机构 * Analog Devices, Inc.（亚德诺半导体技术有限公司） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 针对工业灵巧操作瓶颈，提出从经典流程到端到端多模态模仿学习框架的转变，介绍了IDB板、DAG-ROS框架和AG-iDP3策略框架，通过数据中心电缆操作实验表明新策略在多方面优于传统方法，推动向可扩展机器人自动化发展。

Layer-wise LoRA fine-tuning: a similarity metric approach

逐层LoRA微调：相似性度量方法

Keith Ando Ogawa, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出逐层LoRA微调方法，通过选择性微调部分层以减少可训练参数并保持预测性能，适用于不同架构和任务。

Comments Accepted at the International Conference on Pattern Recognition (ICPR 2026)