多模态大模型

Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild

释放多模态大语言模型用于野外无训练的人机交互检测

Ting Lei, Jialin Liu, Zhu Xu, Yuxin Peng, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对传统人机交互检测方法在开放世界和组合场景中泛化能力受限的问题，提出无训练的AgentHOI框架，利用基础模型多模态推理能力，通过上下文感知多轮推理和多方面交互定位机制，在实际场景中取得优于现有监督和弱监督方法的性能。

Multimodal Assessment of Pancreatic Cancer Resectability Using Deep Learning

使用深度学习对胰腺癌可切除性进行多模态评估

Vincent Ochs, Christoph Kuemmerli, Florentin Bieder, Julia Wolleb, Joel L. Lavanchy, Julia Ruppel, Jan Liechti, Stephanie Taha-Mehlitz, Christian Andreas Nebiker, Beat Mueller, Giuseppe Kito Fusai, Joerg-Matthias Pollok, Anas Taha, Philippe C. Cattin, Sebastian Staubli

机构 * University of Basel（巴塞尔大学） ； Clarunis, University Digestive Health Centre（克拉鲁尼斯大学消化健康中心） ； Kantonsspital Aarau（阿劳州立医院） ； Royal Free Hospital（皇家自由医院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究利用深度学习框架联合分析CT与临床信息，对胰腺癌可切除性分类。通过Swin-UNETR主干获取图像特征，融合临床嵌入，经动态多任务目标训练，能将患者分入NCCN的三种可切除性类别，提高评估准确性。

GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents

GDP.pdf：针对专业PDF文档的基础多模态推理基准测试

Suhaas Garre, Emily Ritchie, Sushant Mehta, Edwin Chen

机构 * Surge AI 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对专业PDF文档构建多模态推理基准测试GDP.pdf，由专业人员编写问题-文档对，通过严格筛选保留问题，有详细评分标准和能力分类。评估七个前沿模型，发现多数错误源于特定模式，公开了完整基准测试。

Comments 9 pages. v2: results updated to July 2026 leaderboard (17 models). Accepted at the 2nd Workshop on Knowledge-Intensive Multimodal Reasoning (KnowledgeMR) at CVPR 2026 (non-archival), under the former title "PDFParse: A Benchmark for Grounded Multimodal Reasoning over Professional PDF Documents". Dataset: https://huggingface.co/datasets/surgeai/GDP.pdf ; Code: https://github.com/surge-ai/gdp-pdf

BenthiCat: An opti-acoustic dataset for advancing benthic classification and habitat mapping

BenthiCat：用于推进底栖生物分类和栖息地测绘的光声数据集

Hayat Rajani, Valerio Franchi, Borja Martinez-Clavel Valles, Raimon Ramos, Rafael Garcia, Nuno Gracias

机构 * Computer Vision and Robotics Research Institute, University of Girona, Spain（计算机视觉与机器人研究研究所，加泰罗尼亚大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 为解决底栖生物分类和栖息地测绘领域大型标注数据集稀缺问题，本文介绍含约百万侧扫声纳图块等的多模态数据集，通过空间关联促进跨模态学习，提供工具，旨在建立标准化基准推动相关领域进步。

Comments Article under review by Earth System Science Data (ESSD)

Quantum Circuit Vision: Cost-Aware Evaluation of Visual AI Agents for Quantum Code Generation

量子电路视觉：用于量子代码生成的视觉人工智能代理的成本感知评估

Dongping Liu, Aoyu Zhang, Luyao Zhang

机构 * Amazon Web Services（亚马逊网络服务） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究人工智能代理对量子电路图的理解及代码生成成本，提出量子电路视觉评估框架，构建基准并评估模型，发现中级模型在成本-准确性上平衡最佳，电路深度是失败主因，提出级联路由策略并开源数据集及代码。

How Far Can Root Cause Analysis Go on Real-World Telemetry Data?

根因分析在实际遥测数据上能走多远？

Athira Gopal, Ashwanth Krishnan

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究生产微服务故障根因分析难题，提出结构化多智能体RCA管道，性能超现有方法。引入反向推理智能体和自动规则挖掘管道，发现故障证据多，瓶颈在智能体推理能力，模型推理和领域知识是主要限制，进步需模型改进。

NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

NeSy-Route：一种用于遥感约束路径规划的神经符号基准

Ming Yang, Zhi Zhou, Shi-Yu Tian, Kun-Yang Yu, Lan-Zhe Guo, Yu-Feng Li

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学） ； School of Artifical Intelligence, Nanjing University, China（人工智能学院，南京大学） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 NeSy-Route是一个大规模神经符号基准，用于评估遥感中的约束路径规划能力，通过自动化数据生成框架和三级评估协议，全面测试多模态大语言模型的感知、推理和规划能力。

Comments Accepted by ECCV2026

1D-Bench: A Benchmark for Iterative UI Code Generation with Visual Feedback in Real-World

1D-Bench: 一个用于具有实时反馈的现实世界迭代UI代码生成的基准

Qiao Xu, Yipeng Yu, Chengxiao Feng, Xu Liu

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 1D-Bench通过现实电商工作流提供迭代UI代码生成基准，测试模型在中间表示缺陷下的鲁棒性，实验表明迭代编辑能提升渲染成功率和视觉相似性。

Interaction Density as a Behavioural Signature of Exhibit Type: A Minimal-Log Study from a Two-Venue Science Experience Centre

交互密度作为展品类型的行为特征：来自双场馆科学体验中心的最小日志研究

R A Udaya Rakshith, Inavamsi Enaganti, Umang J Gala

专题命中 多模态评测 ：multimodal(abstract)

AI总结 研究如何从触摸式展品默认记录的少量字段获取参观者与展品互动信息，通过分析得出交互密度这一行为特征区分游戏和测验，发现其能预测展品类型，但数据有复杂性，还表明最小化交互日志可支持行为研究。

Comments 7 pages, 4 figures. Raw session-level dataset (CSV) included as an ancillary file

A Bayesian framework for the uncanny valley in humanoid robot design

类人机器人设计中恐怖谷效应的贝叶斯框架

Shimon Honda, Rin Shibano, Hideyoshi Yanagisawa

机构 * The University of Tokyo（东京大学） 纠错

专题命中 多模态评测 ：cross-modal(abstract)

AI总结 研究类人机器人设计中恐怖谷效应，提出分层贝叶斯生成模型，将相关准则转化为数学变量，通过模拟和实验验证，该模型能将经验启发式方法转变为计算基础，用于评估和优化机器人外观与行为。

Overcoming the Modality Gap in Context-Aided Forecasting

克服情境差距以实现上下文辅助预测

Vincent Zhihao Zheng, Étienne Marcotte, Arjun Ashok, Andrew Robert Williams, Lijun Sun, Alexandre Drouin, Valentina Zantedeschi

机构 * ServiceNow Research（ServiceNow研究） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克AI研究所） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出半合成数据增强方法，生成高质量上下文以提升上下文辅助预测性能，构建了700万规模的数据集，并验证了其在真实场景中的有效性。

Fire as a Service: Augmenting Robot Simulators with Thermally and Visually Accurate Fire Dynamics

火灾作为服务：通过热力学和视觉准确的火灾动力学增强机器人仿真器

Anton R. Wagner, Madhan Balaji Rao, Helge Wrede, Sören Pirk, Xuesu Xiao

机构 * Department of Computer Science, Kiel University（基尔大学计算机科学系） ； Department of Computer Science, George Mason University（乔治·马歇尔大学计算机科学系） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出Fire as a Service框架，通过高保真火灾模拟提升机器人仿真器的热力学和视觉准确性，支持生成真实火灾环境下的训练数据和热危害评估。

SPyCE: Skill-Policy Co-evolution for Multimodal Agents

SPyCE：多模态智能体的技能-策略协同进化

Ru Zhang, Weijie Qiu

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究多模态智能体，提出SPyCE框架，将推理轨迹提炼为分层技能库与策略协同进化，执行技能捕获局部操作，工作流技能编码高级先验，实验证明该框架优于基线，为构建多模态智能体提供新范式。

Multi-Agent Collaborative Reasoning with Tool-Augmented Evidence for Urban Region Profiling

基于工具增强证据的多智能体协作推理用于城市区域剖析

Xixuan Hao, Yutian Jiang, Jiabo Liu, Yihang Yang, Guangyin Jin, Song Gao, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Washington（华盛顿大学） ； Chang’an University（长安大学） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究针对城市区域剖析问题，提出UrbanAgent框架，通过多智能体协作推理解决跨模态不一致，将指标预测扩展为闭环过程，经实验验证其性能优于现有基线，在未见城市设置中有强泛化性。

Comments Accepted by KDD 2026

VisualRepair: Dynamic Tool Calling and Region Focusing for Visual Software Issue Repair

VisualRepair：用于视觉软件问题修复的动态工具调用和区域聚焦

Jingyu Xiao, Zhongyi Zhang, Haoran Hou, Yuxuan Wan, Yuan Jiang, Yintong Huo, Michael R. Lyu

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)

AI总结 针对现代软件视觉信息利用难题，提出VisualRepair框架，通过图像类型感知工具调用和动态测试时区域聚焦两模块，在SWE-bench基准测试中性能超现有方法，有效提升自动视觉软件问题修复能力。

Comments The paper was completed in March 2026 and is currently under review. The code will be released upon acceptance

Grounded world models in biological organisms and future embodied AI

生物有机体和未来具身人工智能中的基础世界模型

Giovanni Pezzulo, Davide Nuzzi, Marco D'Alessandro, Riccardo Proietti, Roberto Bottini, Paul Cisek

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究探讨生物有机体中基础世界模型，通过五个神经回路例子揭示当前具身人工智能缺失的特征，如内在动力学作用等，还讨论了生物系统原则对未来具身人工智能的影响。

Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

自我在空间中：无人机具身智能中的自我意识与空间认知基准测试

Zhishan Zou, Guoyan Sun, Zhiwei Wei, Jiancheng Pan, Yujie Li, Mugen Peng, Wenjia Xu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Hunan Normal University（湖南师范大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对无人机具身智能中自我意识与空间认知问题，引入SIS - Bench基准，通过多维度层次评估，揭示现有模型局限，探索运动感知表征提升性能，强调自我意识重要性，提供新基准和实证依据。

Comments Website:https://choucisan.github.io/publications/self-in-space ; Code:https://github.com/IntelliSensing/Self-in-Space

Beyond Description: Cognitively Benchmarking Fine-Grained Action for Embodied Agents

超越描述：为具身智能体进行细粒度动作的认知基准测试

Dayong Liu, Chao Xu, Weihong Chen, Suyu Zhang, Juncheng Wang, Jiankang Deng, Baigui Sun, Yang Liu

机构 * Zhejiang University（浙江大学） ； Wolf 1069 b（沃尔夫1069b） ； Sany Group（三一集团） ； The Hong Kong Polytechnic University（香港理工大学） ； Imperial College London（帝国理工学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出CFG-Bench基准测试，旨在评估具身智能体在物理交互中的细粒度动作能力，揭示现有MLLMs在高层次推理中的不足，并通过监督微调提升其性能。

Comments Accepted to ECCV2026

Mind the Gap: Action Rebinding Attacks against Android GUI Agents

零权限操纵：我们能否信任由大型多模态模型驱动的GUI代理？

Yi Qian, Kunwei Qian, Xingbang He, Ligeng Chen, Jikang Zhang, Tiantai Zhang, Haiyang Wei, Linzhang Wang, Hao Wu, Bing Mao

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Hornor Device Co., Ltd（Hornor设备有限公司） ； Institute of Dataspace, Hefei Comprehensive National Science Center（数据空间研究所，合肥综合性国家科学中心） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究揭示了由大型多模态模型驱动的GUI代理在Android中存在视觉原子性假设的漏洞，通过零权限攻击实现对代理执行的重新绑定，并利用意图对齐策略绕过验证门，展示了代理-操作系统集成中的安全缺陷。

A 3DGS-Driven Dynamic Viewpoint and Vibrotactile Framework for Subsea Teleoperation Validated via fNIRS

一种由 3DGS 驱动的用于水下遥操作的动态视点和振动触觉框架，并通过功能近红外光谱法进行验证

Fang Xu, Tianyu Zhou, Ruitong Tian, Md Jahidul Islam, Jing Du

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究针对水下遥操作受限于二维视图和通信延迟的问题，提出基于 ROS - Unity 框架的多模态架构，用 3DGS 驱动的 DAVS 及振动触觉套装辅助，经实验验证该方式能提升操作员性能与认知耐力。

Comments 9 pages, 6 figures

M3F-UAV: A Missing-Modality Multimodal Foundation Model for Low-Altitude Wireless Sensing

M3F-UAV：一种用于低空无线传感的缺失模态多模态基础模型

Pengxuan Gao, Kai Ying, Botao Wu, Jianhua Mo, Qingsong Wen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)

AI总结 针对复杂环境下单模态模型可靠性低的问题，提出M3F-UAV模型，通过特定模态预训练特征提取器、跨模态融合及缺失模态感知预训练，从多观测中学习统一表示，在LAMBDA数据集实验中性能优于单模态基线且在缺失模态下稳健。

Rethinking Multimodal Fusion for Time Series: Text Modalities Need Constrained Fusion

重新思考时间序列的多模态融合：文本模态需要受约束的融合

Seunghan Lee, Jun Seo, Jaehoon Lee, Sungdong Yoo, Minjae Kim, Tae Yoon Lim, Dongwan Kang, Hwanil Choi, SoonYoung Lee, Wonbin Ahn

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对多模态时间序列预测中朴素融合方法效果不佳的问题，提出受约束融合方法及受控融合适配器（CFA），通过低秩适配器过滤无关文本信息，在多种数据集和模型上验证了有效性。

Comments KDD Workshop on Mining and Learning from Time Series 2026 (Oral presentation)

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Ruoyu Chen, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

Inverse-LLaVA: Rethinking Multimodal Alignment via Text-to-Vision Mapping

Inverse-LLaVA：通过文本到视觉映射重新思考多模态对齐

Xuhui Zhan, Tyler Derr

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究重新审视多模态学习中传统映射方向，提出Inverse-LLaVA架构，通过文本到视觉映射反转方向。该架构无需对齐预训练，在多模态基准测试中展现强大学习效率，为多模态架构设计开辟新方向，解耦表示结构与监督方式。

Comments 19pages, 3 figures

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL：用于多模态强化学习的灵敏度不变视觉对齐

Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Sichuan University（四川大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Macau（澳门大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态强化学习中视觉语言模型预测与视觉证据结合问题，提出SIVA-RL框架，通过特定方法构建局部干预并以奖励下降为权重驱动对齐，在多基准测试中相比基线改进了模型。

Comments 27 pages, 11 figures

Traffic-CBM: A Structurally Interpretable Multimodal Framework for Encrypted Traffic Classification

Traffic-CBM：一种结构可解释的多模态加密流量分类框架

Honglei Jin, Wenshuo Chen, Shaofeng Liang, Haozhe Jia, Runwei Guan, Menshuo Zhao, Shuxu Jin, Songning Lai, Yutao Yue

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Traffic-CBM框架，通过统一层次化概念空间组织多模态流量证据，实现结构可解释的加密流量分类，性能与端到端模型相当且解释性更强。

Comments 14 pages, figures and tables

PQFA: Parallel Quantum Feature Augmentation of Fused Representations for Multimodal Classification

PQFA：用于多模态分类的融合表示的并行量子特征增强

Mingzhu Wang, Yun Shang

机构 * AMSS（中国科学院数学与系统科学研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究多模态学习中后融合增强问题，提出并行量子特征增强框架PQFA，将其应用于融合特征，经多种处理后幅度编码到量子电路预测。实验表明PQFA性能优、参数效率高，是混合量子 - 经典多模态学习后融合增强的有效策略。

FM$^2$: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging

FM$^2$：用于异构多模态医学成像的统一联邦基础模型

Shengchao Chen, Ting Shu

机构 * School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院） ； Australian AI Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV

AI总结 针对医学成像基础模型构建中隐私与任务统一问题，提出FM$^2$框架，通过从头训练核心主干、结合预训练编码器、配备双混合专家模块及正则化器，并引入字幕增强学习，实现跨模态泛化，优于现有联邦基线。

Comments Accepted by ACM MM 2026 (Main Track): the 34th ACM International Conference on Multimedia

Fine-Grained Vision-Language Pretraining with Organ-Conditioned Pattern Tokens for CT Understanding

用于CT理解的基于器官条件模式令牌的细粒度视觉语言预训练

Guoliang You, Xiaomeng Chu

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV

AI总结 研究从CT扫描和报告进行视觉语言预训练的难题，提出OCP-CT框架，通过保留全局对比分支、引入器官模式接口等方法，在公开基准上实现零样本异常诊断，相比先前结果有显著AUROC增益。

Comments 9 pages, 4 figures

Attention-Free and Lightweight Token Reduction for Efficient Vision-Language Models

用于高效视觉语言模型的无注意力轻量级令牌约简

Xuanyi Hao, Zuoyuan Zhang, Zhibo Wang, Xiaoyi Pang, Jiahui Hu, Jiacheng Du, Shuguo Zhuo

机构 * Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉语言模型在边缘设备部署难的问题，提出无注意力轻量级令牌约简框架，通过基于熵的准则估计令牌重要性，引入一致性信号确保视觉覆盖，经实验验证该框架在精度和效率权衡上表现出色。

Comments This work has been submitted to the IEEE for possible publication