多模态大模型

ODOV: Benchmark the Open-Domain Open-Vocabulary Object Detection

ODOV：开放域开放词汇目标检测基准

Yupeng Zhang, Ruize Han, Fangnan Zhou, Wei Feng, Liang Wan

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能计算学院） ； Key Research Center for Surface Monitoring and Analysis of Relics, State Administration of Cultural Heritage（文物表面监测与分析国家重点研究中心） ； Faculty of Computer Science and Artificial Intelligence, Shenzhen University of Advanced Technology（深圳先进技术大学计算机科学与人工智能学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对真实场景中域偏移和类别偏移同时发生的问题，提出开放域开放词汇目标检测任务，构建OD-LVIS基准数据集，并设计基于VLM的基线方法，通过域无关类别提示和域投影嫁接模块提升检测性能。

ImViD: Immersive Volumetric Videos for Enhanced VR Engagement

ImViD：用于增强VR沉浸感的沉浸式体积视频

Zhengxian Yang, Shi Pan, Shengqi Wang, Haoxiang Wang, Li Lin, Guanjun Li, Zhengqi Wen, Borong Lin, Jianhua Tao, Tao Yu

机构 * Tsinghua University（清华大学） ； Migu Beijing Research Institute（中国移动北京研究院） ； Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出ImViD多视角多模态数据集，支持移动中捕获完整场景，为6自由度多模态沉浸式VR体验提供基准和重建管线。

Comments CVPR 2025 Highlight; Fix NSFC ID

PolyFusionAgent: A Multimodal Foundation Model and Autonomous AI Assistant for Polymer Property Prediction and Inverse Design

PolyFusionAgent: 用于聚合物性能预测和逆向设计的多模态基础模型与自主AI助手

Manpreet Kaur, Xingying Zhang, Qian Liu

机构 * Department of Applied Computer Science, The University of Winnipeg（应用计算机科学系，温尼伯大学） ； Department of Mechanical Engineering, University of Manitoba（机械工程系，曼尼托巴大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI

AI总结 提出PolyFusionAgent框架，结合多模态聚合物基础模型PolyFusion和工具增强的设计代理PolyAgent，通过对齐序列、拓扑、3D几何和指纹等多模态视图学习共享潜在空间，实现热物理性能预测和化学有效、结构新颖的聚合物逆向设计，并利用文献证据检索闭环设计流程。

Comments 23 pages, 5 figures, 2 tables; Supplementary material included

Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions

个性化具身多模态大语言模型代理在长期用户交互中的应用

Jeongeun Lee, Chanyoung Park, Dongha Lee

机构 * Yonsei University（延世大学） ； KAIST（韩国科学技术院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出POLAR框架，通过多模态知识图谱记忆机制增强具身代理在长期交互中的个性化能力，显著提升多步推理和用户上下文跟踪性能。

AD-H: Language-guided Autonomous Driving with Hierarchical Agents

AD-H：基于分层智能体的语言引导自动驾驶

Zaibin Zhang, Talas Fu, Shiyu Tang, Yuanhang Zhang, Yifan Wang, Lijun Wang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 多模态Agent ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出AD-H分层多智能体框架，上层MLLM规划器生成中层驾驶指令，下层轻量控制器执行连续动作，通过规则重建1.15M中层指令对，以3B+350M参数超越7B模型，实现长时域泛化与指令遵循。

QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents

QUACK: 多模态社交推理智能体中的沟通知识质疑、理解与审计

Ye Yuan, Rui Song, Weien Li, Zeyu Li, Haochen Liu, Xiangyu Kong, Changjiang Han, Yonghan Yang, Zichen Zhao, Zixuan Dong, Fuyuan Lyu, Bowei He, Haolun Wu, Jikun Kang, Xue Liu

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； University of Cambridge（剑桥大学） ； MBZUAI - Mohamed bin Zayed University of Artificial Intelligence（MBZUAI - 摩苏尔·本·扎耶德人工智能大学） ； University of Toronto（多伦多大学） ； Salesforce 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出QUACK框架，通过游戏结果、行为轨迹和话语一致性三级评估，自动审计多模态社交推理智能体语言与感知行为的一致性，发现最强智能体仍有15.1%的空间幻觉和过半无据指控。

Gamified Requirement Elicitation for a Multi-Modal Decision Support System. The Case of SYNCHROMODE

多模态决策支持系统的游戏化需求获取：以SYNCHROMODE为例

Dimitris Tzanis, Alexandros Dolianitis, Viktoria Petkani, Areti Kotsi, Evangelos Mitsakis

专题命中 多模态Agent ：multi-modal(title)；multimodal(abstract)

AI总结 本文以SYNCHROMODE项目为案例，通过传统用例方法和游戏化方式获取多模态决策支持系统的需求，并对比分析两种方法产生的需求。

Comments 12 pages, 6 figures

IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams

IPIBench: 在连续流下评估多模态大模型的交互式主动智能

Jinzhao Li, Yinuo Chen, Wenxuan Song, Yijia Lei, Yichi Zhang, Honglei Yan, Panwang Pan, Miao Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； ByteDance（字节跳动） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出IPIBench基准，用于评估多模态大模型在流式视频场景中的交互式主动智能，并设计IPI-Agent框架以改善主动触发和交互协调。

EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy

EgoProx: 在认知层级上评估多模态大语言模型的自我中心3D邻近推理能力

Jinzhao Li, Yinuo Chen, Dongxu Piao, Panwang Pan, Yifan Yu, Dong Wang, Honglei Yan, Liang Yue, Shaofei Wang, Yixin Chen, Siyuan Huang, Miao Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； ByteDance（字节跳动） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出EgoProx基准，通过认知链任务和基于智能体的数据引擎，评估多模态大语言模型在自我中心3D邻近推理中的表现，发现模型虽具备空间知识但难以有效利用。

Comments Accepted to CVPR 2026

Detached Skip-Links and $R$-Probe: Decoupling Feature Aggregation from Gradient Propagation for MLLM OCR

分离跳跃链接与$R$-探针：解耦特征聚合与梯度传播用于MLLM OCR

Ziye Yuan, Ruchang Yao, Chengxin Zheng, Yusheng Zhao, Daxiang Dong, Ming Zhang

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Beijing Key Laboratory of Software and Hardware Cooperative Artificial Intelligence Systems, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，PKU-Anker LLM实验室，软件与硬件协同人工智能系统北京重点实验室，北京大学，北京，中国） ； Tsinghua University, Beijing, China（清华大学，北京，中国） ； Baidu Inc, Beijing, China（百度公司，北京，中国） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型在OCR任务中因梯度干扰导致细粒度视觉信息丢失的问题，提出分离跳跃链接（Detached Skip-Links）以解耦前向特征聚合与反向梯度传播，并引入$R$-探针（$R$-Probe）诊断视觉令牌的可重构性，从而提升OCR及通用多模态任务性能。

Comments Accepted by ICML 2026. Ziye Yuan and Ruchang Yao contributed equally to this work (co-first authors, listed in random order)

Document Classification Pattern Recognition via Information Fusion: A Systematic Review of Multimodal and Multiview Representation Approaches

基于信息融合的文档分类模式识别：多模态与多视角表示方法的系统综述

Marcin Michał Mirończuk

机构 * National Information Processing Institute（国家信息处理研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过系统综述和元分析，提出了统一框架，量化了多模态和多视角融合在文档分类中的性能提升，并揭示了方法学严谨性不足的问题。

Journal ref Information Fusion, 132, 2026, 104247

LaRe: Latent Refocusing for Multimodal Reasoning

LaRe: 用于多模态推理的潜在重聚焦

Jizheng Ma, Xiaofei Zhou, Geyuan Zhang, Yanlong Song, Han Yan

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络与信息安全学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出LaRe范式，在潜在空间内进行视觉重聚焦，结合语义增强训练，在提升推理准确率的同时大幅减少推理所需token数。

Re-M3Dr: Rebalanced MultiModal Mean Deviation Regression

Re-M3Dr：重新平衡的多模态均值偏差回归

Haojie Yin, Chengcheng Feng, Tianyi Liu, Tianqi Zhang, Kaizhu Huang

机构 * Duke Kunshan University, China（杜克大学昆山学院） ； Xi'an Jiaotong-Liverpool University, China（西安交通大学利物浦大学） ； Soochow University（苏州大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对多模态医学图像融合性能反不如单模态的问题，提出Re-M3Dr框架，通过自适应边界的监督对比学习和锐度感知梯度调制，实现多模态均值偏差回归，在临床数据集上均方误差降低29%。

Multi-Modal Building Inspection via Perceiver IO Fusion of Satellite and Street-Level Imagery

基于Perceiver IO融合卫星和街景图像的多模态建筑检测

Niels Sombekke, Rob G. J. Wijnhoven, Martin R. Oswald

机构 * University of Amsterdam (UvA)（阿姆斯特丹大学） ； Spotr 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一种通过Perceiver IO架构融合卫星和街景图像的多模态分类框架，使用共享DINOv2骨干网络的空间补丁令牌，无需填充或固定大小池化即可处理可变数量的街景视图，并联合预测屋顶元素和材料类别，在包含10个国家32135栋建筑的数据集上验证了RGB-M掩码策略和融合模型的有效性。

PANDO: Efficient Multimodal AI Agents via Online Skill Distillation

PANDO: 通过在线技能蒸馏实现高效多模态AI智能体

Yubo Li, Yidi Miao, Yuntian Shen, Yuxin Liu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出PANDO框架，通过在线技能蒸馏、结构化技能库和缓存感知提示，在VisualWebArena任务中以更低token消耗实现更高成功率。

DV-SFT: Direct Vision Supervision for Fine-Grained Visual Understanding

DV-SFT: 直接视觉监督用于细粒度视觉理解

Jianfei Zhao, Feng Zhang, Xin Sun, Chong Feng, Bing Wang, Zhixing Tan

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） ； Beihang University（北航） ； Zhongguancun Laboratory（中关村实验室） ； Southeast Academy of Information Technology, Beijing Institute of Technology（北京理工大学信息科学技术东南学院） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出DV-SFT方法，通过为视觉令牌构建显式令牌级监督信号，利用OCR场景中的直接视觉-文本对应关系，在不修改模型架构或增加前向传播的情况下，显著提升多模态大语言模型的细粒度视觉理解能力。

Comments Under Review

Frequency-Guided Fusion For RGB-Thermal Semantic Segmentation

频率引导的RGB-热红外语义分割融合

İsmail Emre Canıtez, Özgür Erkent

机构 * Hacettepe University（哈切特佩大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出一种基于双ConvNeXt V2骨干网络的多模态融合架构，通过频率分解和置信门控残差机制融合RGB与热红外特征，在MFNet和PST900上以较低参数量实现先进性能。

Comments 9 pages, 7 figures, To be Presented at Perception Beyond the Visible Spectrum workshop series (IEEE PBVS) at CVPR, 2026

Hide to See: Reasoning-prefix Masking for Visual-anchored Thinking in VLM Distillation

Hide to See: 面向VLM蒸馏中视觉锚定思维的推理前缀掩码

Seonghoon Yu, Dongjun Nam, Byung-Kwan Lee, Jeany Son

机构 * KAIST（韩国科学技术院） ； NVIDIA（英伟达） ； POSTECH（POSTECH大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出一种推理前缀掩码蒸馏框架，通过掩码学生模型的显著推理前缀，迫使其在推理过程中更依赖视觉证据，从而缓解长推理轨迹中的视觉遗忘问题，提升多模态推理性能。

Comments Pre-print

Self-signals Driven Multi-LLM Debate for Efficient and Accurate Reasoning

自信号驱动的多LLM辩论以实现高效准确的推理

Xuhang Chen, Zhifan Song, Deyi Ji, Shuo Gao, Lanyun Zhu

机构 * University of Cambridge（剑桥大学） ； Sorbonne Université（索邦大学） ； University of Science and Technology of China（中国科学技术大学） ； Beihang University（北航大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种利用模型级置信度和token级语义焦点两种自信号来自适应引导多LLM辩论过程的方法，在提高准确性的同时减少token消耗。

Detail Consistent Stage-Wise Distillation for Efficient 3D MRI Segmentation

细节一致的分阶段蒸馏用于高效3D MRI分割

Mengchen Fan, Baocheng Geng, Xi Xiao, Tianyang Wang, Siyuan Mei, Pulin Che, Xiaoqian Jiang, Qizhen Lan

机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学） ； UTHealth Houston（休斯顿UT健康） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出细节一致蒸馏（DCD）框架，通过小波分解对齐教师-学生特征，在分阶段蒸馏中保留多尺度结构细节，实现高效3D MRI分割。

Comments Accepted by MICCAI 2026. 11 pages, 3 figures

No Data? No Problem: Robust Vision-Tabular Learning with Missing Values

无数据？没问题：面向缺失值的鲁棒视觉-表格学习

Marta Hasny, Laura Daza, Keno Bressem, Maxime Di Folco, Julia Schnabel

机构 * School of Computation, Information and Technology, Technical University of Munich, Germany（计算、信息与技术学院，慕尼黑技术大学，德国） ； Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich, Germany（生物医学成像中的机器学习研究所，海德堡慕尼黑，德国） ； School of Biomedical Engineering and Imaging Sciences, King’s College London, UK（生物医学工程与成像科学学院，伦敦国王学院，英国） ； Department of Diagnostic and Interventional Radiology, TUM University Hospital, Technical University of Munich, Germany（诊断与介入放射科，慕尼黑技术大学医院，德国） ； Munich Center for Machine Learning, Germany（慕尼黑机器学习中心，德国） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出RoVTL框架，通过对比预训练中的表格属性缺失增强和下游任务中的Tabular More vs. Fewer损失，实现从0%到100%表格数据可用性下的鲁棒多模态学习。

Particle-Lund Multimodality in Jet Taggers

喷注标记器中的粒子-拉普兰多模态

Loukas Gouskos, Benedikt Maier

机构 * Brown University（布朗大学） ； Imperial College of Science, Technology and Medicine（帝国理工学院科学、技术与医学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 提出PLuM多模态架构，联合处理粒子成分与拉普兰平面分裂，通过交叉注意力机制研究显式QCD层次结构是否补充原始粒子表示，发现对顶夸克和H→bb标记有系统性提升，在HH(4b)分析中背景抑制提高25%。

RAVE: Re-Allocating Visual Attention in Large Multimodal Models

RAVE: 重新分配大型多模态模型中的视觉注意力

Xi Leng, Xinhong Ma, Ziqiang Dong, Feng Zhang, Xiaoying Tang, Yang Yang, Guanjun Jiang

机构 * Qwen Business Unit of Alibaba（阿里巴巴文勤业务部） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对大型多模态模型中标准注意力机制存在的跨模态误分配和视觉内不平衡问题，提出轻量级成对门控机制RAVE，通过学习查询-键偏置重新分配视觉注意力，在多个多模态基准上平均提升3个百分点，尤其对感知密集型任务效果显著。

Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers

解析多模态上下文学习：现代Transformer中的模态不对称性与电路动力学

Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； DeepMind（深Mind） ； Beijing University of Posts（北京邮电大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 通过可控实验，研究现代Transformer中多模态上下文学习的基本机制，发现模态间学习不对称性，并揭示其背后的归纳式电路机制。

Comments ICML 2026 Spotlight

DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation

DeepInterestGR: 利用多模态大语言模型挖掘深度多兴趣用于生成式推荐

Yangchen Zeng, Zhenyu Yu, Zhiyuan Hu, Wenxin Zhang, Jinze Wang, Rongfeng Guo

机构 * Southeast University（东南大学） 纠错

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV

AI总结 提出DeepInterestGR框架，通过多LLM兴趣挖掘、奖励标记深度兴趣和兴趣增强物品离散化，解决生成式推荐中的浅层兴趣问题，在三个Amazon数据集上显著提升推荐性能。

Doc-CoB: Enhancing Document Understanding with Visual Chain-of-Boxes Reasoning

Doc-CoB：通过视觉链式框推理增强文档理解

Ye Mo, Kai Ye, Xianwei Mao, Zirui Shao, Gang Huang, Bo Zhang, Hangdi Xing, Kehan Chen, Huan Zhou, Zixu Yan, Jiajun Bu, Sheng Zhou

机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江可感知与智能系统重点实验室，浙江大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出Doc-CoB框架，通过粗到细的布局感知视觉推理，结合多模态大语言模型，逐步聚焦查询相关布局区域，提升文档理解性能。

Early Pruning for Public Transport Routing

公共交通路由的早期剪枝

Andrii Rohovyi, Abdallah Abuaisha, Toby Walsh

机构 * Department of Computer Science and Engineering, University of New South Wales (UNSW), Sydney, NSW 2033, Australia（新南威尔士大学计算机科学与工程系） ； Department of Data Science and Artificial Intelligence, Monash University, Melbourne, Australia（墨尔本大学数据科学与人工智能系） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出早期剪枝技术，通过预排序换乘连接并在换乘循环中应用剪枝规则，在不影响最优性的情况下加速公共交通路由算法，实验表明查询时间最多减少57%。