多模态大模型

Universal Adversarial Attacks against Closed-Source MLLMs via Target-View Routed Meta Optimization

针对闭源多模态大语言模型的通用对抗攻击：通过目标视角路由元优化

Hui Lu, Yi Yu, Yiming Yang, Chenyu Yi, Xueyi Ke, Qixing Zhang, Bingquan Shen, Alex Kot, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore（快速丰富目标搜索实验室，跨学科研究生项目，南洋理工大学，新加坡） ； School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（电气与电子工程学院，南洋理工大学，新加坡） ； College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） ； DSO National Laboratories, Singapore（新加坡国防科学实验室） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出MCRMO-Attack，通过多作物聚合与注意力引导裁剪稳定监督，通过对齐性门控令牌路由提升token级可靠性，并元学习跨目标扰动先验，从而在商业MLLM上提升未见图像攻击成功率。

Comments This work has been submitted to the IEEE for possible publication

Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment

Mingyang Zhou, Licheng Yu, Amanpreet Singh, Mengjiao Wang, Zhou Yu, Ning Zhang

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments First two authors contributed equally. 13 pages, 11 figures

GROUNDHOG: Grounding Large Language Models to Holistic Segmentation

Yichi Zhang, Ziqiao Ma, Xiaofeng Gao, Suhaila Shakiah, Qiaozi Gao, Joyce Chai

专题命中 多模态训练与对齐 ：MLLM(abstract,comments)；multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Accepted to CVPR 2024. Website: https://groundhog-mllm.github.io/

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting

运动即提示：通过运动引导的跨帧视觉提示增强多模态大语言模型的运动推理能力

Xikai Sun, Kebin Liu, Haotian Wang, Li Liu, Xu Wang, Yunhao Liu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对多模态大语言模型处理视频时丢失帧间关键运动信息的问题，提出Motion-as-Prompt框架，通过标记轨迹增强视觉提示，在CLEVRER等数据集上提升GPT-5.5的运动推理准确率且不影响非运动理解

Dual-Domain Cross-Modal Decoding for Clinical Text-Guided Medical Image Segmentation

用于临床文本引导的医学图像分割的双域跨模态解码

Md Maklachur Rahman, Tracy Hammond

机构 * Texas A&M University（德克萨斯农工大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对临床文本引导医学图像分割忽略频率内容的问题，提出双域跨模态解码（DD-CMD）方法，在两个公开数据集上均优于现有最强基线。

Comments Accepted at MICCAI 2026 (Main). Final version to appear in the MICCAI 2026 proceedings

UniMod: Enhancing Multi-Modal Medical Diagnosis through Cross-Modality and Within-Modality Alignment

UniMod：通过跨模态与模态内对齐增强多模态医学诊断

Zijian Gu, Weikai Lin, Shuang Zhou, Zihan Chen, Song Wang

机构 * University of Central Florida（中佛罗里达大学） ； University of Rochester（罗切斯特大学） ； Harvard Medical School（哈佛医学院） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 UniMod框架通过要求各模态独立预测诊断缓解多模态医学诊断的捷径学习，添加跨模态与模态内对齐，在两个数据集上优于基线方法，还可扩展至多标签5分类诊断。

Comments Accepted to ACM Multimedia 2026 (MM '26). 10 pages, 7 figures, 5 tables. Code: https://github.com/futurespyhi/UniMod

Covert Visual Prompt Injection against Commercial Multimodal Large Language Models

对抗性提示注入攻击多模态大语言模型

Meiwen Ding, Song Xia, Chenqi Kong, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院快速丰富目标搜索实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了针对强大闭源多模态大语言模型的不可察觉视觉提示注入攻击，通过界文本叠加嵌入恶意提示并优化视觉扰动，提升攻击性能。

UniSpace: Unified Visual Representation and Scalable Multimodal Modeling

UniSpace：统一视觉表示与可扩展多模态建模

Jinbo Yan, Limeng Qiao, Jie Qin, Junyan He, Feize Wu, Guanglu Wan

机构 * Meituan（美团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出 UniSpace，通过 Patch Reparameterization 改进语义 ViT，构建 80 亿参数的 Transformer 专家混合模型，实现同一视觉空间内的理解、生成与编辑，提升重建效果，支持文本到图像生成和指令式图像编辑。

TGIF: Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs

基于文本引导的层融合缓解多模态大语言模型中的幻觉

Chenchen Lin, Sanbao Su, Rachel Luo, Yuxiao Chen, Yan Wang, Marco Pavone, Fei Miao

机构 * University of Connecticut（康涅狄格大学） ； NVIDIA（NVIDIA公司） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 TGIF通过文本引导的层融合方法，有效缓解多模态大语言模型中的幻觉问题，提升视觉接地能力。

Comments Accepted at COLM 2026

Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes

迈向多模态预训练的物理学：知识流、模态协同、早期统一与方法指南

Junlin Han, Shengbang Tong, David Fan, Minghao Chen, Philip Torr, Filippos Kokkinos, Mike Lewis

机构 * FAIR, Meta（Meta FAIR研究院） ； Reality Labs, Meta（Meta Reality Labs） ； University of Oxford（牛津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 该研究探索多模态预训练的机制，得出知识流、模态协同等四个关键见解，推导高效预训练方法，为多模态预训练的理解与扩展提供基础。

Comments Project page: https://junlinhan.github.io/projects/physics_of_mm_pretrain/

Deep Multimodal Fusion Detection through Spatial Mask and Channel Fusion

基于空间掩码与通道融合的深度多模态融合检测

Guandi Wang, Ming Li, Yunsen Xing, Junle Liu

机构 * KTH Royal Institute of Technology（KTH皇家理工学院） ； University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文针对现有多模态融合检测的过拟合问题，提出Attention-Driven Complementarity Resampling框架，通过语义掩码交换与可学习通道竞争实现跨模态目标检测的性能提升，在多数据集上取得了有竞争力的结果。

OPLD: On-Policy Latent Distillation for Multimodal Reasoning

OPLD：用于多模态推理的在线策略隐层蒸馏

Shoutai Zhu, Tianyang Xu, Bin Sun, Mingyuan Xu, Yu Liu, Qinzhen Guo

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出OPLD框架，将多模态CoT的推理能力迁移至隐层表征，经多模态基准实验，其性能优于现有隐层推理方法，达到当前最优。

Multimodal fusion of visual and morphometric features for avian bone classification

用于鸟类骨骼分类的视觉与形态计量特征多模态融合

Nevio Dubbini, Lisa Yeomans, Marco Pavia, Ramazan Parmaksiz, Ayse Atas Hooglugt, Gabriele Gattiglia, Beatrice Demarchi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出结合卷积神经网络图像分析与骨计量测量的多模态框架，用于鸟类骨骼分类，在骨骼类型分类准确率达86%，科级分类Top-1准确率51%、Top-3准确率75%，为AI辅助动物考古识别建立了方法学基线。

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

解耦视觉处理：通过模态特定Transformer替换实现高效多模态适配

Mingkuan Feng, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型视觉指令微调成本高的问题，提出解耦视觉处理框架，替换预训练大语言模型上层解码器为轻量Transformer块，仅训练该块即可在多个基准上实现竞争力性能，降低了计算成本。

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

多模态分类中用于缺失任意模态的协同学习

Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

机构 * GFZ Helmholtz Center for Geosciences（德国波茨坦地学研究中心亥姆霍兹中心） ； INRAE, UMR TETIS, University of Montpellier（法国蒙彼利埃大学农业环境与生态研究院、蒙彼利埃大学TETIS联合研究单位） ； INRIA, EVERGREEN, University of Montpellier（法国蒙彼利埃大学信息与自动化研究所、EVERGREEN实验室） ； CIRAD, UMR TETIS, University of Montpellier（法国蒙彼利埃大学国际农业研究磋商组织、蒙彼利埃大学TETIS联合研究单位） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态分类中因操作约束导致训练和推理时模态可用性不一致、存在缺失任意模态的问题，提出多模态协同学习框架，引入特征和决策层面利用信息的两种方法，实验证明在不同缺失模态条件下有显著鲁棒性提升。

Comments Accepted at Discovery Science 2026

EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation

EmoEUS：对话中多模态情感识别的不确定性监督

Zilong Huang, Kong Aik Lee, Junjie Li, Zhe Li, Man-Wai Mak

机构 * Dept. of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电子与电气工程系） ； Speech, Language, and Cognition Laboratory, The University of Hong Kong（香港大学语音、语言与认知实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

AI总结 研究对话中多模态情感识别，提出EmoEUS框架，通过动态加权模态执行不确定性感知多模态融合，并引入显式监督损失，实验证明该框架优于现有方法。

Comments Accept by Interspeech 2026

Large Language Models as Unified Multimodal Learners for Clinical Prediction

作为临床预测统一多模态学习者的大语言模型

Ajay Madhavan Ravichandran, Bilgin Osmandoja, Klemens Budde, Klaus Netter, Tobias Strapatsas, Aljoscha Burchardt, Sebastian Möller, Roland Roller

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； Charité Universitätsmedizin Berlin（柏林夏里特大学医学中心） ； DNC Information Management GmbH（DNC信息管理有限公司） ； Klinik für Akut- und Notfallmedizin, Asklepios Klinikum Harburg（哈堡阿斯克勒庇俄斯医院急性与急诊医学科） ； Technical University Berlin（柏林工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨利用大语言模型进行临床预测，提出将不同模态患者数据转为自然语言序列，端到端微调预训练语言模型的方法，经三个临床任务评估，该方法匹配或超越多模态基线，优于临床梯度提升系统，降低系统复杂性。

Inverse-LLaVA: Rethinking Multimodal Alignment via Text-to-Vision Mapping

Inverse-LLaVA：通过文本到视觉映射重新思考多模态对齐

Xuhui Zhan, Tyler Derr

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究重新审视多模态学习中传统映射方向，提出Inverse-LLaVA架构，通过文本到视觉映射反转方向。该架构无需对齐预训练，在多模态基准测试中展现强大学习效率，为多模态架构设计开辟新方向，解耦表示结构与监督方式。

Comments 19pages, 3 figures

Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment

通过多模态基于人类反馈的强化学习偏好对齐实现汉喃手稿到现代越南语的直接图像翻译

Thi Kim Trang Vo, Nghia Hieu Nguyen, Ha Minh Tan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对汉喃手稿到现代越南语翻译的挑战，提出多模态基于人类反馈的强化学习偏好对齐框架，结合四个流生成越南语，比较PPO、DPO和KTO，结果显示各有优劣，且多模态偏好优化能补充监督学习提升翻译质量。

Comments Accepted Paper at 2026 International Conference on Multimedia Analysis and Pattern Recognition (MAPR)

EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models

EMO-R3：多模态大语言模型中用于情感推理的反射强化学习

Yiyang Fang, Wenke Huang, Pei Fu, Yihao Yang, Kehua Su, Zhenbo Luo, Jian Luan, Mang Ye

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型情感推理难题，提出EMO-R3框架。引入结构化情感思维并设计反射情感奖励，经大量实验验证，该框架显著提升模型可解释性与情商，在多视觉情感理解基准测试中表现出色。

Comments Accepted by CVPR 2026

OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

OmniFocus：用于全模态大语言模型的查询引导模态平衡令牌压缩

Shijie Cao, Qingyu Zhang, Boxi Yu, Yuzhong Zhang, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Limerick（利默里克大学） ； CUHK, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 多模态训练与对齐 ：omni-modal(title)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 研究全模态大语言模型推理成本高的问题，提出无训练的查询引导令牌压缩方法OmniFocus，独立评估音视频重要性，实现模态对称压缩，提升性能。

Learning Taxonomic Trees with Hierarchical Representation Regularization for Large Multimodal Models

使用层次表示正则化学习大型多模态模型的分类树

Hulingxiao He, Zhi Tan, Yuxin Peng

机构 * PKU-ICST-MIPL（北京大学信息科学技术学院多媒体信息处理实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究大型多模态模型缺乏分类知识致层次视觉识别一致性低的问题，提出层次表示正则化方法，含语义感知视觉树构建框架，结合两个互补目标，有效捕捉分类结构。

Comments Published as a conference paper at ICML 2026

Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs

多模态大语言模型在胃肠诊断中的临床认知对齐

Huan Zheng, Yucheng Zhou, Tianyi Yan, Dubing Chen, Hongbo Lu, Wenlong Liao, Tao He, Pai Peng, Jianbing Shen

机构 * SKL-IOTSC, CIS, University of Macau（澳门大学协同创新研究院物联网国家重点实验室） ； Shanghai Jiao Tong University（上海交通大学） ； COWARobot Co. Ltd.（COWARobot有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出CogAlign框架，通过构建层次化临床认知数据集和监督微调提升模型临床分析能力，并采用反事实强化学习消除视觉偏差，实现胃肠诊断的因果关联与高准确率。

Comments ECCV 2026

Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models

罗马尼亚视觉语言模型的参数高效多模态指令微调

George-Andrei Dima, Răzvan-Alexandru Smădu, Dumitru-Clementin Cercel

机构 * National University of Science and Technology（科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对罗马尼亚语这种低资源语言，通过翻译并扩展Flickr30K数据集，采用参数高效的LoRA方法微调开源视觉语言模型来降低多模态NLP资源差距，模型在视觉问答等任务中能力提升且语法错误减少。

Cross4D-JEPA: Dense Cross-modal Correspondence Distillation for 4D Point Cloud Representation Learning

Cross4D-JEPA: 用于4D点云表示学习的密集跨模态对应蒸馏

Trung Thanh Nguyen, Hai Nguyen-Truong, Tu Vo, Hoang M. Truong, Tuan-Anh Vu

机构 * Nagoya University（名古屋大学） ； Northeastern University（东北大学） ； KC Machine Learning Lab（KC机器学习实验室） ； University of Science, Vietnam National University Ho Chi Minh City（胡志明市越南国立大学理科大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出Cross4D-JEPA，通过教师-学生框架将冻结的2D基础模型（如DINOv2或V-JEPA 2）的密集补丁特征蒸馏到4D点编码器，实现每点对应和潜在空间匹配，在四个基准上优于模态内和全局跨模态基线。

Token-Sparse Medical Multimodal Reasoning via Dual-Stream Reinforcement Learning

通过双流强化学习实现令牌稀疏的医学多模态推理

Kaitao Chen, Weiqian Zhao, Jiamin Wu, Qihao Zheng, Shangquan Sun, Chunfeng Song, Xiaosong Wang, Mu Zhou, Mianxin Liu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出双流强化学习框架ViToS，通过主动视觉令牌剪枝实现令牌稀疏的医学多模态推理，在七个医学基准上减少77%令牌并提升性能。

Comments ICML2026

Cross-Modal Hierarchical Fusion for from Multi-Sensor Ground Observation

跨模态分层融合用于多传感器地面观测

Xinze Zhang

机构 * University of Southern California（南加州大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出AtmoFuseNet框架，通过跨模态分层聚合、条件变分精化和相关运动估计，融合多视角天空相机、毫米波云雷达和云高仪数据，实现云微物理场和风场的4D重建。

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec: 衡量和利用视觉必要性进行多模态指令微调

Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

机构 * SJTU（上海交通大学） ； Universiti Malaya（马来亚大学） ； CMU（卡内基梅隆大学） ； MBZUAI（穆萨台普大学人工智能研究所） ； KIT（卡尔斯鲁厄理工学院） ； KAUST（王国立阿联酋科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出VisNec分数衡量视觉输入在多模态指令微调中的边际贡献，结合语义聚类选择高必要性样本，在15%数据上达到全数据性能的100.2%。

Comments Accepted at ECCV 2026. Project Page: https://dmk041218.github.io/VisNec/

E-MRL: Cross-view Aligned Evidence-driven Multimodal Reinforcement Learning for Reliable 3D Tumor Analysis

E-MRL: 跨视图对齐的证据驱动多模态强化学习用于可靠的3D肿瘤分析

Sijing Li, Zhongwei Qiu, Zhuoya Wang, Boxiang Yun, Zhenyu Yi, Jianwei Xu, Wenqiao Zhang, Yingda Xia, Ling Zhang

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里巴巴集团达摩院） ； Hupan Lab（华平实验室） ； Huazhong University of Science and Technology（华中科技大学） ； East China Normal University（华东师范大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出跨视图对齐的证据驱动多模态强化学习框架E-MRL，通过将生成过程建模为“诊断-定位-验证”的马尔可夫决策过程，并引入跨视图一致性奖励，减少视觉幻觉并提升3D CT肿瘤诊断准确性。

Comments 9 pages, 2 figures