多模态大模型

MuPHI: Learning Implicit Multimodal Harm Reasoning via Semantically Grounded Reward Optimization

MuPHI: 通过语义基础奖励优化学习隐式多模态有害推理

Anisha Saha, Varsha Suresh, Teodora Kamova, Sophia Wiedmann, Timothy Hospedales, Vera Demberg

机构 * Max Planck Institute for Informatics（马克斯·普朗克院信息研究所） ； Saarland Informatics Campus（萨尔兰州信息校园） ； Saarland University（萨尔兰州大学） ； The University of Edinburgh（爱丁堡大学） ； Samsung AI Center, Cambridge（三星AI中心，剑桥） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 针对视觉语言模型在隐式跨模态有害语义推理上的不足，提出MuPHI数据集和MuPHIRM训练框架，通过多视角奖励优化联合语义学习，提升有害检测与推理质量及分布外鲁棒性。

Fewer Steps, Better Performance: Efficient Cross-Modal Clip Trimming for Video Moment Retrieval Using Language

更少步骤，更优性能：基于语言的高效跨模态视频片段修剪用于视频时刻检索

Xiang Fang, Daizong Liu, Wanlong Fang, Pan Zhou, Zichuan Xu, Wenzheng Xu, Junyang Chen, Renfu Li

机构 * Hubei Engineering Research Center on Big Data Security, School of Cyber Science and Engineering, Huazhong University of Science of Technology（湖北大数据安全工程研究中心，网络安全学院，华中科技大学） ； Peking University（北京大学） ； Henan University（河南大学） ； Dalian University of Technology（大连理工大学） ； Sichuan University（四川大学） ； Shenzhen University（深圳大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 提出SpotVMR方法，通过可学习的片段搜索模型和低成本语义索引特征，高效修剪查询相关视频片段，作为即插即用模块提升现有VMR方法的效率与性能。

Comments Published in AAAI 2024

TRACER: Persistent Regularization for Robust Multimodal Finetuning

TRACER: 用于鲁棒多模态微调的持久正则化

Hesam Asadollahzadeh, Feng Liu, Christopher Leckie, Sarah M. Erfani

机构 * School of Computing and Information Systems (CIS), Faculty of Engineering and IT (FEIT), University of Melbourne, Australia（墨尔本大学计算机科学与信息系统学院（CIS）、工程与信息技术学院（FEIT）） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出TRACER方法，通过加权移动平均教师实现持久正则化，解决多模态对比微调中的灾难性遗忘和EMA坍缩问题，提升分布外鲁棒性。

Comments ICML 2026

Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance

超越文本：通过多模态双注意力和软图像引导减少大型视觉语言模型中的语言偏差

Haozhe Zhao, Shuzheng Si, Liang Chen, Yichi Zhang, Maosong Sun, Mingjia Zhang, Baobao Chang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对大型视觉语言模型因语言偏差导致的幻觉问题，提出LACING框架，采用多模态双注意力机制和软图像引导策略，在不增加训练资源的情况下增强视觉理解并减少幻觉。

Comments EMNLP 2025

SVSR: A Self-Verification and Self-Rectification Paradigm for Multimodal Reasoning

SVSR：一种用于多模态推理的自我验证与自我修正范式

Zhe Qian, Nianbing Su, Zhonghua Wang, Hebei Li, Zhongxing Xu, Yueying Li, Fei Luo, Zhuohan Ouyang, Yanbiao Ma

机构 * South China Agricultural University（华南农业大学） ； University of Glasgow（格拉斯哥大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Monash University（莫纳什大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Defense Technology（国防科技大学） ； Renmin University of China（中国人民大学） ； South China Normal University（华南师范大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出SVSR框架，通过三阶段训练（统一偏好数据集构建、冷启动监督微调、半在线直接偏好优化）将自我验证与自我修正显式集成到多模态推理流程中，提升复杂视觉理解和多模态推理的鲁棒性与可靠性。

LoMo: Local Modality Substitution for Deeper Vision-Language Fusion

LoMo: 局部模态替换以实现更深的视觉-语言融合

Feng Han, Zhixiong Zhang, Zheming Liang, Yibin Wang, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 针对视觉-语言模型在模态替换时性能下降的“载体敏感性”问题，提出局部模态替换（LoMo）数据策展范式，通过将文本片段动态渲染为图像来训练跨模态表示不变性，显著提升多模态推理与融合效果。

AnomalyAgent: Training-Free Agentic Models for Zero-/Few-Shot Anomaly Detection

AnomalyAgent: 用于零样本/少样本异常检测的无训练智能体模型

Yi Zhang, Jiawen Zhu, Lele Fu, Guansong Pang

机构 * Singapore Management University（新加坡国立管理学院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 图文多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出一种基于多模态大语言模型的无训练智能体框架AnomalyAgent，通过定制工具集和记忆模块实现零样本/少样本异常检测，在逻辑/上下文异常等复杂场景中优于现有方法。

Mitigating Hallucination in Vision-Language Models through Barrier-Regulated Adaptive Closed-form Steering

通过屏障调控自适应闭式引导缓解视觉语言模型中的幻觉

Soumyadeep Jana, Pulkit Mittal, Sanasam Ranbir Singh

机构 * Indian Institute of Technology Guwahati（印度理工学院果阿班加） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出BRACS框架，通过监测视觉注意力并仅在接地退化时进行闭式修正，无需训练即可有效减少LVLM中的物体幻觉。

DiffSpot: Can VLMs Spot Fine-Grained Visual Differences in Web Interfaces?

DiffSpot：VLM能发现网页界面中的细微视觉差异吗？

Linhao Zhang, Aiwei Liu, Yuan Liu, Xiao Zhou

机构 * WeChat AI, Tencent Inc（腾讯公司） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 提出DiffSpot基准，通过CSS属性突变生成可控图像对，评估视觉语言模型在网页界面中检测细微视觉差异的能力，发现最佳模型仅识别40.7%的真实变化。

VLA-Pro: Cross-Task Procedural Memory Transfer for Vision-Language-Action Models

VLA-Pro：面向视觉-语言-动作模型的跨任务程序性记忆迁移

Shengyu Si, Yuanzhuo Lu, Ruimeng Yang, Ziyi Ye, Zuxuan Wu, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室） ； Shanghai Xinzhi Embodied Intelligence Technology Co., Ltd.（上海新智具身智能技术有限公司） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出VLA-Pro框架，通过存储和检索任务相关的LoRA适配器作为程序性记忆，实现跨任务泛化，在仿真和真实任务中成功率显著提升。

Tiny but Trusted: Efficient Vision-Language Reasoning for Time-Series Anomaly Detection

小巧但可信：面向时间序列异常检测的高效视觉-语言推理

Xiaona Zhou, Muntasir Wahed, Tianjiao Yu, Constantin Brif, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Sandia National Laboratories（桑迪亚国家实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对时间序列异常检测中缺乏自然语言解释的问题，构建VisAnomBench基准并微调参数高效的视觉-语言模型VisAnomReasoner，在准确性和泛化性上显著超越基线。

SCoOP: Semantic Consistent Opinion Pooling for Uncertainty Quantification in Multiple Vision-Language Model Systems

SCoOP: 多视觉-语言模型系统中用于不确定性量化的语义一致意见池化

Chung-En Johnny Yu, Brian Jalaian, Nathaniel D. Bastian

机构 * University of West Florida（西佛罗里达大学） ； United States Military Academy（美国军事学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出SCoOP框架，通过不确定性加权的线性意见池化聚合多个视觉-语言模型的输出，实现无训练的不确定性量化，有效检测幻觉并支持高不确定性样本的弃权。

Comments Accepted to ICLR 2026 Workshop on Agentic AI in the Wild: From Hallucinations to Reliable Autonomy

CrystalXRD-Bench: Benchmarking Vision-Language Models for XRD Peak Indexing Across Diverse Crystalline Materials

CrystalXRD-Bench：面向多种晶体材料的XRD峰索引的视觉-语言模型基准测试

Chengliang Xu, Xiaogang Li, Peiyao Xiao, Beng Wang, Hu Wei, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出CrystalXRD-Bench基准，通过250个样本评估视觉-语言模型从粉末XRD图谱中识别米勒指数（HKL）的能力，发现最佳模型Jaccard得分仅0.5888，任务远未解决。

Comments 18 pages, 10 figures

AV-EMO-Reasoning: Benchmarking Emotional Reasoning Capabilities in Omni-modal LLMS with Audio-visual Cues

AV-EMO-Reasoning: 在具有视听线索的全模态大语言模型中基准测试情感推理能力

Dingkun Zhou, Krish Patel, Ajay Kankipati, Akshaj Gupta, Zeyi Austin Li, Mohul Shukla, Vibhor Narang, Sara Kofman, Zongli Ye, Grace Wang, Xiaoyu Shi, Tingle Li, Guan-Ting Lin, Kan Jen Cheng, Huang-Cheng Chou, Jiachen Lian, Gopala Anumanchipalli

机构 * UC Berkeley（加州大学伯克利分校） ； South China University of Technology（华南理工大学） ； Zhejiang University（浙江大学） ； National Taiwan University（台湾大学） ； University of Southern California（美国南加州大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title)；omni-modal(title)；分类 cs.MM

AI总结 提出AV-EMO-Reasoning基准，通过合成和真实世界的视听对话数据集及情感感知与交互推理指标，系统评估全模态大语言模型的情感推理能力。

JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments

JAEGER：模拟物理环境中的联合3D音频-视觉定位与推理

Zhan Liu, Changli Tang, Yuxin Wang, Zhiyuan Zhu, Youjun Chen, Yiwen Shao, Tianzi Wang, Lei Ke, Zengrui Jin, Chao Zhang

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出JAEGER框架，通过集成RGB-D观测和多通道一阶环境声学，将音频-视觉大语言模型扩展到3D空间，实现联合空间定位与推理，并引入神经强度向量（Neural IV）提升声源方向估计的鲁棒性。

Comments Accepted to ICML 2026

Native Audio-Visual Alignment for Generation

原生音视频对齐生成

Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He

机构 * ERNIE Team, Baidu Inc.（百度公司ERNIE团队） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 提出NAVA框架，通过原生音视频对齐和上下文条件联合去噪，实现高质量、同步且可控的音视频生成。

Comments Project page: https://ernie-research.github.io/NAVA/

DeepFake Forensics AI: A Multi-Modal Detection and Blockchain-Anchored Evidence Management Platform

DeepFake Forensics AI：多模态检测与区块链锚定证据管理平台

Naisha Minnah

机构 * Department of Computer Science（计算机科学系） ； Providence Women's College（普罗维登斯女子学院） ； University of Calicut（卡利卡特大学） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一个统一平台，通过训练四种神经网络检测图像、视频和音频中的合成媒体，并利用以太坊区块链实现证据的不可篡改存储与管理。

Comments 5 pages, 5 figures, 3 tables

Multimodal Optical Feature Extraction with a Free-Space Photonic Extreme Learning Machine

基于自由空间光子极端学习机的多模态光学特征提取

Anushka Kumari, Anushree Khisti, Abhinav Choube, Devansh Satra, Srivatsa Murali, Anshuman Kumar

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 本文提出一种统一的自由空间光子极端学习机平台，通过相位SLM编码、类傅里叶自由空间传播和相机强度检测，实现对图像、音频、表格和回归任务的多模态光学特征提取，并在多个基准上取得高精度。

Audio Jailbreaks in Large Audio-Language Models: Taxonomy, Attack-Defense Analysis, and Cost-Aware Evaluation

大型音频语言模型中的音频越狱：分类、攻防分析与成本感知评估

Bo-Han Feng, Yu-Hsuan Li Liang, Chien-Feng Liu, You-Hsuan Chang, Yun-Nung Chen

机构 * National Taiwan University（台湾大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了大型音频语言模型中音频越狱攻击与防御的统一分类法和受控实证评估，揭示了声学最佳N攻击暴露了最坏情况下的音频空间漏洞，叙事框架是一种有效的低延迟语义威胁，而现有防御在鲁棒性与良性可用性之间存在权衡。

Comments Submitted to ACL ARR 2026 May

Mitigating Stethoscope-Induced Shortcuts in Respiratory Sound Classification under Federated Domain Generalization with Causality-Inspired Interventions

在联邦域泛化下通过因果启发的干预减轻听诊器引起的呼吸音分类中的捷径

Heejoon Koo, Yoon Tae Kim, Miika Toikkanen, June-Woo Kim

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； RSC LAB（RSC实验室） ； Wonkwang University（Wonkwang大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 针对呼吸音分类中听诊器设备差异导致的域偏移问题，提出一种因果启发的多模态联邦域泛化框架，通过内容保持的风格扰动、反事实文本增强和梯度对齐实现设备不变表示，在ICBHI和SPRSound数据集上优于传统方法。

Comments 2 figures, 4 tables, and 5 pages

Beyond Transcripts: A Renewed Perspective on Audio Chaptering

超越文本：音频章节划分的新视角

Fabian Retkowski, Maike Züfle, Thai Binh Nguyen, Jan Niehues, Alexander Waibel

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文通过提出音频专用架构AudioSeg、分析影响性能的因素以及形式化评估协议，系统研究了音频章节划分任务，发现AudioSeg显著优于基于文本的方法，停顿是最有效的声学特征，而多模态大模型在短音频上表现有潜力。

Comments Accepted at ACL 2026 (Main Conference)

ReasonLight: A Multimodal Foundation Model-Enhanced Reinforcement Learning Framework for Zero-Shot Traffic Signal Control

ReasonLight: 一种多模态基础模型增强的强化学习框架用于零样本交通信号控制

Aoyu Pang, Maonan Wang, Yuejiao Xie, Chung Shue Chen, Zhiwei Yang, Man-On Pun

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）科学与工程学院） ； Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong, Hong Kong（香港中文大学机械与自动化工程系） ； Shanghai AI Laboratory, Shanghai, China（上海人工智能实验室） ； Nokia Bell Labs, Paris-Saclay, France（法国巴黎萨克雷诺基贝尔实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.AI

AI总结 提出ReasonLight框架，通过多模态基础模型增强强化学习，利用路侧传感器和摄像头数据实现零样本适应罕见交通事件，显著降低紧急车辆等待时间。

Semantic and Visual Evidence for Efficient Long-Video Reasoning: A Solution for the HD-EPIC VQA Challenge

面向高效长视频推理的语义与视觉证据：HD-EPIC VQA挑战赛的解决方案

Yinsong Xu, Wei Jing, Liuxin Zhang, Wanjun Lv, Hui Li

机构 * Lenovo, China（联想（中国）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种统一框架，通过解耦长视频推理为语义证据（粗到细提取全局过程结构）和视觉证据（基于目标的细粒度定位），并采用查询条件证据检索与整合，在HD-EPIC VQA挑战赛中取得竞争性能。

Not All Inputs Are Valid: Towards Open-Set Video Moment Retrieval Using Language

并非所有输入都有效：面向开放集视频时刻检索的语言方法

Xiang Fang, Wanlong Fang, Daizong Liu, Xiaoye Qu, Jianfeng Dong, Pan Zhou, Renfu Li, Zichuan Xu, Lixing Chen, Panpan Zheng, Yu Cheng

机构 * Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Zhejiang Gongshang University（浙江工商大学） ； Dalian University of Technology（大连理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Xinjiang University（新疆大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对开放集场景下视频时刻检索任务中无关查询导致错误检索的问题，提出基于归一化流的开放集视频时刻检索模型OpenVMR，实现分布内查询的精确检索与分布外查询的拒绝。

Comments Published in ACM MM 2024

HM-Talker: Hybrid Motion Modeling for High-Fidelity Talking Head Synthesis

HM-Talker：用于高保真说话头合成的混合运动建模

Shiyu Liu, Kui Jiang, Junjun Jiang, Xianming Liu, Xiaocheng Feng, Hongxun Yao, Qi Tian

机构 * Harbin Institute of Technology University（哈尔滨理工大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy（广东省人工智能与数字经济实验室） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出HM-Talker框架，通过混合显式发音线索与隐式韵律特征，结合交叉模态映射和随机特征配对策略，解决说话头生成中个性化与泛化的权衡问题，在视觉真实感和唇同步精度上超越现有方法。

MMTM: Tri-Modal Topic Modeling for Long-Form Video via Similarity-Gated Fusion

MMTM: 基于相似性门控融合的长视频三模态主题建模

Ali Abusaleh, Bhuvanesh Verma, Alexander Mehler

机构 * Text Technology Lab (TTLab), Goethe University Frankfurt（文本技术实验室（TTLab），法兰克福歌德大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出MMTM模块化流水线，通过相似性门控融合集成语音识别、音频和视觉嵌入及BERTopic聚类，在长视频主题发现中显著提升主题质量。

Comments Submitted to EMNLP 2026

Phase-Conditioned Imitation Learning with Autonomous Failure Recovery for Robust Deformable Object Manipulation

相位条件化模仿学习与自主故障恢复用于鲁棒可变形物体操作

Dayuan Chen, Kai Tang, Yukuan Zhang, Kazuhiro Kosuge, Yasuhisa Hirata

机构 * Department of Robotics, Tohoku University（东大理学院机器人系） ； JC STEM Lab of Robotics for Soft Materials, the Department of Electrical and Computer Engineering, Faculty of Engineering, The University of Hong Kong（香港大学工程学院电气与计算机工程系软材料机器人实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 提出一种相位条件化、力感知的闭环分层框架，通过FiLM调节的ACT编码器和多模态相位预测器实现自主故障恢复，显著提升可变形物体操作的成功率。

Comments Accepted to IEEE/ASME Transactions on Mechatronics

CogniVerse: Revolutionizing Multi-Modal Retrieval-Augmented Generation with Cognitive Reflection and Geometric Reasoning

CogniVerse: 用认知反思与几何推理革新多模态检索增强生成

Xiang Fang, Wanlong Fang, Changshuo Wang

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出CogniVerse框架，通过认知反思模块、基于黎曼流形对齐的多模态检索模块和最优传输层次生成模块，解决多模态检索增强生成中的噪声检索、跨模态语义错位和生成不连贯问题。

Comments Accepted in CVPR 2026

xModel-KD: Cross-modal Knowledge Distillation for 3D Scene Perception using LiDAR

xModel-KD：基于LiDAR的3D场景感知跨模态知识蒸馏

Thenukan Pathmanathan, Kanchan Keisham, Thangarajah Akilan

机构 * Dept. of Computer Science Lakehead University Thunder Bay, Canada ； School of Computer Science Engg. \& Info. Systems Vellore Institute of Technology Tamil Nadu, India ； Dept. of Software Engg. Lakehead University Thunder Bay, Canada 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出跨模态知识蒸馏框架xModel-KD，通过对比学习对齐2D图像纹理与3D点云几何特征，在无额外标注下提升LiDAR点云分割性能。

Comments 3 figures, and 5 tables

OVA-IB: One vs All Information Bottleneck for Multi-Modal Alignment

OVA-IB：用于多模态对齐的一对多信息瓶颈

Tianchao Li, Shujian Yu, Xinrui Zu, Zhaolong Wei, Jeremy Gummeson, Jack C. P. Cheng, Robert Jenssen

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； UiT – The Arctic University of Norway（挪威北极大学） ； University of Copenhagen（哥本哈根大学） ； Norwegian Computing Center（挪威计算中心） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)

AI总结 提出基于信息瓶颈的一对多对齐框架OVA-IB，通过充分性对比下界和最小性正则化实现任意数量模态的对齐，在分类、回归和跨模态检索任务中表现鲁棒。