多模态大模型

Brain-Inspired Multimodal Spiking Neural Network for Image-Text Retrieval

脑启发式多模态脉冲神经网络用于图像-文本检索

Xintao Zong, Xian Zhong, Wenxuan Liu, Jianhao Ding, Zhaofei Yu, Tiejun Huang

机构 * Hubei Key Laboratory of Transportation Internet of Things, Wuhan University of Technology（武汉理工大学交通物联网湖北省重点实验室） ； State Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理全国重点实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出脑启发式跨模态脉冲融合网络(CMSF)，用于图像-文本检索，通过融合单模态特征提升多模态表示，实现高效检索与低能耗。

Robust Remote Sensing Image-Text Retrieval with Noisy Correspondence

鲁棒的遥感图像-文本检索与噪声对应关系

Qiya Song, Yiqiang Xie, Yuan Sun, Renwei Dian, Xudong Kang

机构 * Hunan Normal University（湖南师范大学） ； Sichuan University（四川大学） ； Hunan University（湖南大学） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出鲁棒遥感图像-文本检索方法，通过自适应学习策略和鲁棒三元组损失提升噪声下的检索性能，实验表明在高噪声环境下优于现有方法。

Bidirectional Multimodal Prompt Learning with Scale-Aware Training for Few-Shot Multi-Class Anomaly Detection

双向多模态提示学习与尺度感知训练用于少样本多类异常检测

Yujin Lee, Sewon Kim, Daeun Moon, Seoyoon Jang, Hyunsoo Yoon

机构 * Yonsei University（延世大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AnoPLe框架，通过双向交互文本与视觉提示，实现高效多类异常检测，在MVTec-AD等数据集上超越现有方法，且具备良好的泛化能力。

Comments accepted to CVPR 2026

Understanding and Mitigating Hallucinations in Multimodal Chain-of-Thought Models

理解并缓解多模态推理链模型中的幻觉

Ji Ma, Wei Suo, Peng Wang, Yanning Zhang

机构 * School of Computer Science and Ningbo Institute, Northwestern Polytechnical University, China（西北工业大学计算机学院和宁波研究院） ； National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, China（国家空天地海一体化大数据应用技术国家工程实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文研究多模态推理链模型中的幻觉问题，发现其源于联想推理步骤中的虚假文本生成，提出一种有效策略缓解幻觉，实验表明方法效果显著且可与其他缓解方法结合提升性能。

Comments CVPR 2026

SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation

SAGE：面向sink的 grounded 解码用于多模态幻觉缓解

Tripti Shukla, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.CV

AI总结 SAGE通过动态调节自注意力机制，实时监控 grounding 可靠性，有效缓解多模态幻觉问题，实验显示在MSCOCO和AMBER基准上取得显著提升。

Comments 25 pages, 6 figures, 7 tables

Structural Graph Probing of Vision-Language Models

视觉-语言模型的结构图谱探查

Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

机构 * Northeastern University（东北大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究通过神经拓扑分析视觉-语言模型的层间相关图谱，揭示群体结构对行为的意义、跨模态变化及因果影响，提出神经拓扑作为解释性中间尺度。

Comments IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

CLIP Is Shortsighted: Paying Attention Beyond the First Sentence

CLIP存在短视：超越第一句话的注意力分配

Marc-Antoine Lavoie, Anas Mahmoud, Aldo Zaimi, Arsene Fansi Tchango, Steven L. Waslander

机构 * University of Toronto Robotics Institute（多伦多大学机器人研究所） ； Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 CLIP模型在大规模数据上通过图像-文本对比学习获取可迁移的多模态特征，但其预训练过程偏向于短描述，导致复杂场景对齐不足。本文提出DeBias-CLIP，通过去除摘要句和子采样提升对齐效果，实现更优的长文本检索和鲁棒性。

Comments 20 pages, 15 figures, to be published in the CVPR 2026 proceedings

Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

所有权的回声：对抗引导的双注入用于MLLMs中的版权保护

Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang

机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出一种生成版权触发器的框架，通过双注入方法在MLLMs中嵌入可验证的版权信息，以在微调衍生模型中触发专属文本响应，同时在非衍生模型中保持无活性。

Comments Accepted to CVPR 2026!

JW-VL: A Vision-Language Model for Solar Physics

JW-VL：用于太阳物理的视觉-语言模型

Mingfu Shao, Hui Wang, Liyue Tong, Yuyang Li, Cunshi Wang, Jiaben Lin, Suo Liu, Haiqing Xu, Yin Zhang, Jing Huang

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)

AI总结 本文提出JW-VL模型，专为太阳物理设计，整合多波段观测数据，实现从原始观测数据到图像识别、活动分析和OCR的端到端处理，同时构建多波段图像基准数据集。

Comments 16 Pages,8figures

Inference-Time Structural Reasoning for Compositional Vision-Language Understanding

推理时的结构推理用于组合性视觉-语言理解

Amartya Bhattacharya

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出统一评估和增强框架，评估四种架构各异的VLMs在Winoground基准上的表现，通过结构化关系先验提升模型能力，发现SG增强对已有能力强的模型有益。

Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection

通过因果发现和双模态安全子空间投影诊断和修复视觉-语言模型中的不安全通道

Jinhu Fu, Yihang Lou, Qingyi Si, Shudong Zhang, Yan Bai, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Peking University（北京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。

Comments Accepted by CVPR 2026 main conference

Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models

针对LAION-400M的人为中心标注：审查偏见及其在模型中的转移

Leander Girrbach, Stephan Alaniz, Genevieve Smith, Trevor Darrell, Zeynep Akata

机构 * Technical University of Munich, Munich Center for Machine Learning (MCML), MDSI（慕尼黑工业大学，慕尼黑机器学习中心（MCML），MDSI） ； LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎理工学院，巴黎电信学院，LTCI） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文通过创建LAION-400M的人为中心标注，揭示了训练数据中存在的人口统计学偏见，并展示了这些偏见如何转移到视觉-语言模型中。

Comments ICLR 2026

More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models

更多思考，更少准确性？关于视觉-语言模型中推理的双重性质

Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Fabian Waschkowski, Lukas Wesemann, Peter Tu, Jing Zhang

机构 * Australian National University（澳大利亚国立大学） ； University of Melbourne（墨尔本大学） ； GE Research（GE全球研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究揭示了视觉-语言模型中推理的双重性质：虽然增强了逻辑推理能力，但可能导致感知基础能力下降，通过提出VAPO方法改进了模型对视觉信息的依赖。

Comments Accepted to ICLR2026

Explaining CLIP Zero-shot Predictions Through Concepts

通过概念解释CLIP零样本预测

Onat Ozdemir, Anders Christensen, Stephan Alaniz, Zeynep Akata, Emre Akbas

机构 * School of Informatics, University of Edinburgh（爱丁堡大学信息学院） ； Dept. of Computer Eng., Middle East Technical University (METU)（中东技术大学计算机工程系） ； Orbital ； DTU Compute, Technical University of Denmark（丹麦技术大学DTU计算学院） ； Dept. of Biology, University of Copenhagen（哥本哈根大学生物系） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室） ； Technical University of Munich (TUM)（慕尼黑工业大学） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； MCML ； MDSI ； Robotics & AI Center (ROMER), METU（中东技术大学机器人与人工智能中心） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出EZPC方法，通过人类可理解的概念解释CLIP的零样本预测，保持分类精度并提供概念层面的解释。

Comments Accepted to CVPR 2026

SegRGB-X: General RGB-X Semantic Segmentation Model

SegRGB-X: 通用RGB-X语义分割模型

Jiong Liu, Yingjie Xu, Xingcheng Zhou, Rui Song, Walter Zimmer, Alois Knoll, Hu Cao

机构 * Chair of Robotics, Artificial Intelligence and Real-time Systems, Technical University of Munich, Munich, Germany（慕尼黑工业大学机器人、人工智能与实时系统教席，德国慕尼黑） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出SegRGB-X模型，通过三种创新解决多模态语义分割问题，实现跨模态统一分割，实验显示其在五个不同互补模态数据集上达到65.03%的mIoU性能。

Comments Submitted to IEEE TITS

Bridging Visual Representation and Reinforcement Learning from Verifiable Rewards in Large Vision-Language Models

弥合可验证奖励下的视觉表征与强化学习在大视觉-语言模型中的应用

Yuhang Han, Yuyang Wu, Zhengbo Jiao, Yiyu Wang, Xuyang Liu, Shaobo Wang, Hanlin Xu, Xuming Hu, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； Huawei（华为） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出KAWHI机制，通过整合结构化视觉信息提升大视觉-语言模型的多模态推理性能，改进现有统一奖励优化方法。

Comments Homepage: \url{https://kawhiiiileo.github.io/KAWHI_PAGE/}

MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models

MoE-GRPO：通过强化学习优化基于专家混合的视觉-语言模型

Dohwan Ko, Jinyoung Park, Seoung Choi, Sanghyeok Lee, Seohyun Lee, Hyunwoo J. Kim

机构 * Korea University（高丽大学） ； KAIST（韩国科学技术院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出MoE-GRPO，通过强化学习优化视觉-语言模型中的专家路由，提升专家选择多样性，缓解专家过拟合问题。

Comments Accepted at CVPR 2026

ShotBench: Expert-Level Cinematic Understanding in Vision-Language Models

ShotBench：视觉语言模型中的专家级电影叙事理解

Hongbo Liu, Jingwen He, Yi Jin, Dian Zheng, Yuhao Dong, Fan Zhang, Ziqi Huang, Yinan He, Yangguang Li, Weichao Chen, Yu Qiao, Wanli Ouyang, Shengjie Zhao, Ziwei Liu

机构 * Tongji University（同济大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出ShotBench基准测试，用于评估视觉语言模型对电影叙事语言的理解能力，通过专家标注的3500多对问答数据揭示现有模型在细粒度视觉线索和复杂空间推理上的不足，并开发ShotVL模型在该基准上取得新突破。

Journal ref Advances in Neural Information Processing Systems 38 (NeurIPS 2025)

From Prediction to Diagnosis: Reasoning-Aware AI for Photovoltaic Defect Inspection

从预测到诊断：面向光伏缺陷检测的推理感知AI

Dev Mistry, Feng Qiu, Bo Chen, Feng Liu, Can Chen, Mohammad Shahidehpour, Ren Wang

机构 * Illinois Institute of Technology（伊利诺伊理工学院） ； Argonne National Laboratory（阿贡国家实验室） ； Commonwealth Edison（联邦爱迪生公司） ； Drexel University（德雷塞尔大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出REVL-PV框架，通过融合电致发光、热成像和可见光图像，实现光伏缺陷的结构化诊断报告，提升检测准确性和可解释性。

Comments 34 pages, 5 figures

RAGent: Physics-Aware Agentic Reasoning for Training-Free mmWave Human Activity Recognition

RAGent：面向无训练毫米波人类活动识别的物理感知代理推理

Mingda Han, Huanqi Yang, Zehua Sun, Wenhao Li, Yanni Yang, Guoming Zhang, Yetong Cao, Weitao Xu, Pengfei Hu

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 RAGent通过物理感知代理推理实现无训练毫米波人类活动识别，利用雷达知识库进行证据驱动推理，无需领域特定训练或适应，实现跨领域鲁棒识别。

Meta-Contrastive Learning for Vision-Language Models via Task-Adaptive CLIP Training

通过任务自适应CLIP训练实现视觉语言模型的元对比学习

Merham Fouladvand, Peuroly Batra

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出一种域条件元对比学习框架，通过任务自适应CLIP训练提升视觉语言模型跨域泛化能力，引入域嵌入和交叉域对齐正则化，增强模型在域偏移下的鲁棒性。

Cross-Modal Urban Sensing: Evaluating Sound-Vision Alignment Across Street-Level and Aerial Imagery

跨模态城市感知：评估声音与视觉在街道级和航空影像中的对齐情况

Pengyu Chen, Xiao Huang, Teng Fei, Sicheng Wang

机构 * Department of Geography, University of South Carolina（南卡罗来纳大学地理系） ； Department of Environmental Sciences, Emory University（埃默里大学环境科学系） ； University of Canterbury（坎特伯雷大学） ； School of Resource and Environmental Sciences, Wuhan University（武汉大学资源与环境科学学院） 纠错

专题命中 音频语音多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 研究通过比较不同视觉表示策略，探讨城市声音与视觉场景的对齐程度，发现街道影像嵌入比分割结果更符合环境声音，而遥感分割在生态分类解释中更有效。

Comments 18 pages, 13 figures

Journal ref Transactions in GIS, 30(2), e70246, 2026

SonoWorld: From One Image to a 3D Audio-Visual Scene

SonoWorld：从一张图像到一个三维音频视觉场景

Derong Jin, Xiyi Chen, Ming C. Lin, Ruohan Gao

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Image2AVScene任务，通过SonoWorld框架生成三维音频视觉场景，结合图像生成全景、三维场景构建、语言引导声音锚点和空间音频渲染，实现沉浸式体验。

Comments Accepted by CVPR 2026, project page: https://humathe.github.io/sonoworld/

Dual-branch Graph Domain Adaptation for Cross-scenario Multi-modal Emotion Recognition

双分支图域适应用于跨场景多模态情感识别

Yuntao Shou, Jun Zhou, Tao Meng, Wei Ai, Keqin Li

专题命中 音频语音多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 本文提出双分支图域适应框架DGDA，解决跨场景多模态情感识别中的域移位和标签噪声问题，通过情感交互图和双分支编码器提升模型泛化能力，实验验证其优于现有方法。

Comments 29 pages

Adversarial Attacks on Multimodal Large Language Models: A Comprehensive Survey

对多模态大语言模型的对抗攻击：全面综述

Bhavuk Jain, Sercan Ö. Arık, Hardeo K. Thakur

机构 * Google（谷歌） ； Bennett University, India（印度贝内特大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文综述了多模态大语言模型面临的对抗威胁，分析了攻击类型及其根源，提出分类框架以提升模型安全性。

Comments Survey paper, 37 pages, 10 figures, accepted at TMLR

Journal ref Transactions on Machine Learning Research, 2026

LongCat-Next: Lexicalizing Modalities as Discrete Tokens

LongCat-Next：将模态词典化为离散标记

Meituan LongCat Team, Bin Xiao, Chao Wang, Chengjiang Li, Chi Zhang, Chong Peng, Hang Yu, Hao Yang, Haonan Yan, Haoze Sun, Haozhe Zhao, Hong Liu, Hui Su, Jiaqi Zhang, Jiawei Wang, Jing Li, Kefeng Zhang, Manyuan Zhang, Minhao Jing, Peng Pei, Quan Chen, Taofeng Xue, Tongxin Pan, Xiaotong Li, Xiaoyang Li, Xiaoyu Zhao, Xing Hu, Xinyang Lin, Xunliang Cai, Yan Bai, Yan Feng, Yanjie Li, Yao Qiu, Yerui Sun, Yifan Lu, Ying Luo, Yipeng Mei, Yitian Chen, Yuchen Xie, Yufang Liu, Yufei Chen, Yulei Qian, Yuqi Peng, Zhihang Yu, Zhixiong Han, Changran Wang, Chen Chen, Dian Zheng, Fengjiao Chen, Ge Yang, Haowei Guo, Haozhe Wang, Hongyu Li, Huicheng Jiang, Jiale Hong, Jialv Zou, Jiamu Li, Jianping Lin, Jiaxing Liu, Jie Yang, Jing Jin, Jun Kuang, Juncheng She, Kunming Luo, Kuofeng Gao, Lin Qiu, Linsen Guo, Mianqiu Huang, Qi Li, Qian Wang, Rumei Li, Siyu Ren, Wei Wang, Wenlong He, Xi Chen, Xiao Liu, Xiaoyu Li, Xu Huang, Xuanyu Zhu, Xuezhi Cao, Yaoming Zhu, Yifei Cao, Yimeng Jia, Yizhen Jiang, Yufei Gao, Zeyang Hu, Zhenlong Yuan, Zijian Zhang, Ziwen Wang

机构 * Meituan LongCat Team（美团LongCat团队） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 LongCat-Next提出了一种统一框架DiNA，通过共享离散空间实现多模态一致建模，引入dNaViT实现任意分辨率的标记化与反标记化，构建出单一自回归目标处理文本、视觉和音频的多模态模型，突破离散视觉建模的性能瓶颈。

Comments LongCat-Next Technical Report

OpenAVS: Training-Free Open-Vocabulary Audio Visual Segmentation with Foundational Models

OpenAVS: 基于基础模型的无训练开放词汇音频视觉分割

Shengkai Chen, Yifang Yin, Jinming Cao, Shili Xiang, Zhenguang Liu, Roger Zimmermann

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.MM

AI总结 OpenAVS通过文本作为代理，首次实现音频与视觉模态对齐，利用基础模型直接推断掩码，提升开放词汇音频视觉分割的泛化能力。

Comments Accepted by ICME 2026

TriDF: Evaluating Perception, Detection, and Hallucination for Interpretable DeepFake Detection

TriDF：评估可解释深度伪造检测的感知、检测和幻觉

Jian-Yu Jiang-Lin, Kang-Yang Huang, Ling Zou, Ling Lo, Sheng-Ping Yang, Yu-Wen Tseng, Kun-Hsiang Lin, Chia-Ling Chen, Yu-Ting Ta, Yan-Tsung Wang, Po-Ching Chen, Hongxia Xie, Hong-Han Shuai, Wen-Huang Cheng

机构 * National Taiwan University（国立台湾大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） ； Jilin University（吉林大学） ； VinUniversity 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 TriDF提出一个全面的可解释深度伪造检测基准，评估模型感知、检测和幻觉能力，揭示三者间的相互作用，为构建可信系统提供基础。

Comments CVPR 2026

Voice-Controlled Scratch for Children with (Motor) Disabilities

为有(运动)障碍儿童的语音控制Scratch

Elias Goller, Gordon Fraser, Isabella Graßl

专题命中 音频语音多模态 ：multi-modal(abstract)

AI总结 本文提出MeowCrophone，通过语音控制实现Scratch编程环境的无障碍编辑，采用多模态语音界面提升残障儿童的交互体验。

VoxAnchor: Grounding Speech Authenticity in Throat Vibration via mmWave Radar

VoxAnchor：通过毫米波雷达接地语音真实性 via 喉部振动

Mingda Han, Huanqi Yang, Chaoqun Li, Wenhao Li, Guoming Zhang, Yanni Yang, Yetong Cao, Weitao Xu, Pengfei Hu

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 本文提出VoxAnchor系统，通过毫米波雷达捕捉喉部振动，结合语音声学与雷达信号，实现细粒度语音真实性验证，有效检测编辑、拼接等伪造手段。