多模态大模型

CG-MLLM: Captioning and Generating 3D content via Multi-modal Large Language Models

CG-MLLM：通过多模态大语言模型实现图像描述与3D内容生成

Junming Huang, Chi Wang, Letian Li, Guangkai Xu, Donglin Huang, Hao Chen, Qiang Dai, Weiwei Xu

机构 * Zhejiang University, China（浙江大学） 纠错

专题命中 图文多模态 ：MLLM(title,title_cn)；multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出CG-MLLM，一种能实现3D描述和高分辨率3D生成的多模态大语言模型，通过混合Transformer架构分离不同建模需求，结合预训练视觉语言模型与专用3D VAE潜在空间，提升3D生成质量与感知能力。

Comments ICML 2026

Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs

视觉即理解：解锁因果注意力以实现模态互注意力用于多模态大语言模型

Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi

机构 * Sony Group Corporation, Tokyo, Japan（索尼集团，日本东京） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出模态互注意力机制，通过解锁因果注意力，提升多模态理解性能，无需额外参数，在12个基准测试中平均提升6.2%。

Comments ICML 2026. Code is available at https://github.com/sony/aki

RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition

RAR：用于视觉识别的检索与排序增强多模态大语言模型

Ziyu Liu, Zeyi Sun, Yuhang Zang, Wei Li, Pan Zhang, Xiaoyi Dong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； MThreads, Inc.（MThreads公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract_cn)；multimodal(abstract)；multi-modal(abstract)；image-text(abstract)

AI总结 RAR结合CLIP的检索与MLLM的排序，提升细粒度识别精度，增强少样本和零样本任务表现。

Comments Project: https://github.com/Liuziyu77/RAR

GOMA: Toward Structure-Driven Multimodal Alignment from a Graph Signal Smoothing Perspective

GOMA：从图信号平滑视角迈向结构驱动的多模态对齐

Xu Wang, Xunkai Li, Yinlin Zhu, Rong-Hua Li, Guoren Wang

机构 * School of Airspace Science and Engineering, Shandong University（山东大学 airspace 科学与工程学院） ； Department of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院） ； School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 GOMA通过统一设计解决多模态对齐中的拓扑障碍、平滑控制与信息保留问题，在七个多模态图基准上取得最佳检索性能并保持稳定性。

A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

针对大视觉-语言模型的跨模态提示注入攻击：仅图像扰动

Hao Yang, Zhuo Ma, Yang Liu, Yilong Yang, Guancheng Wang, JianFeng Ma

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出CrossMPI攻击，通过仅图像扰动实现跨模态提示注入，改进模型隐藏状态空间优化并采用层选择策略与距离递减扰动策略，有效提升攻击性能。

ICED: Concept-level Machine Unlearning via Interpretable Concept Decomposition

ICED: 通过可解释的概念分解实现概念级机器去学习

Shen Lin, Jing Lin, Junhao Dong, Piotr Koniusz, Li Xu

机构 * Fujian Normal University（福建师范大学） ； Nanyang Technological University（南洋理工大学） ； University of New South Wales（新南威尔士大学） ； Data61 CSIRO（Data61澳大利亚联邦科学与工业研究组织） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ICED框架，通过多模态大语言模型构建任务特定概念词汇，实现VLMs中概念级去学习，有效去除目标知识并保留非目标语义，实验表明其在目标遗忘和模型效用方面表现优异。

VLMs Trace Without Tracking: Diagnosing Failures in Visual Path Following

VLMs 跟踪无需跟踪：诊断视觉路径跟随中的失败

Hyesoo Hong, Minsoo Kim, Wonje Jeung, Sangyeon Yoon, Dongjae Jeon, Albert No

机构 * Yonsei University（延世大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究VLMs在视觉路径跟随任务中的表现，发现其在面对局部相似干扰时易切换路径，揭示局部竞争导致的失败原因。

Res$^2$CLIP: Few-Shot Generalist Anomaly Detection with Residual-to-Residual Alignment

Res²CLIP：基于残差到残差对齐的少样本通用异常检测

Xinyue Liu, Jianyuan Wang, Biao Leng, Shuo Zhang

机构 * Beihang University（北航） ； University of Science and Technology Beijing（北京科技大学） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Res²CLIP通过残差到残差对齐解决少样本下类别泛化问题，消除细粒度特征差异和类特定偏差，提升跨类别泛化能力。

WeatherOcc3D: VLM-Assisted Adverse Weather Aware 3D Semantic Occupancy Prediction

WeatherOcc3D: 借助VLM的恶劣天气感知3D语义占用预测

A. Enes Doruk, Abdelaziz Hussein, Hasan F. Ates

机构 * Department of Artificial Intelligence（人工智能系） ； Data Engineering Ozyegin University Istanbul, Türkiye（数据工程奥祖根大学伊斯坦布尔，土耳其） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出一种借助预训练CLIP隐空间的框架，通过语言环境线索指导多传感器融合，解决恶劣天气下传感器可靠性问题，提升3D语义占用预测的鲁棒性。

DGS-Net: Distillation-Guided Gradient Surgery for CLIP Fine-Tuning in AI-Generated Image Detection

DGS-Net：基于知识蒸馏的梯度手术用于AI生成图像检测中的CLIP微调

Jiazhen Yan, Ziqiang Li, Fan Wang, Boyu Wang, Ziwen He, Zhangjie Fu

机构 * School of Computer Science, Nanjing University of Information Science（南京信息工程大学计算机学院） ； University of Macau（澳门大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出DGS-Net，通过梯度空间分解分离有害和有益的下降方向，提升CLIP在AI生成图像检测中的微调效果，实验表明其在检测性能和泛化能力上优于现有方法。

Comments Accepted by ICML 2026 Spotlight

EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy

EntropyScan: 向通过视觉注意力熵实现LVLMs的模型级后门检测

Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

机构 * China University of Geosciences（中国地质大学） ； University of the Chinese Academy of Sciences（中国科学院大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出EntropyScan，一种轻量且不依赖触发器的模型级后门检测方法，通过量化视觉注意力分布的结构扭曲来检测后门模型，实验显示其在两个LVLM架构和三种高级攻击场景中达到98.5%的F1分数和96.6%的AUC。

Comments 20 pages, 6 figures, 8tables

AGC: Adaptive Geodesic Correction for Adversarial Robustness on Vision-Language Models

AGC：面向视觉-语言模型对抗鲁棒性的自适应测地修正

Zhiwei Li, Jiacheng Xue, Weining Wang, Ajian Liu, Xingyu Gao, Zhenan Sun, Qi Li

机构 * NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所国家工程研究中心与人工智能院，中国科学院） ； School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出AGC，一种无需训练的防御机制，通过自适应步长修正输入特征，提升视觉-语言模型的对抗鲁棒性，实测在八个细粒度数据集上提升44.4%的鲁棒准确率，同时降低10倍推理延迟。

Visual Compositional Tuning

视觉组合调谐

Xindi Wu, Hee Seung Hwang, Polina Kirichenko, Esin Tureci, Olga Russakovsky

机构 * Princeton University（普林斯顿大学） ； Meta AI 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出COMPACT方法，通过组合多个基本视觉能力提升视觉指令调谐数据效率，减少训练样本数量并提升多模态任务性能。

Comments See the project website at this [URL](https://princetonvisualai.github.io/compact/)

Learning Structured Robot Policies from Vision-Language Models via Synthetic Neuro-Symbolic Supervision

通过合成神经符号监督学习结构化机器人策略

Alessandro Adami, Tommaso Tubaldo, Marco Todescato, Ruggero Carli, Pietro Falco

机构 * University of Padova, Dept. of Information Engineering（帕多瓦大学信息工程系） ； Fraunhofer Italia Research（弗劳恩霍夫意大利研究所） ； Polytechnic of Bari Dept. of Electrical and Information Engineering（巴里理工学院电气与信息工程系） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文提出通过合成神经符号监督方法，利用视觉语言模型生成结构化机器人策略，结合多模态感知与符号控制，实现高维学习与符号控制的结合。