多模态大模型

Hierarchically Robust Zero-shot Vision-language Models

层次化鲁棒零样本视觉-语言模型

Junhao Dong, Yifei Zhang, Hao Zhu, Yew-Soon Ong, Piotr Koniusz

机构 * Nanyang Technological University（南洋理工大学） ； CFAR, IHPC, A*STAR（CFAR、IHPC、A*STAR） ； Northwest Polytechnical University（西北工业大学） ； Data61 CSIRO ； University of New South Wales（新南威尔士大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于层次嵌入的鲁棒微调框架，提升视觉-语言模型对对抗攻击的鲁棒性，通过多级对抗对齐和层次嵌入深度控制，增强模型泛化能力与语义多样性。

Comments This paper is accepted by CVPR'26

VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction

VLM-3R：融合指令对齐3D重建的视觉-语言模型

Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Shijie Zhou, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan

机构 * UT Austin（德克萨斯大学奥斯汀分校） ； XMU（厦门大学） ； TAMU（德克萨斯大学阿灵顿分校） ； UCR（加州大学河滨分校） ； UNC（北卡罗来纳大学教堂山分校） ； Meta ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出VLM-3R，通过融合3D重建指令微调，实现单目视频的3D空间辅助与具身推理，提升了视觉-空间推理和时间3D上下文理解的准确性和可扩展性。

Comments Project Page: https://vlm-3r.github.io/

ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting

ESsEN: 在低资源环境下训练紧凑的判别视觉-语言变换器

Clayton Fields, Casey Kennington

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ESsEN模型，通过双塔编码器结构和传统卷积网络，实现低资源环境下高效视觉-语言模型训练，实验表明其参数量仅为其他模型的分数，性能优异。

From Heads to Neurons: Causal Attribution and Steering in Multi-Task Vision-Language Models

从头到神经元：多任务视觉-语言模型中的因果归因与操控

Qidong Wang, Junjie Hu, Ming Jiang

机构 * Tongji University（同济大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出HONES框架，通过任务相关的注意力头来评估神经元的因果贡献，改进多任务视觉-语言模型中神经元的归因与操控，提升模型性能。

Comments ACL 2026 Findings

SmoGVLM: A Small, Graph-enhanced Vision-Language Model

SmoGVLM：一种小型、图增强的视觉-语言模型

Debjyoti Mondal, Rituraj Singh, Subhadarshi Panda

机构 * Samsung R\&D Institute India-Bangalore 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出SmoGVLM，一种结合图神经网络的视觉-语言模型，通过结构化知识提升小规模多模态推理性能，实验表明小型模型性能提升达16.24%。

Comments ICASSP 2026

HQA-VLAttack: Towards High Quality Adversarial Attack on Vision-Language Pre-Trained Models

HQA-VLAttack：面向视觉-语言预训练模型的高质量对抗攻击

Han Liu, Jiaqi Li, Zhi Xu, Xiaotong Zhang, Xiaoming Xu, Fenglong Ma, Yuanman Li, Hong Yu

机构 * Dalian University of Technology（大连理工大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； Shenzhen University（深圳大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HQA-VLAttack框架，通过文本和图像攻击阶段生成高质量对抗示例，同时优化正负样本相似度，提升攻击成功率。

#PraCegoVer: A Large Dataset for Image Captioning in Portuguese

#PraCegoVer：一种用于葡萄牙语图像描述的大型数据集

Gabriel Oliveira dos Santos, Esther Luna Colombini, Sandra Avila

机构 * Institute of Computing, University of Campinas（计算机学院，坎皮纳斯大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出#PraCegoVer数据集，基于Instagram帖子生成葡萄牙语图像描述，是首个大规模葡萄牙语图像描述数据集，具有单张图像仅一个描述及较长句子长度的挑战性特征。

Comments 23 pages, 21 figures, 2 tables

SatBLIP: Context Understanding and Feature Identification from Satellite Imagery with Vision-Language Learning

SatBLIP：基于卫星影像的视觉-语言学习用于农村环境理解和特征识别

Xue Wu, Shengting Cao, Shenglin Li, Jiaqi Gong

机构 * The University of Alabama（阿拉巴马大学） ； Knox College（克诺克斯学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 SatBLIP通过结合对比图像-文本对齐与定制化卫星语义描述，提升农村风险环境的可解释性分析，预测县级社会脆弱性指数。

VIB-Probe: Detecting and Mitigating Hallucinations in Vision-Language Models via Variational Information Bottleneck

VIB-Probe：通过变分信息瓶颈检测和缓解视觉-语言模型中的幻觉

Feiran Zhang, Yixin Wu, Zhenghua Wang, Xiaohua Wang, Changze Lv, Xuanjing Huang, Xiaoqing Zheng

机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（复旦大学计算机科学与人工智能学院，上海，中国） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VIB-Probe框架，通过变分信息瓶颈理论检测和缓解视觉-语言模型中的幻觉，利用注意力头提取判别模式并过滤语义噪声，实验表明其在多个基准上表现优异。

One RL to See Them All: Visual Triple Unified Reinforcement Learning

一个RL看尽一切：视觉三合一强化学习

Yan Ma, Linge Du, Xuyang Shen, Shaoxiang Chen, Pengfei Li, Qibing Ren, Lizhuang Ma, Yuchao Dai, Pengfei Liu, Junjie Yan

机构 * Qwen Team（通义实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出V-Triune方法，通过三个协调抽象提升多模态RL性能，开发Orsta模型在多个任务中表现优异，展示统一RL在视觉语言模型中的优势。

Comments Technical Report

Grid2Matrix: Revealing Digital Agnosia in Vision-Language Models

Grid2Matrix: 揭示视觉语言模型中的数字失读

Yunkai Zhang, Linda Li, Yingxin Cui, Xiyuan Ruan, Zeyu Zheng, Kezhen Chen, Yi Zhang, Diji Yang

机构 * BAIR, UC Berkeley（伯克利大学BAIR实验室） ； UC Santa Cruz（圣克拉拉大学） ； Analogy AI 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Grid2Matrix通过控制视觉复杂度测试视觉语言模型在捕捉细节方面的不足，发现模型在小网格上表现不佳，揭示了视觉编码与语言表达间的差距，即'数字失读'。

Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts

仲裁失败，而非感知失明：视觉-语言模型如何解决视觉-语言冲突

Farhad Nooralahzadeh, Omid Rohanian, Yi Zhang, Jonathan Fürst, Kurt Stockinger

机构 * Institute of Computer Science, Zurich University of Applied Sciences（苏黎世应用科技大学计算机科学研究所） ； University of Oxford（牛津大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究探讨视觉-语言模型在视觉与语言冲突中的仲裁机制，发现编码与基础的脱节，通过多模态仲裁交叉分析揭示视觉属性在早期层可线性解码，最终层logit与基础结果相关性达0.847，表明需针对性干预提升视觉基础能力。

Towards Efficient Large Vision-Language Models: A Comprehensive Survey on Inference Strategies

迈向高效的大型视觉-语言模型：关于推理策略的综合调查

Surendra Pathak, Bo Han

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文综述了提升大型视觉语言模型推理效率的最新方法，从视觉token压缩、内存管理、架构设计和解码策略四个维度进行分类，并指出当前方法的局限性及未来研究方向。

Comments 12 pages

Better Eyes, Better Thoughts: Why Vision Chain-of-Thought Fails in Medicine

更好的眼睛，更好的思考：为何视觉链式推理在医学中失效

Yuan Wu, Zongxian Yang, Jiayu Qian, Songpan Gao, Guanxing Chen, Qiankun Li, Yu-An Huang, Zhi-An Huang

机构 * Department of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学系） ； College of Computing and Data Science (CCDS), Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机科学学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文发现链式推理在医学视觉问答中表现欠佳，提出通过感知锚定和描述 grounding 提升视觉 grounding 和跨模态对齐以改善性能。

Enhancing the Safety of Medical Vision-Language Models by Synthetic Demonstrations

通过合成演示增强医疗视觉-语言模型的安全性

Zhiyu Xue, Reza Abbasi-Asl, Ramtin Pedarsani

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） ； UC San Francisco（加州大学旧金山分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种新的推理时防御策略，通过合成临床演示提升模型安全性，同时平衡安全与性能。

Growing a Multi-head Twig via Distillation and Reinforcement Learning to Accelerate Large Vision-Language Models

通过蒸馏和强化学习生长多头Twig以加速大视觉-语言模型

Zhenwei Shao, Mingyang Wang, Weijun Zhang, Zhou Yu, Wenwen Pan, Yan Yang, Tao Wei, Hongyuan Zhang, Jun Yu

机构 * Zhejiang Key Laboratory of Space Information Sensing and Transmission, School of Computer Science, Hangzhou Dianzi University（浙江省空间信息感知与传输重点实验室，计算机学院，杭州电子科技大学） ； Li Auto Inc.（理想汽车） ； School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出TwigVLM，通过在基础VLM早期层上生长轻量模块Twig，结合 Twig 引导的 token 剪枝和自推测解码策略，实现更高的准确性和速度。实验表明， TwigVLM 在剪枝88.9%的视觉token后仍保持96%的原始性能，并在生成长响应时达到154%的速度提升。

Comments An extended version of our ICCV paper at ICCV2025/html/Shao_Growing_a_Twig_to_Accelerate_Large_Vision-Language_Models_ICCV_2025_paper.html" target="_blank" rel="noopener">https://openaccess.thecvf.com/content/ICCV2025/html/Shao_Growing_a_Twig_to_Accelerate_Large_Vision-Language_Models_ICCV_2025_paper.html

Phantasia: Context-Adaptive Backdoors in Vision Language Models

幻象：面向视觉语言模型的上下文自适应后门

Nam Duong Tran, Phi Le Nguyen

机构 * Institute for AI Innovation and Societal Impact, Hanoi University of Science and Technology（河内科技大学人工智能创新与社会影响研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Phantasia，一种能根据输入语义动态调整恶意输出的后门攻击方法，提升了攻击隐蔽性和适应性，实验显示其在多种防御设置下均保持良好性能。

Comments CVPR 2026 Findings

SeMoBridge: Semantic Modality Bridge for Efficient Few-Shot Adaptation of CLIP

SeMoBridge：用于CLIP高效少样本适应的语义模态桥

Christoph Timmermann, Hyunse Lee, Woojin Lee

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SeMoBridge通过语义模态桥技术解决CLIP在少样本分类中的模态对齐问题，通过轻量级方法提升低数据场景下的性能，训练时间显著减少。

Comments 22 pages, 12 figures

Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction

缓解大型视觉-语言模型中的纠缠引导以减少幻觉

Yuanhong Zhang, Zhaoyang Wang, Xin Zhang, Weizhan Zhang, Joey Tianyi Zhou

机构 * Ministry of Education Key Laboratory of Intelligent Networks and Network Security（教育部智能网络与网络安全重点实验室） ； Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（前沿人工智能研究中心，高性能计算研究所，科技研究局） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MESA框架，通过可控的潜在空间干预减少视觉-语言模型中的幻觉，同时保持生成行为，实验表明其在多个模型家族中表现优于现有方法。

Beyond Pedestrians: Caption-Guided CLIP Framework for High-Difficulty Video-based Person Re-Identification

超越行人：基于描述的CLIP框架用于高难度视频基的人重识别

Shogo Hamano, Shunya Wakasugi, Tatsuhito Sato, Sayaka Nakamura

机构 * Sony Group Corporation（索尼集团公司） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CG-CLIP框架，通过文本描述和可学习令牌提升视频中高难度行人重识别性能，实验表明其在多个数据集上优于现有方法。

Which Way Does Time Flow? A Psychophysics-Grounded Evaluation for Vision-Language Models

时间如何流逝？基于心理物理学的评估用于视觉-语言模型

Shiho Matta, Lis Kanashiro Pereira, Peitao Han, Fei Cheng, Shigeru Kitazawa

机构 * Kyoto University（京都大学） ； Center for Information and Neural Networks（信息与神经网络中心） ； National Institute of Information and Communications Technology（国立信息通信技术研究所） ； The University of Osaka（大阪大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文通过心理物理学验证的基准测试评估了视觉-语言模型对时间方向的理解能力，发现大多数模型表现接近随机，且在物理不可逆过程和因果手动动作上远低于人类水平。

Comments 12 pages

Asking like Socrates: Socrates helps VLMs understand remote sensing images

像苏格拉底提问：苏格拉底帮助VLMs理解遥感图像

Run Shao, Ziyu Li, Zhaoyang Zhang, Linrui Xu, Xinran He, Hongyuan Yuan, Bolei He, Yongxing Dai, Yiming Yan, Yijun Chen, Wang Guo, Haifeng Li

机构 * School of Geosciences and Info-Physics, Central South University（中南大学地球科学与信息物理学院） ； Baidu Inc.（百度公司） ； School of Earth Sciences, Zhejiang University（浙江大学地球科学学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RS-EoT方法，通过迭代视觉证据寻求机制和两阶段强化学习策略，解决遥感图像中伪推理问题，提升视觉证据基础的推理能力。

Comments Accepted by CVPR 2026

GENFIG1: Visual Summaries of Scholarly Work as a Challenge for Vision-Language Models

GENFIG1：学术工作的视觉摘要对视觉-语言模型的挑战

Yaohan Guan, Pristina Wang, Najim Dehak, Alan Yuille, Jieneng Chen, Daniel Khashabi

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 GENFIG1基准测试要求视觉-语言模型生成能清晰表达论文核心思想的图表，强调科学理解与视觉合成的结合，揭示生成高质量学术图表的难度。

Learning Robust Visual Features in Computed Tomography Enables Efficient Transfer Learning for Clinical Tasks

在计算机断层扫描中学习鲁棒的视觉特征以实现临床任务的高效迁移学习

Rubén Moreno-Aguado, Alba Magallón, Victor Moreno, Yingying Fang, Guang Yang

机构 * Bioengineering Department and Imperial-X, Imperial College London（帝国理工学院生物工程系与Imperial-X） ； Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； Oncology Data Analytics Program, Catalan Institute of Oncology（加泰罗尼亚肿瘤研究所肿瘤数据分析项目） ； Colorectal Cancer Group, ONCOBELL Program, Institut d’Investigació Biomèdica de Bellvitge（贝尔维特奇生物医学研究所ONCOBELL项目结直肠癌研究组） ； Consortium for Biomedical Research in Epidemiology and Public Health（流行病学与公共卫生生物医学研究联盟） ； Department of Clinical Sciences, Faculty of Medicine and Health Sciences, Universitat de Barcelona（巴塞罗那大学医学与健康科学学院临床科学系） ； Institute of Complex Systems, University of Barcelona（巴塞罗那大学复杂系统研究所） ； National Heart and Lung Institute, Imperial College London（帝国理工学院国家心肺研究所） ； Cardiovascular Research Centre, Royal Brompton Hospital（皇家布朗普顿医院心血管研究中心） ； School of Biomedical Engineering & Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与影像科学学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VoxelFM，一种基于自蒸馏的3D CT基础模型，通过学习语义丰富的特征，实现了在多种临床任务中无需微调即可高效迁移。

A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

大型视觉-语言模型的全面信息分解分析

Lixin Xiu, Xufang Luo, Hideki Nakayama

机构 * The University of Tokyo（东京大学） ； Microsoft Research（微软研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文通过信息分解方法分析大型视觉-语言模型的信息谱，揭示任务模式和模型策略，为模型设计提供新视角。

Comments Accepted at ICLR 2026. Project page: https://riishin.github.io/pid-lvlm-iclr26/

InfiniteVL: Synergizing Linear and Sparse Attention for Highly-Efficient, Unlimited-Input Vision-Language Models

InfiniteVL: 融合线性与稀疏注意力以实现高效率、无限输入的视觉-语言模型

Hongyuan Tao, Bencheng Liao, Shaoyu Chen, Haoran Yin, Qian Zhang, Wenyu Liu, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Horizon Robotics（地平线机器人） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 InfiniteVL通过融合线性与稀疏注意力机制，实现高效率和无限输入的视觉-语言模型，提升解码速度和长上下文处理能力。

Comments 20 pages, 8 figures, conference or other essential info

Hallucination-aware intermediate representation edit in large vision-language models

具有幻觉意识的中间表示编辑在大视觉-语言模型中

Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种动态检测和消除幻觉表示的框架，通过最小额外计算成本在现有基准上实现最先进的性能，展示了高效且稳健的幻觉消除能力。

Inference-Time Structural Reasoning for Compositional Vision-Language Understanding

推理时的结构推理用于组合性视觉-语言理解

Amartya Bhattacharya

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出统一评估和增强框架，评估四种架构各异的VLMs在Winoground基准上的表现，通过结构化关系先验提升模型能力，发现SG增强对已有能力强的模型有益。

Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection

通过因果发现和双模态安全子空间投影诊断和修复视觉-语言模型中的不安全通道

Jinhu Fu, Yihang Lou, Qingyi Si, Shudong Zhang, Yan Bai, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Peking University（北京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。

Comments Accepted by CVPR 2026 main conference

Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models

针对LAION-400M的人为中心标注：审查偏见及其在模型中的转移

Leander Girrbach, Stephan Alaniz, Genevieve Smith, Trevor Darrell, Zeynep Akata

机构 * Technical University of Munich, Munich Center for Machine Learning (MCML), MDSI（慕尼黑工业大学，慕尼黑机器学习中心（MCML），MDSI） ； LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎理工学院，巴黎电信学院，LTCI） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文通过创建LAION-400M的人为中心标注，揭示了训练数据中存在的人口统计学偏见，并展示了这些偏见如何转移到视觉-语言模型中。

Comments ICLR 2026