多模态大模型

When Vision Misleads, Let Location Speak: A Worldwide Image Geo-Localization Method via Location Attention Mechanism and Large Multimodal Models

当视觉误导时，让位置说话：基于位置注意力机制和大多模态模型的全球图像地理定位方法

Junchao Cui, Wenqi Shi, Xuanzi Ma, Nan Wu, Shaoyong Du, Xiangyang Luo

机构 * Henan Key Laboratory of Cyberspace Situation Awareness（河南省网络空间态势感知重点实验室） ； Information Engineering University（信息工程大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出TransGeoCLIP框架，通过位置注意力机制和大多模态模型，解决视觉相似图像导致的地理定位错误问题，在多个基准上显著提升定位精度。

Comments Submitted to IEEE Transactions on Multimedia in March 2026

Struct-Searcher: Agentic Structural Thinking Advances Multimodal Deep Information Seeking

Struct-Searcher：代理式结构化思维推进多模态深度信息检索

Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Zheng Lian, Hao Wu, Yuan Gao, Xinyu Geng, Xin Wang, Pheng-Ann Heng

机构 * CUHK（香港中文大学） ； LIGHTSPEED ； PKU（北京大学） ； Tongji University（同济大学） ； THU（清华大学） ； HKUST（香港科技大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出基于信念修正理论的结构化代理工作流Struct-Searcher，通过维护多模态结构图实现冲突感知的深度信息检索，在多个基准上平均相对准确率提升17.2%。

KITE: A Tri-Modal Transformer Integrating Text, Images, and Knowledge Graphs for Fake News Detection

KITE：一种融合文本、图像和知识图谱的三模态假新闻检测Transformer

Kevin Patel, Shashi Bhushan Jha

机构 * Department of Computer Science, University of West Florida（威斯福大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出三模态假新闻检测框架KITE，联合建模文本、视觉和知识表示，利用跨模态注意力整合特征，在基准数据集上显著优于单双模态基线。

ExDet: Open-Domain Open-Vocabulary Detection with Cross-modal Extrapolation and Rectification

ExDet: 基于跨模态外推与校正的开放域开放词汇检测

Yupeng Zhang, Yuzhong Feng, Ruize Han, Zhiwei Chen, Wei Feng, Liang Wan

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） ； Faculty of Computer Science and Artificial Intelligence, Shenzhen University of Advanced Technology（深圳理工大学计算机科学与人工智能学院） ； School of Artificial Intelligence, Nanchang University（南昌大学人工智能学院） 纠错

专题命中 图文多模态 ：cross-modal(title)；分类 cs.CV

AI总结 提出ExDet框架，通过文本引导外推（TGE）和检测器兼容校正（DCR）模块，无需额外训练即可增强开放域开放词汇检测的跨类别和跨域泛化能力，在多个基准上取得最优性能。

Vision-Language Guided Hyperspectral Object Tracking via Semantics Fusion and Contextual Template Updating

视觉-语言引导的高光谱目标跟踪：语义融合与上下文模板更新

Rui Yao, Yuhong Zhang, Kunyang Sun, Hancheng Zhu, Jiaqi Zhao, Zhiwen Shao, Abdulmotaleb El Saddik

机构 * China University of Mining and Technology（中国矿业大学） ； University of Ottawa（渥太华大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出VLHTrack框架，通过语言引导波段选择模块缓解光谱冗余，利用多模态融合模块整合视觉与语言特征，并采用动态模板更新策略应对目标形变，在HOT2023/2024上超越现有方法。

Comments 14 pages,8 figures

An Effective Router for Vision-Language Model Selection

一种有效的视觉-语言模型选择路由器

Can Wang, Shengwei Wang, Bolin Zhang, Zhiying Tu, Dianhui Chu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Shandong Key Laboratory of Digital Service Computing Technology and Systems（山东省数字服务计算技术与系统重点实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.AI

AI总结 针对视觉-语言模型（VLM）选择中数据缺乏、特征表示无效和模型空间僵化的问题，提出ARMS路由器，通过增强输入信号和扩展训练策略，在分布内和分布外测试集上表现优异，仅800M参数即可超越GPT-4o。

Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?

Robust-U1: MLLMs能否自我恢复受损视觉内容以实现鲁棒理解？

Jiaqi Tang, Jianmin Chen, Youyang Zhai, Wei Wei, Runtao Liu, Mengjie Zhao, Xiangyu Wu, Qingfa Xiao, Qifeng Chen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出Robust-U1框架，通过监督微调、强化学习和多模态推理，使多模态大模型具备显式视觉自恢复能力，在真实和对抗性损坏下达到最先进鲁棒性。

Comments Accepted by ICML 2026

Are Reasoning Vision-Language Models Robust to Semantic Visual Distractions?

推理视觉语言模型对语义视觉干扰具有鲁棒性吗？

Yizheng Sun, Mochuan Zhan, Yanan Ma, Jia Tong See, Yifan Wang, Ziyi Wang, Hao Li, Yang Cui, Wenhao Cai, Jingyu Sun, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

机构 * University of Manchester（曼彻斯特大学） ； Marex ； Imperial College London（帝国理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对推理VLM在真实场景中易受语义视觉干扰的问题，提出Distract-Bench基准，发现推理VLM对语义干扰的鲁棒性低于感知退化，且干扰常被纳入推理过程导致错误答案。

The Last Visible Pixel: Probing Fine-Scale Perception in Vision-Language Models

最后一个可见像素：探究视觉-语言模型中的精细尺度感知

Lujun Li, Lama Sleem, Niccolo Gentile, Yangjie Xu, Yewei Song, Wenbo Wu, Radu State

机构 * University of Luxembourg（卢森堡大学） ； Foyer S.A. ； Université Paris-Saclay（巴黎-萨克雷大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出FineSightBench基准，通过4-48像素尺度分离感知与推理任务，发现视觉-语言模型感知在12像素饱和，推理在更大尺度仍受限，揭示精细视觉推理的根本缺陷。

Comments 25 pages

NavOne: One-Step Global Planning for Vision-Language Navigation on Top-Down Maps

NavOne: 一种基于顶部向下地图的视觉语言导航的一步全局规划

Dijia Zhan, Jinyi Li, Chenxi Zheng, Shaoyu Huang, Yong Li, Jie Tang, Xuemiao Xu

机构 * South China University of Technology（南方科技大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于顶部向下地图的视觉语言导航方法，通过引入NavOne框架，实现多模态地图的单步全局路径规划，显著提升了导航效率和性能。

Comments 10 pages, 7 figures

CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning

CapRL++：基于可验证奖励的统一强化学习用于密集图像和视频描述生成

Penghui Yang, Long Xing, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Yibin Wang, Yujie Zhou, Jiazi Bu, Jianze Liang, Qidong Huang, Jiaqi Wang, Feng Wu, Dahua Lin

机构 * Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Microsoft（微软） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Alibaba Cloud（阿里云） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CapRL++框架，利用可验证奖励的强化学习（RLVR）优化多模态描述生成，通过非视觉语言模型回答问题的准确性作为奖励，提升密集描述质量，在20多个基准上超越传统监督微调。

Comments 26 pages, 10 figures. Project page: https://github.com/InternLM/CapRL. arXiv admin note: text overlap with arXiv:2509.22647

Zero-Shot Semantic Re-Identification for Autonomous Driving: A VLM Baseline Study

零样本语义重识别用于自动驾驶：一项VLM基线研究

Eduardo Borges, Manuel Abreu, Luís Garrote, Urbano J. Nunes

机构 * Autonomous Mobile Robot（自主移动机器人） ； University of Minho（明德大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出使用视觉-语言模型生成语义描述进行零样本重识别，在自动驾驶场景中实现与监督CNN基线相当的检索性能，并增强可解释性。

Comments 7 pages

Scaling by Diversified Experience for Vision-Language-Action Models

通过多样化经验扩展视觉-语言-动作模型

Leiyu Wang, Zhaofengnian Wang, Xueqi Li, Luoyi Fan, Cewu Lu, Nanyang Ye

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出SyVLA模型，通过意图解耦算法和相似样本引导的强化学习管道，解决视觉-语言-动作模型在推理与控制耦合及策略优化不稳定问题，在真实机器人任务中取得更高成功率和泛化能力。

Comments ICML 2026, SyVLA

MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models

MLingualFC: 评估多语言视觉语言模型中的越狱漏洞

Rishabh Makwana, Mamta, Deeksha Varshney, Oana Cocarascu

机构 * Dwarkadas Jivanlal Sanghvi College of Engineering（达沃拉斯·吉万拉尔·桑格维工程学院） ； King’s College London（伦敦国王学院） ； Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出多语言多模态基准MLingualFC，使用流程图编码有害指令评估多语言VLM的越狱漏洞，发现拉丁语系攻击成功率显著高于非拉丁语系，揭示安全机制跨语言泛化不足。

AutoVQA-G: Self-Improving Agentic Framework for Automated Visual Question Answering and Grounding Annotation

AutoVQA-G：用于自动视觉问答与接地标注的自我改进代理框架

Rongsheng Hu, Runwei Guan, Yicheng Di, Jiayu Bao, Yuan Liu

机构 * School of Artificial Intelligence（人工智能学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出AutoVQA-G框架，通过迭代优化流程提升视觉问答接地标注的准确性，优于现有多模态LLM，为构建高质量数据促进更稳健的视觉语言模型训练提供新方法。

Comments Accepted at IEEE ICASSP 2026. 5 pages, 5 figures. Code available at https://github.com/rohnson1999/AutoVQA-G

Journal ref Proc. 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 12312-12316, 2026

TraversalBench: Challenging Paths to Follow for Vision Language Models

TraversalBench: 为视觉语言模型设计的复杂路径挑战测试集

Clara Petrova, Zhuo Chen, Marin Soljačić

机构 * Massachusetts Institute of Technology, Department of Physics（麻省理工学院物理系） ； Massachusetts Institute of Technology, Institute for Data, Systems, and Society（麻省理工学院数据、系统与社会研究所） ； NSF AI Institute for Artificial Intelligence and Fundamental Interactions（国家科学基金会人工智能与基本相互作用AI研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TraversalBench，一个用于评估视觉语言模型复杂视觉路径跟随能力的受控基准测试集，发现自相交是主要困难来源，揭示了模型在路径感知上的局限性。

Efficient Onboard Vision-Language Inference in UAV-Enabled Low-Altitude Economy Networks via LLM-Enhanced Optimization

基于LLM增强优化的无人机低空经济网络高效机载视觉-语言推理

Yang Li, Ruichen Zhang, Yinqiu Liu, Guangyuan Liu, Abbas Jamalipour, Xianbin Wang, Dong In Kim

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院、新加坡国立科技大学） ； The University of Sydney, Sydney, Australia（悉尼大学、澳大利亚悉尼） ； Department of Electrical and Computer Engineering, Western University, London, Canada（电气与计算机工程系、西方大学、加拿大伦敦） ； Department of Electrical and Computer Engineering, Sungkyunkwan University, South Korea（电气与计算机工程系、全州大学、韩国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对无人机低空经济网络中机载视觉-语言模型推理的准确性与通信效率挑战，提出分层优化框架，包括交替分辨率与功率优化算法及大语言模型增强的强化学习轨迹优化方法，有效提升推理性能与通信效率。