多模态大模型

Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning

基于强化学习的视觉语言模型视觉接地自反思

Liyan Tang, Fangcong Yin, Greg Durrett

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出VRRL框架，通过随机掩码轨迹前缀和缓冲回滚机制，增强视觉语言模型在分布外场景下的视觉接地自反思能力，显著提升准确率。

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA：无负样本的端到端视觉语言预训练

Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

机构 * German Cancer Research Center（德国癌症研究中心） ； German Cancer Consortium（德国癌症联盟） ； Goethe University Frankfurt（法兰克福大学） ； Brown University（布朗大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA，通过跨模态预测与分布正则化学习，无需负样本、温度参数等，生成更强的密集语义特征，在下游任务中优于对比基线。

StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning

StochasT：基于随机轮次深度的视觉指令微调学习

Yuan Qing, Chengzhi Mao, Boqing Gong

机构 * Boston University（波士顿大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对视觉指令微调中多轮训练与单轮测试不匹配的问题，提出StochasT方法，通过随机分组语言任务为不同大小的轮次深度，增强模型在单轮和多轮场景下的鲁棒性。

Comments Accepted to ECCV 2026. Project page and code: https://yuanqing-ai.github.io/StochasT

ACD-CLIP: Decoupling Representation and Dynamic Fusion for Zero-Shot Anomaly Detection

ACD-CLIP：解耦表征与动态融合用于零样本异常检测

Ke Ma, Jun Long, Hongxiao Fei, Liujie Hua, Zhen Dai, Yueyi Luo

机构 * Central South University（中南大学） ； Hunan Vocational College of Science and Technology（湖南科技职业学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 ACD-CLIP通过联合优化特征表征与跨模态融合，解决预训练视觉语言模型在零样本异常检测中的适应性不足问题，提出参数高效卷积低秩适应器和动态融合网关提升检测精度与鲁棒性。

Comments 4 pages, 1 reference, 3 figures

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

Dynamic Parsing and Updating Natural Language Specification using VLMs for Robust Vision-Language Tracking

利用视觉语言模型动态解析和更新自然语言规范以实现鲁棒的视觉语言跟踪

Xiao Wang, Liye Jin, Dan Xu, Yuehang Li, Lan Chen, Yaowei Wang, Yonghong Tian, Jin Tang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校） ； Peng Cheng Laboratory, Shenzhen（鹏城实验室深圳分部） ； Shenzhen Graduate School, Peking University（北京大学深圳研究生院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出语言依赖解析机制提取跟踪核心成分，并利用Qwen-VL进行成分感知的文本更新，在多个基准上取得一致优越性能。

CLOSER-VLN: Closed-Loop Self-Verified Retrieval-Augmented Reasoning for Aerial Vision-Language Navigation

CLOSER-VLN：面向空中视觉语言导航的闭环自验证检索增强推理

Shaoxuan Li, Xiangyu Dong, Xiaoguang Ma, Junfeng Chen, Haoran Zhao, Yaoming Zhou

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出CLOSER方法，通过闭环的推理、验证、检索和纠正机制，解决空中VLN中开放循环决策导致的误差累积问题，在CityNav基准上取得32.01% SR和21.28% SPL。

Break the Brake, Not the Wheel: Untargeted Jailbreak via Entropy Maximization

打破刹车，而非车轮：通过熵最大化实现无目标越狱

Mengqi He, Xinyu Tian, Xin Shen, Shu Zou, Jinhong Ni, Zhaoyuan Yang, Weikang Li, Xuesong Li, Jing Zhang

机构 * Australian National University（澳大利亚国立大学） ； The University Of Queensland（昆士兰大学） ； Peking University（北京大学） ； GE research（通用电气研究院） ； CSIRO（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出UJEM-KL攻击方法，通过最大化决策令牌的熵来翻转视觉-语言模型的拒绝输出，实现高迁移性的无目标越狱。

Comments Preprint. 17 pages, 8 figures, 6 tables

Steerable Visual Representations

可操控的视觉表示

Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano

机构 * University of Technology Nuremberg（纽伦堡工业大学） ； Carnegie Mellon University（卡内基梅隆大学） ； International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出可操控的视觉表示，通过自然语言指导视觉特征，提升视觉任务的灵活性和泛化能力。

Comments Accepted to ECCV 2026

PlantExpertVQA: A Visual Question Answering Dataset for Benchmarking Vision-Language Models in Plant Science

PlantExpertVQA: 一个用于植物科学中视觉语言模型基准测试的视觉问答数据集

Syed Nazmus Sakib, Nafiul Haque, Mohammad Zabed Hossain, Shifat E. Arman

机构 * Department of Robotics and Mechatronics Engineering, University of Dhaka（达卡大学机器人与机电工程系） ； Department of Botany, University of Dhaka（达卡大学植物学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 PlantExpertVQA数据集旨在提升视觉语言模型在农业决策中的应用，包含765,186个高质量问答对，涵盖38种作物和89种病害，通过多阶段流程生成并经专家审核，验证了参数高效微调的有效性。

Comments 36 pages, 9 figures, 14 tables and Submitted to Nature Scientific Data

Conformal Predictions for Human Action Recognition with Vision-Language Models

基于视觉-语言模型的人类动作识别中的置信域预测

Bary Tim, Fuchs Clément, Macq Benoît

机构 * ICTEAM, UCLouvain（鲁汶大学（法语区）ICTEAM研究所） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨了如何利用置信域预测技术提升基于视觉-语言模型的人类动作识别系统可靠性，通过调整softmax温度参数减少候选类别数量，缓解长尾分布影响。

Comments 6 pages, 7 figures, Accepted to ICIP 2025 Workshops

Journal ref 2025 IEEE International Conference on Image Processing Workshops (ICIPW)

Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models

利用视觉编码器漏洞对大视觉-语言模型生成通用对抗扰动

Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文研究了大视觉-语言模型在输入图像中对小对抗扰动的脆弱性，提出了一种针对视觉编码器内部组件的通用对抗扰动攻击框架，通过分析注意力机制识别关键脆弱组件，实现高效攻击。

Large Language Model Teaches Visual Students: Cross-Modality Transfer of Fine-Grained Conceptual Knowledge

大型语言模型教授视觉学生：细粒度概念知识的跨模态迁移

Thomas Shih-Chao Liang, Zhuoran Yu, Yong Jae Lee

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出LaViD框架，利用语言模型生成多选题来蒸馏细粒度视觉概念，无需多模态数据，在多个基准上超越现有方法。

Comments Accepted by ICML 2026

Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

你到底有多确定？改进医学视觉问答中的口头不确定性校准

Eren Senoglu, Federico Toschi, Nicolo Brunello, Andrea Sassella, Mark James Carman

机构 * Politecnico di Milano（米兰理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对多模态大语言模型在医学VQA中过度自信的问题，提出基于复合损失函数的微调框架，通过校准项、锚定正则化、对比对齐和KL稳定项，将校准误差降低60%以上，判别力提升26%以上。

Bridging Vision and Language Concepts through Optimal Transport Semantic Flow

通过最优传输语义流桥接视觉与语言概念

Chenyang Zhang, Anqi Dong, Guangming Zhu, Nuoye Xiong, Siyuan Wang, Lin Mei, Liang Zhang

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出最优传输流概念瓶颈模型（OTF-CBM），通过逆最优传输学习数据驱动的语义代价，并利用非平衡最优传输流匹配建模视觉块与文本概念间的语义转换，实现可解释的几何关系捕获，提升分类精度与概念忠实度。

Through the Looking Glass: A Dual Perspective on Weakly-Supervised Few-Shot Segmentation

透过镜中奇境：弱监督小样本分割的双重视角

Jiaqi Ma, Guo-Sen Xie, Fang Zhao, Zechao Li

机构 * School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出同源异构网络，通过异构视觉聚合和转移模块增强双重视角互补性，结合异构CLIP文本信息，在弱监督小样本分割任务中以极少参数超越现有方法。

Comments Accepted by IEEE Transactions on Image Processing (TIP)

UniDrive: A Unified Vision-Language and Grounding Framework for Interpretable Risk Understanding in Autonomous Driving

UniDrive: 面向自动驾驶可解释风险理解的统一视觉-语言与定位框架

Xiaowei Gao, Pengxiang Li, Yitai Cheng, Ruihan Xu, James Haworth, Stephen Law, Yun Ye

机构 * organization= Department of Earth Science \& Engineering, Imperial College London , city= London , postcode= SW7 2AZ , country= United Kingdom ； organization= SpaceTimeLab, Department of Civil, Environmental ； Geomatic Engineering, University College London , city= London , postcode= WC1E 6BT , country= United Kingdom ； organization= Department of Computing, The Hong Kong Polytechnic University , city= Hong Kong , country= China ； organization= Trinity College, University of Oxford , city= Oxford , postcode= OX1 3BH , country= United Kingdom ； organization= Department of Geography, University College London , city= London , postcode= WC1E 6BT , country= United Kingdom ； organization= Centre for Global Infrastructure Resilience, The Bartlett School of Sustainable Construction, University College London , city= London , postcode= WC1E 7HB , country= United Kingdom 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出UniDrive框架，通过融合时序推理与高分辨率感知分支，联合生成风险描述和边界框定位，在DRAMA-Reasoning基准上超越现有方法，提升小目标定位和可解释性。

Page image classifier fine-tuned on century-spanning archives of scanned documents for further content-specific processing

基于百年跨度扫描文档档案微调的页面图像分类器，用于进一步的内容特定处理

Kateryna Lutsai, Dana Křivánková, Pavel Straňák, David Novák

机构 * Institute of Formal and Applied Linguistics, Charles University MFF（查尔斯大学数学与物理学院形式与应用语言学研究所） ； Institute of Archaeology, Czech Academy of Sciences（捷克科学院考古研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对历史文档数字化中手动分类不可行的问题，提出基于视觉内容类型（文本、表格、图形）的自动页面图像分类系统，采用微调深度网络（RegNetY-16GF达99.16%准确率）实现近完美分类，并公开模型、数据集和代码。

Comments 29 pages, 19 figures, 13 tables. arXiv admin note: text overlap with arXiv:2507.21114

HiPath: Hierarchical Vision-Language Alignment for Structured Pathology Report Prediction

HiPath: 用于结构化病理报告预测的分层视觉-语言对齐

Ruicheng Yuan, Zhenxuan Zhang, Anbang Wang, Liwei Hu, Xiangqian Hua, Yaya Peng, Jiawei Luo, Guang Yang

机构 * College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Department of Bioengineering and Imperial-X, Imperial College London（帝国理工学院伦敦校区生物工程系） ； Department of Pathology, Xiangtan Maternal and Child Health Hospital（湘潭 maternal and child health hospital pathology department） ； Department of Pathology, The First People’s Hospital of Xiangtan City（湘潭市第一人民医院病理科） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出HiPath框架，通过分层补丁聚合器、对比学习和槽位掩码诊断预测，在冻结UNI2和Qwen3骨干上实现结构化病理报告预测，准确率达68.9%，安全率97.3%。

Comments 10 pages, 1 figures, 3 tables

Decoupling the Declarative from the Procedural in Vision-Language-Action Models

在视觉-语言-动作模型中解耦声明性知识与程序性知识

Nikolaos Tsagkas, Andreas Sochopoulos, Chris Xiaoxuan Lu, Oisin Mac Aodha, Alexandros Kouris

机构 * University of Edinburgh（爱丁堡大学） ； UCL（伦敦大学学院） ； Samsung AI Center - Cambridge, UK（三星人工智能中心 - 英国剑桥） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有VLA模型无法解耦声明性与程序性知识导致零样本技能迁移脆弱的问题，提出w$^{2}$VLA模型，通过重构信息流实现模块化、可解释的知识解耦，显著提升对未见物体的零样本技能迁移能力。

MIRCaps: A Large-Scale Mixed-Domain Dataset with Image-Level and Region-Level Captions for Fine-Grained Vision-Language Learning

MIRCaps: 一个大规模混合域数据集，包含图像级和区域级描述，用于细粒度视觉-语言学习

Arlindo Luciano Tulumba Roberto, Hyungjoon Kim

机构 * Changwon National University（昌原国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 为解决通用与监控视频领域的混合域图像-描述数据集匮乏问题，构建了包含14万图像、98万图像级描述、174万区域级描述和139万边界框的大规模数据集，通过互补描述类型帮助视觉语言模型学习细粒度视觉属性，并在图像描述和目标检测任务上验证了有效性。

Scalable Training of Spatially Grounded 2D Vision-Language Models for Radiology

面向放射学的空间定位2D视觉-语言模型的可扩展训练

Yusuf Salcan, Simon Ging, Robin Tibor Schirrmeister, Philipp Arnold, Elmar Kotter, Behzad Bozorgtabar, Thomas Brox

机构 * Computer Vision Group, University of Freiburg, Germany（德国弗莱堡大学计算机视觉组） ； Department of Radiology, Medical Center -- University of Freiburg, Germany（德国弗莱堡大学医学中心放射科） ； CRIION-AI Lab, Freiburg, Germany（德国弗莱堡CRIION-AI实验室） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 提出RefRad2D大规模双语数据集，通过LLM和自动分割生成空间定位数据，训练RadGrounder模型联合完成报告生成、VQA和空间定位，在外部基准上取得竞争性结果。

Comments Accepted for MICCAI 2026. First two authors: equal contribution. Last two authors: equal supervision

Gaze Heads: How VLMs Look at What They Describe

注视头：视觉语言模型如何观察它们所描述的内容

Rohit Gandikota, David Bau

机构 * Northeastern University（东北大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 发现视觉语言模型的语言骨干中存在一组“注视头”，其注意力跟踪当前描述的图像区域，通过干预这些头可精确控制模型描述内容，准确率达83.1%。

MirrorCheck: Efficient Adversarial Defense for Vision-Language Models

MirrorCheck: 视觉-语言模型的高效对抗防御

Samar Fares, Klea Ziu, Toluwani Aremu, Nikita Durasov, Martin Takáč, Pascal Fua, Ivan Laptev, Karthik Nandakumar

机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫扎伊德大学人工智能大学） ； NVIDIA ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Michigan State University（密歇根州立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MirrorCheck框架，利用文本到图像模型和随机化策略检测并防御针对视觉-语言模型的自适应对抗攻击。

GeoWorld-VLM: Geometry from World Models for Vision-Language Models

GeoWorld-VLM：从世界模型中获取几何结构用于视觉-语言模型

Renjie Gu, Kaichen Zhou, Yan Luo, Mengyu Wang

机构 * Harvard AI and Robotics Lab（哈佛人工智能与机器人实验室） ； Kempner Institute for the Study of Natural and Artificial Intelligence（凯普纳自然与人工智能研究 institute） ； Harvard University（哈佛大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 GeoWorld-VLM通过将冻结的摄像机条件视频世界模型的几何结构转移到视觉-语言模型中，提升空间关系推理能力，实验显示在两个不同架构上均提升了约4%的性能。

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

ReFoCUS: 用于上下文理解的强化引导帧优化

Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

机构 * Korea Advanced Institute of Science & Technology（韩国科学技术院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出ReFoCUS框架，首次将在线策略梯度强化学习集成到视频大语言模型的帧级优化中，通过自回归和查询条件选择架构学习帧选择策略，无需显式帧级监督，提升视频问答推理准确性。

Comments Project page: https://interlive-team.github.io/ReFoCUS/

Task-Aligned Stability Analysis of Vision-Language Models for Autonomous Driving Hazard Detection

面向自动驾驶危险检测的视觉-语言模型任务对齐稳定性分析

Everett Richards

机构 * Everett Richards（埃弗里特·里奇ards） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉-语言模型在自动驾驶危险检测中，嵌入漂移与任务对齐危险分数变化的关系，发现不同腐败类型导致不同的失效模式，建议基准测试包含任务对齐稳定性指标。

Comments 8 pages (5 main body + 3 references / appendices). ICML 2026 Workshop on Combining Theory and Benchmarks (CTB)

Modeling Complex Behaviors: Multi-Personality Composition and Dynamic Switching in Vision-Language Models

建模复杂行为：视觉语言模型中的多人格组合与动态切换

Peiqi Jia, Haonan Jia, Ziqi Miao, Linkang Du, Yuntao Wang, Zhou Su

机构 * Xi'an Jiaotong University（西安交通大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究在视觉语言模型中引入显式人格条件，建立包括单人格、多人格和人格切换的系统评估框架，发现人格提示可提升图像描述但损害精确推理任务，并观察到多特质组合与动态切换中的平衡与残留效应。

Comments 16 pages, 4 figures, 10 tables

SD-GRPO: Verifiable Segment Decomposition for Long-Form Vision-Language Generation

SD-GRPO：面向长格式视觉-语言生成的可验证片段分解

Hyunwoong Kim, Seongeun Lee, Hannah Yun, Junhyun Park, Jonggwon Park

机构 * DEEPNOID Inc.（DEEPNOID公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出SD-GRPO方法，通过将长格式输出分解为片段并计算逐片段优势，解决GRPO在视觉-语言任务中粗粒度信用分配不足的问题，实验证明其在多种长格式生成任务中优于基线。

Are Reasoning Vision-Language Models Robust to Semantic Visual Distractions?

推理视觉语言模型对语义视觉干扰具有鲁棒性吗？

Yizheng Sun, Mochuan Zhan, Yanan Ma, Jia Tong See, Yifan Wang, Ziyi Wang, Hao Li, Yang Cui, Wenhao Cai, Jingyu Sun, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

机构 * University of Manchester（曼彻斯特大学） ； Marex ； Imperial College London（帝国理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对推理VLM在真实场景中易受语义视觉干扰的问题，提出Distract-Bench基准，发现推理VLM对语义干扰的鲁棒性低于感知退化，且干扰常被纳入推理过程导致错误答案。

The Last Visible Pixel: Probing Fine-Scale Perception in Vision-Language Models

最后一个可见像素：探究视觉-语言模型中的精细尺度感知

Lujun Li, Lama Sleem, Niccolo Gentile, Yangjie Xu, Yewei Song, Wenbo Wu, Radu State

机构 * University of Luxembourg（卢森堡大学） ； Foyer S.A. ； Université Paris-Saclay（巴黎-萨克雷大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出FineSightBench基准，通过4-48像素尺度分离感知与推理任务，发现视觉-语言模型感知在12像素饱和，推理在更大尺度仍受限，揭示精细视觉推理的根本缺陷。

Comments 25 pages