多模态大模型

Reroute, Don't Remove: Recoverable Visual Token Routing for Vision-Language Models

重新路由，而非移除：面向视觉语言模型的可恢复视觉令牌路由

Cheng-Yu Yang, Shao-Yuan Lo, Yu-Lun Liu

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 图文多模态 ：MLLM(abstract,comments)；分类 cs.CV、cs.AI

AI总结 针对视觉语言模型中视觉令牌重要性随解码器深度变化的问题，提出无需训练的可恢复路由方法Reroute，将不可逆移除改为可恢复路由，在激进令牌缩减下提升定位能力并保持通用VQA性能。

Comments Code: https://github.com/elmma/mllm-reroute/

Grounding the Score: Explicit Visual Premise Verification for Reliable Vision-Language Process Reward Models

将评分接地：为可靠视觉语言处理奖励模型的显式视觉前提验证

Junxin Wang, Dai Guan, Weijie Qiu, Zhihang Li, Yongbo Gai, Zhengyi Yang, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴大模型应用团队） ； Alibaba Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所阿里巴巴分所） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 图文多模态 ：multimodal(abstract,comments)；分类 cs.CV、cs.AI

AI总结 本文提出EVPV方法，通过显式验证视觉前提提升视觉语言处理奖励模型的可靠性，实验表明其在多模态推理基准上提升了重排序准确率。

Comments 27 pages, 4 figures, 10 tables. Evaluated on VisualProcessBench and six multimodal reasoning benchmarks (LogicVista, MMMU, MathVerse-VO, MathVision, MathVista, WeMath). Includes ablations and causal analysis via controlled constraint corruption. Code: https://github.com/Qwen-Applications/EVPV-PRM

DAC-LoRA: Dynamic Adversarial Curriculum for Efficient and Robust Few-Shot Adaptation

Ved Umrajkar

机构 * Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校） 纠错

专题命中 图文多模态 ：multimodal(abstract,comments)；分类 cs.CV、cs.AI

Comments Accepted at ICCV2025 Workshop on Safe and Trustworthy Multimodal AI Systems

Aesthetic Image Captioning From Weakly-Labelled Photographs

Koustav Ghosal, Aakanksha Rana, Aljosa Smolic

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL；cross-modal(comments)

Comments International Workshop on Cross-Modal Learning in Real World, ICCV 2019

When Safety Overrides Vision: Exploring Dynamics between Vision Influence and Safety Alignment in Vision-Language Models

当安全覆盖视觉时：探索视觉语言模型中视觉影响与安全对齐之间的动态关系

Mehak Gupta, Tanmoy Chakraborty

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究探究对齐视觉语言模型中安全诱导弃权的内部解码动态，发现安全对齐未抑制感知接地，抑制拒绝相关表征可恢复接地回答，揭示了其一种新的失败模式。

Backdoor Learning in Language Models and Vision-Language Models

语言模型与视觉-语言模型中的后门学习

Weimin Lyu

机构 * Stony Brook University（石溪大学） ； The Graduate School（研究生院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本论文针对NLP与VLMs面临的后门攻击安全威胁，研究了后门攻击的分析、检测与设计，并开发了适用于临床医学影像的多模态表示方法，助力可信AI与高效多模态学习。

Comments Ph.D. dissertation

On the Robustness of Vision-Language Models in Zero-shot Privacy Classification

零样本隐私分类中视觉语言模型的鲁棒性研究

Alina Elena Baia, Alessio Xompero, Andrea Cavallaro

机构 * Idiap Research Institute（Idiap研究机构） ； Queen Mary University of London（伦敦女王学院） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本研究分析零样本设置下视觉语言模型（VLMs）用于图像隐私分类的可靠性，对比三类开源VLMs与专用模型的性能，发现VLMs鲁棒但精度低、速度慢，凸显专用隐私分类模型的优势。

Comments 15 pages, 6 figures, 3 tables. Paper accepted at the TrustDOC Workshop at ICPR 2026

Which Source Wins? Task-Dependent Reliance in Vision-Language Models

哪个来源更胜一筹？视觉-语言模型中依赖关系的任务依赖性

Rodela Ghosh, Aviral Gupta, Guangjing Wang

机构 * University of South Florida（南佛罗里达大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究探究视觉-语言模型的模态依赖，通过构建算术与图表冲突基准，发现其依赖关系随任务、证据结构等变化，不同模型在对应基准中呈现相反的模态依赖模式。

Comments 20 pages. Under review

LoopVLA: Learning Sufficiency in Recurrent Refinement for Vision-Language-Action Models

LoopVLA: 在视觉-语言-动作模型中学习充分性

Boyang Shen, Kaixiang Yang, Hao Wang, Qiuyu Yu, Qiang Xie, Qiang Li, Zhiwei Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Wuhan United Imaging Surgical Co.,Ltd. (UIS)（武汉联影 surgical 公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LoopVLA通过递归学习实现表示细化、动作预测和充分性估计，减少计算并提升效率，实验表明其在精度和性能上优于现有方法。

DesCLIP: Robust Continual Learning via General Attribute Descriptions for VLM-Based Visual Recognition

DesCLIP：通过通用属性描述实现基于视觉语言模型的鲁棒持续学习

Chiyuan He, Zihuan Qiu, Fanman Meng, Linfeng Xu, Qingbo Wu, Hongliang Li

机构 * School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DesCLIP，通过通用属性描述引导视觉语言模型理解特定类别对象，建立视觉-通用属性-类别三元关联，提升持续学习效果。

Comments IEEE Transactions on Multimedia 2026

Journal ref IEEE Transactions on Multimedia, vol. 28, pp. 5021-5035, 2026

MiniGPT-Reverse-Designing: Predicting Image Adjustments Utilizing MiniGPT-4

MiniGPT-反向设计：利用MiniGPT-4预测图像调整

Vahid Azizi, Fatemeh Koochaki

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过扩展和微调MiniGPT-4，使其可应用于给定源图像、编辑后图像及可选文本描述来预测图像编辑操作与参数的反向设计任务，验证了现成VLMs在复杂多模态任务中的可扩展性。

Comments 8 pages, 7 figures

TIMA: Text-Image Mutual Awareness for Balancing Zero-Shot Adversarial Robustness and Generalization Ability

TIMA：用于平衡零样本对抗鲁棒性与泛化能力的文本-图像互感知框架

Fengji Ma, Hei Victor Cheng, Chenxing Li, Li Liu

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对CLIP等基础模型在零样本场景下难平衡对抗鲁棒性与泛化能力的问题，提出TIMA框架，通过TAI与IAT两个模块校准Logit间距、保留语义一致性，实验显示其性能优于现有方法。

Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference

减少矩阵乘法：面向大语言模型推理的输入自适应矩阵乘积约简方法

Zixuan Lan, Yanhong Li, Jiawei Zhou

机构 * University of Chicago（芝加哥大学） ； Stony Brook University（石溪大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对Transformer语言模型推理开销高的问题，提出无需训练的输入自适应RMM方法，通过选择矩阵乘积信息切片减少计算，在多任务多模型上验证其鲁棒性，可提升长序列推理效率，且适用于多模态场景。

Comments 24 pages

How China-Origin Vision-Language Models Move from Refusal to Reframing in State Alignment

中国起源的多模态视觉语言模型如何在状态对齐中从拒绝转向重构

Guang Yang, Fengchen Liu, Alex Wang, Homa Hosseinmardi, Amir Ghasemian

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建基准测试9个视觉语言模型，发现中国起源模型更易进行状态对齐重构，且审查从可见的拒绝转向不可见的重构，这对人机交互存在影响。

Comments 41 pages, 31 figures, 9 tables. Preprint

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap：通过图像字幕强化学习提升大型视觉语言模型（LVLM）的安全性

Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SafeCap是一种通过图像字幕强化学习提升LVLM安全性的框架，在多模态安全基准上安全得分提升3.7-19.0个百分点，且视觉效用相当或更优，性能优于安全SFT等方法。

Comments 16pages, 4 figures. Preprint. Project page: https://safe-vlm.github.io/SafeCap/ ; code: https://github.com/Safe-VLM/SafeCap

Hybrid Token Compression for Vision-Language Models

HybridToken-VLM：用于视觉-语言模型的混合令牌压缩

Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Princeton University（普林斯顿大学） ； Snap Inc（Snap公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 HybridToken-VLM通过混合令牌压缩技术，在保持性能的同时显著提升视觉-语言模型的效率

Comments Accepted at CVPR 2026. Code available at https://github.com/jushengzhang/HybridToken-VLM

TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models

TemMed-Bench：评估视觉语言模型的时序医学图像推理能力

Junyi Zhang, Jia-Chen Gu, Wenbo Hu, Yu Zhou, Robinson Piramuthu, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出TemMed-Bench时序医学图像推理基准，评估12个视觉语言模型，发现多数模型缺乏分析患者状况时序变化的能力，多模态检索扩充可显著提升其性能。

Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation

Jako Tako 还是 Fluent？推出 PoVisLE：波兰语视觉-语言评估基准

Anna Kołos, Grzegorz Statkiewicz, Karolina Seweryn, Katarzyna Kowol, Karolina Piosek, Wojciech Kusa

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对现有英语中心视觉-语言模型在文化理解上的不足，推出波兰语单文化视觉-语言基准 PoVisLE，含1117张图像与2366对标注VQA样本，可评估深层文化多模态理解。

Comments 28 pages. Preprint under review

DataComp-VLM: Improved Open Datasets for Vision-Language Models

DataComp-VLM：改进的视觉语言模型开放数据集

Matteo Farina, Vishaal Udandarao, Thao Nguyen, Selim Kuzucu, Maximilian Böther, Andreas Hochlehnert, Adhiraj Ghosh, Marianna Nezhurina, Karsten Roth, Joschka Struber, Yuhui Zhang, Sebastian Dziadzio, Elaine Sui, Soumya Jahagirdar, Dhruba Ghosh, Hasan Hammoud, Thomas De Min, Simone Caldarella, Jehanzeb Mirza, Sedrick Keh, Mehdi Cherti, Hilde Kuehne, Bernt Schiele, Serena Yeung-Levy, Muhammad Ferjad Naeem, Federico Tombari, Ana Klimovic, Elisa Ricci, Matthias Bethge, Sewoong Oh, Ameya Prabhu, Alessio Tonioni, Jenia Jitsev, Massimiliano Mancini, Ludwig Schmidt, Nikhil Parthasarathy

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出DataComp-VLM基准，通过数据混合（而非过滤）策略提升视觉语言模型训练效果，在8B模型上达到63.6%准确率，比现有最优数据集提升5.4个百分点。

Comments Preprint

SLED: Scalable Location Encoding via Distillation

SLED：通过知识蒸馏实现可扩展位置编码

Kevin Lane, Zhongying Wang, Esther Rolf, Morteza Karimzadeh

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有位置编码器计算成本高、扩展性差等问题，提出基于蒸馏的SLED，可灵活融入多模态地理空间数据，在19项基准任务上性能优于或媲美现有模型，大幅降低预训练成本。

GeoReward: Mitigating Contextual Variable Overestimation in Vision-Language Models for Cross-Market Preference Prediction

GeoReward：缓解跨市场偏好预测的视觉语言模型中的上下文变量高估问题

Shuo Liu, Huixiang Cai, Weiru Zhang, Xiaoyi Zeng

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对视觉语言模型的上下文变量高估问题，提出GeoReward奖励模型，通过三种机制缓解该偏差，在跨市场广告偏好预测任务中性能优于现有基线。

Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens

链式视觉思维：通过连续视觉标记教学VLMs更好地看到和思考

Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, XuDong Wang

机构 * UC Berkeley（加州大学伯克利分校） ； UCLA（洛杉矶大学） ； Panasonic AI Research（松下人工智能研究） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 COVT通过连续视觉标记提升VLMs的视觉推理能力，使模型在多个基准测试中性能提升3%-16%。

Comments Project page: https://wakalsprojectpage.github.io/covt-website/

Attention is Case-Sensitive

注意力对字母大小写敏感

Maximilian Dillitzer, Tin Stribor Sohn, Jason J. Corso, Michael Auerbach

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 该研究发现LLMs和VLMs存在大小写效应，即文本中目标信息采用特定大小写格式会调节注意力分配，但该效应不一定提升任务准确率，推理模型的思考阶段可缓解此效应，且该效应可部分迁移至VLMs。

Comments Accepted at ECCV 2026

Aligning Large Vision-Language Models at Test Time: A Trajectory-Guided Structured Sampling Approach

测试时对齐大型视觉语言模型：一种轨迹引导的结构化采样方法

Tianbao Jiang, Weicong Ni, Gerard de Melo, Linlin Wang

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有视觉语言模型测试时对齐方法资源密集、训练与推理分布不匹配的问题，提出轨迹引导结构化采样的测试时对齐方法，在多模态推理数据集上提升准确率且推理开销可控。

VLMs Need Words: Vision Language Models Ignore Visual Detail In Favor of Semantic Anchors

VLMs需要词语：视觉语言模型倾向于通过语义锚点而非视觉细节进行推理

Haz Sameen Shahgir, Xiaofu Chen, Yu Fu, Erfan Shayegani, Nael Abu-Ghazaleh, Yova Kementchedjhieva, Yue Dong

机构 * University of California, Riverside（加州大学河滨分校） ； MBZUAI（穆桑人工智能研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究发现视觉语言模型在需要细粒度视觉感知的任务中表现不佳，因其依赖语义锚点而非视觉细节。通过实验验证，模型在可命名实体上表现更佳，而Logit Lens分析显示其能恢复语义标签。任务特定微调可提升性能，无需语言先验。

Comments Accepted at the Conference on Language Modeling 2026

Déjà Cue: Localizing States in Object Histories via Vocabulary-Relative Coordinates

Déjà Cue：通过词汇相对坐标定位目标历史中的状态

Haofan Cao, Zhichao You, Yunkai Yang, Liang Guo, Jie Wang, Chongshou Li

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.MM

AI总结 该研究针对目标状态定位问题提出无需训练的 Déjà Cue 框架，通过词汇相对坐标系校准图像-文本相似度，在78个 VOST 序列上显著提升了 R@1 和 Top-1 tIoU 指标。

Comments Code available at https://github.com/HaofanCao/DejaCue

Few-Shot Concept Prompt Learning for Segmentation Foundation Models via Visual Grounding

基于视觉定位的分割基础模型少样本概念提示学习

Rahul Venkataramani, Rachana Sathish

机构 * Advanced Technology Group（先进技术集团） ； GE HealthCare（GE医疗） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对分割基础模型在临床任务中表现不足的问题，提出FS-CPL方法，通过视觉定位学习概念提示，在四个医学影像基准上取得显著性能提升，且与骨干网络无关。

Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge

线性多时间尺度保留作为内存高效的视觉-语言桥梁

Ashfak Yeafi, Mehedi Hasan, Md Khairul Islam

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视觉-语言模型高分辨率图像处理的内存瓶颈，提出线性多时间尺度保留模块，兼具O(N)复杂度与上下文路由能力，在长序列任务、硬件效率及MME基准上均优于MLP基线。

Entity-Faithful Repair of Synthetic Supervision for Zero-Shot Image Captioning

零样本图像描述中合成监督的实体忠实修复

Zhiyue Liu, Wenkai Zhou, Jian Qin, Qipeng Jiang

机构 * Guangxi University（广西大学） ； School of Computer, Electronics and Information（计算机与电子信息学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 针对零样本图像描述中合成监督的实体级错位问题，提出即插即用框架ReCap，通过实体级重对齐与自适应加权策略优化合成数据，在两类基准上实现最优性能。

Comments Accepted to the 34th ACM International Conference on Multimedia (ACM MM 2026). 16 pages, 7 figures

Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts

内部松弛，跨域平衡：面向视觉-语言混合专家模型的几何引导式负载均衡

Ziang Wu, Peng Jin, Qishen Yin, Munan Ning, Hao Li, Peizhen Zhang, Li Yuan

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉-语言混合专家模型的负载不平衡问题，提出ReBA方法，通过引入图像和文本的独立路由项，在保持任务准确率的同时降低了不同场景下的负载。

Comments 22 pages, including appendices. Code available at https://github.com/ZiangWu-77/ReBA