视觉大模型 / VLM

Structural Graph Probing of Vision-Language Models

视觉-语言模型的结构图谱探查

Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

机构 * Northeastern University（东北大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究通过神经拓扑分析视觉-语言模型的层间相关图谱，揭示群体结构对行为的意义、跨模态变化及因果影响，提出神经拓扑作为解释性中间尺度。

Comments IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

VisionTrim: Unified Vision Token Compression for Training-Free MLLM Acceleration

VisionTrim: 一种用于无训练多模态大语言模型加速的统一视觉标记压缩方法

Hanxun Yu, Wentong Li, Xuan Qu, Song Wang, Junbo Chen, Jianke Zhu

机构 * State Key Lab of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； NUAA（南京航空航天大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出VisionTrim，通过整合DVTS和TGVC模块，有效减少视觉标记，提升多模态大语言模型在高分辨率和视频场景中的计算效率。

Comments ICLR2026, Code Link: https://github.com/hanxunyu/VisionTrim

AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

AdaptToken: 基于熵的自适应令牌选择用于多模态大语言模型长视频理解

Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

机构 * Microsoft Spatial AI Lab（微软空间人工智能实验室） ； EPFL（瑞士联邦理工学院洛桑） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 AdaptToken通过利用模型自不确定性实现全局控制信号，提升多模态大语言模型对长视频的理解能力，通过熵信号分配令牌预算并支持提前停止，提升准确率并减少推理时间。

Comments Project page: https://haozheqi.github.io/adapt-token

Aesthetic Assessment of Chinese Handwritings Based on Vision Language Models

基于视觉语言模型的中文手写体审美评估

Chen Zheng, Yuxuan Lai, Haoyang Lu, Wentao Ma, Jitao Yang, Jian Wang

机构 * The Open University of China（中国开放大学） ； Engineering Research Center of Integration and Application of Digital Learning Technology, Ministry of Education（数字化学习技术集成与应用教育部工程研究中心） ； OUC-online（国开在线） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文基于视觉语言模型分析中文手写体质量，生成多级反馈，通过低秩适应和上下文学习方法提升评估效果，实验结果在CCL 2025工作坊中表现优异。

Comments Accepted by CCL2025

MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models

MoE-GRPO：通过强化学习优化基于专家混合的视觉-语言模型

Dohwan Ko, Jinyoung Park, Seoung Choi, Sanghyeok Lee, Seohyun Lee, Hyunwoo J. Kim

机构 * Korea University（高丽大学） ； KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出MoE-GRPO，通过强化学习优化视觉-语言模型中的专家路由，提升专家选择多样性，缓解专家过拟合问题。

Comments Accepted at CVPR 2026

Zero-shot Vision-Language Reranking for Cross-View Geolocalization

跨视图地理定位的零样本视觉-语言重排序

Yunus Talha Erzurumlu, John E. Anderson, William J. Shuart, Charles Toth, Alper Yilmaz

机构 * The Ohio State University（俄亥俄州立大学） ； US Army Corps of Engineers Geospatial Research Lab（美国陆军工程兵团地理空间研究实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出两阶段框架，利用零样本视觉语言模型进行重排序，通过对比实验发现基于成对比较的策略能有效提升跨视图地理定位的Top-1准确率。

Comments 7 pages, 4 figures. Accepted to XXV ISPRS Congress

Difference Feedback: Generating Multimodal Process-Level Supervision for VLM Reinforcement Learning

差分反馈：为视觉语言模型强化学习生成多模态过程级监督

Feiding, Yongkang Zhang, Yuhao Liao, Zijian Zeng, Chunzheng Zhu, Yaozong Zheng, Yafei Liu, Yeling Peng, Youwei Wang, Sibo Wang, Huiming Yang, Linglin Liao, Shunzhi Yang

机构 * Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院） 纠错

专题命中 VLM训练与架构 ：VLM(title)；分类 cs.CV、cs.AI

AI总结 本文提出差分反馈方法，通过修复错误推理轨迹自动构建token/步骤级监督掩码，实现多模态推理中的过程级视觉对齐，实验显示在MMMStar和MathVista基准上平均提升3%。

$AutoDrive\text{-}P^3$: Unified Chain of Perception-Prediction-Planning Thought via Reinforcement Fine-Tuning

$AutoDrive\text{-}P^3$：通过强化微调实现感知-预测-规划统一链式推理

Yuqi Ye, Zijian Zhang, Junhong Lin, Shangkun Sun, Changhao Peng, Wei Gao

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出$AutoDrive\text{-}P^3$框架，通过结构化推理整合感知、预测和规划，引入$P^3\text{-}CoT$数据集和$P^3\text{-}GRPO$算法，实现端到端自动驾驶的高效决策与安全规划。

Comments Accepted at ICLR 2026 (International Conference on Learning Representations)

Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning

具有记忆增强的视觉-语言代理用于持久且语义一致的对象描述

Tommaso Galliena, Stefano Rosa, Tommaso Apicella, Pietro Morerio, Alessio Del Bue, Lorenzo Natale

机构 * Italian Institute of Technology, Genoa, Italy（意大利理工学院，热那亚，意大利） ； University of Genoa, Genoa, Italy（热那亚大学，热那亚，意大利） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出一种统一的记忆增强视觉-语言代理，通过单一自回归框架同时处理数据关联、对象描述和探索策略，提升持久且语义一致的对象描述能力。

Comments 24 pages, 7 figures, 7 tables (including Supplementary Materials)

PAVAS: Physics-Aware Video-to-Audio Synthesis

PAVAS：物理感知的视频到音频合成

Oh Hyun-Bin, Yuhta Takida, Toshimitsu Uesaka, Tae-Hyun Oh, Yuki Mitsufuji

机构 * POSTECH（浦项科技大学） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团公司） ； KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 PAVAS通过引入物理推理，结合物理参数估计器和物理驱动音频适配器，生成符合物理规律的音频，优于现有视频到音频生成模型。

ParaUni: Enhance Generation in Unified Multimodal Model with Reinforcement-driven Hierarchical Parallel Information Interaction

ParaUni: 通过强化驱动的分层并行信息交互增强统一多模态模型的生成

Jiangtong Tan, Lin Liu, Jie Huanng, Xiaopeng Zhang, Qi Tian, Feng Zhao

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部类脑智能感知与认知重点实验室） ； Huawei Inc.（华为技术有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 ParaUni通过并行提取多层视觉语言模型特征并结合强化学习动态调整机制，提升统一多模态模型的生成能力。

FusionAgent: A Multimodal Agent with Dynamic Model Selection for Human Recognition

FusionAgent：一种具有动态模型选择的多模态代理用于人体识别

Jie Zhu, Xiao Guo, Yiyang Su, Anil Jain, Xiaoming Liu

机构 * Michigan State University（密歇根州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 FusionAgent通过动态模型选择提升人体识别鲁棒性，利用多模态大语言模型进行样本特定的模型选择，结合ACT分数融合方法，实验表明其在效率和性能上优于现有方法。

Comments CVPR 2026

LVRPO: Language-Visual Alignment with GRPO for Multimodal Understanding and Generation

LVRPO：基于GRPO的语言-视觉对齐用于多模态理解和生成

Shentong Mo, Sukmin Yun

机构 * Department of Machine Learning, CMU, USA（卡内基梅隆大学机器学习系，美国） ； Department of Machine Learning, MBZUAI, UAE（穆罕默德·本·扎耶德人工智能大学机器学习系，阿联酋） ； Department of Artificial Intelligence, Hanyang University ERICA, South Korea（汉阳大学ERICA校区人工智能系，韩国） 纠错

专题命中 VLM训练与架构 ：visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出LVRPO框架，通过GRPO显式对齐语言和视觉表示，提升多模态理解和生成性能，无需辅助编码器或人工目标。

Unsafe2Safe: Controllable Image Anonymization for Downstream Utility

Unsafe2Safe: 可控图像匿名化以保障下游效用

Mih Dinh, SouYoung Jin

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 Unsafe2Safe通过多模态引导的扩散编辑实现图像隐私保护，减少敏感信息并保持下游任务性能。

Comments Accepted at CVPR 2026 and CVPR 2026 Workshop on Machine Unlearning for Computer Vision

BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models

BabyVLM-V2：迈向基于发展基础的视觉基础模型预训练与基准测试

Shengao Wang, Wenqi Wang, Zecheng Wang, Max Whitton, Michael Wakeham, Arjun Chandra, Joey Huang, Pengyue Zhu, Helen Chen, David Li, Jeffrey Li, Shawn Li, Andrew Zagula, Amy Zhao, Andrew Zhu, Sayaka Nakamura, Yuki Yamamoto, Jerry Jun Yokono, Aaron Mueller, Bryan A. Plummer, Kate Saenko, Venkatesh Saligrama, Boqing Gong

机构 * Boston University（波士顿大学） ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 BabyVLM-V2通过纵向多维预训练集、灵活模型和DevCV工具箱，提升婴儿启发式视觉语言模型性能，实验证明其在基准测试中表现优异。

Comments Accepted to CVPR 2026 main track

AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation

AutoCut：基于多模态离散化和可控生成的端到端广告视频编辑

Milton Zhou, Sizhong Qin, Yongzhi Li, Quan Chen, Peng Jiang

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出AutoCut框架，通过多模态离散化和可控生成实现广告视频编辑，提升一致性和可控性，降低生产成本和迭代时间。

Comments Accepted by CVPR 2026

Rényi Entropy: A New Token Pruning Metric for Vision Transformers

瑞尼熵：一种新的token剪枝度量标准用于视觉变换器

Wei-Yuan Su, Ruijie Zhang, Zheng Zhang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出基于瑞尼熵的无训练token重要性度量Col-Ln，用于改进视觉变换器中早期层的token剪枝，提升推理效率与准确性。

Data Organization Matters in Multimodal Instruction Tuning: A Controlled Study of Capability Trade-offs

多模态指令微调中数据组织的重要性：能力取舍的受控研究

Guowei Tang

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究探讨了数据组织对多模态指令微调中通用理解、结构化推理和细粒度OCR文档理解能力取舍的影响，发现课程训练在整体表现和结构推理上最佳，平衡采样更利于OCR能力但削弱整体平衡。

Comments 12 pages, 2 figures

OmniColor: A Unified Framework for Multi-modal Lineart Colorization

OmniColor: 一种多模态线稿上色的统一框架

Xulu Zhang, Haoqian Du, Xiaoyong Wei, Qing Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sichuan University（四川大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 OmniColor提出一种统一框架，通过空间对齐和语义参考信号分类，提升线稿上色的可控性、视觉质量和时间稳定性。

CLIP Is Shortsighted: Paying Attention Beyond the First Sentence

CLIP存在短视：超越第一句话的注意力分配

Marc-Antoine Lavoie, Anas Mahmoud, Aldo Zaimi, Arsene Fansi Tchango, Steven L. Waslander

机构 * University of Toronto Robotics Institute（多伦多大学机器人研究所） ； Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 CLIP模型在大规模数据上通过图像-文本对比学习获取可迁移的多模态特征，但其预训练过程偏向于短描述，导致复杂场景对齐不足。本文提出DeBias-CLIP，通过去除摘要句和子采样提升对齐效果，实现更优的长文本检索和鲁棒性。

Comments 20 pages, 15 figures, to be published in the CVPR 2026 proceedings

Is One-Shot In-Context Learning Helpful for Data Selection in Task-Specific Fine-Tuning of Multimodal LLMs?

在情境学习中选择数据是否有助于多模态大语言模型任务特定微调中的数据选择？

Xiao An, Jiaxing Sun, Ting Hu, Wei He

专题命中 VLM训练与架构 ：multimodal large language model(abstract)

AI总结 本文提出CLIPPER方法，通过情境学习选择数据，提高多模态大语言模型任务特定微调的效率，实验表明其在数据效率和计算成本上优于现有方法。

Comments Accepted by ICME 2026

Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification

层次化概念嵌入与追求用于可解释的图像分类

Nghia Nguyen, Tianjiao Ding, René Vidal

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出HCEP框架，通过在潜在空间中诱导概念嵌入的层次结构，利用层次稀疏编码恢复图像中的概念，提升分类可解释性与精度。

Comments To be published in Conference on Computer Vision and Pattern Recognition (CVPR) 2026