视觉大模型 / VLM

Probing Perceptual Constancy in Large Vision-Language Models

探测大型视觉-语言模型中的知觉恒常性

Haoran Sun, Bingyang Wang, Suyang Yu, Yijiang Li, Qingying Gao, Haiyun Lyu, Lianyu Huang, Zelong Hong, Jiahui Ge, Qianli Ma, Hang He, Yifan Zhou, Lingzi Guo, Lantao Mei, Maijunxian Wang, Dezhi Luo, Hokin Deng

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Emory University（埃默里大学） ； University of Washington（华盛顿大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Southern California（南加州大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） ； Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Michigan（密歇根大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了大型视觉-语言模型在颜色、大小和形状恒常性任务中的表现，发现模型在不同任务上的性能存在显著差异。

Comments Under Review

Adaptive Global and Fine-Grained Perceptual Fusion for MLLM Embeddings Compatible with Hard Negative Amplification

自适应全局与细粒度感知融合用于兼容硬负样本放大的人脸嵌入

Lexiang Hu, Youze Xue, Dian Li, Gang Liu, Zhouchen Lin

机构 * State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（人工智能国家重点实验室，智能科学与技术学院，北京大学） ； Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出AGFF-Embed方法，通过自适应融合全局和细粒度语义信息，提升多模态嵌入在一般和细粒度理解上的性能。

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

通过视觉标记修剪实现多模态大语言模型的快慢高效训练

Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.LG

AI总结 DualSpeed通过快慢双模式实现多模态大语言模型的高效训练，提升训练速度并保持性能

VLM-Guided Experience Replay

基于VLM的经验回放

Elad Sharony, Tom Jurgenson, Orr Krupnik, Dotan Di Castro, Shie Mannor

机构 * Nvidia Research（英伟达研究） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用VLMs指导经验回放，提升强化学习中样本效率和成功率。

Sparse Shortcuts: Facilitating Efficient Fusion in Multimodal Large Language Models

稀疏快捷键：促进多模态大语言模型中的高效融合

Jingrui Zhang, Feng Liang, Yong Zhang, Wei Wang, Runhao Zeng, Xiping Hu

机构 * Guangdong-Hong Kong-Macao Joint Laboratory for Emotion Intelligence and Pervasive Computing, Artificial Intelligence Research Institute, Shenzhen MSU-BIT University, Shenzhen（粤港澳大湾区情感智能与 pervasive 计算联合实验室，人工智能研究院，深圳MSU-BIT大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SparseCut通过稀疏快捷连接和多粒度特征融合模块，提升多模态大语言模型在跨模态融合中的效率和性能。

SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models

SocialFusion: 解决预训练视觉-语言模型中的社会退化问题

Hamza Tahboub, Weiyan Shi, Gang Hua, Huaizu Jiang

机构 * Northeastern University（东北大学） ； Amazon.com, Inc.（亚马逊公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 SocialFusion通过统一框架解决预训练视觉-语言模型中的社会退化问题，实现跨社会任务的正迁移并提升整体性能。

Comments 22 pages, 10 figures. Published in Transactions on Machine Learning Research (TMLR)

Journal ref Transactions on Machine Learning Research, 2026

LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

LLaVA-PruMerge: 适应性令牌减少用于高效的大多模态模型

Yuzhang Shang, Mu Cai, Bingxin Xu, Yong Jae Lee, Yan Yan

机构 * UCF（佛罗里达大学） ； UW-Madison（威斯康星大学麦迪逊分校） ； USC（南加州大学） ； UIC（伊利诺伊大学香槟分校） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 LLaVA-PruMerge通过自适应视觉令牌减少策略，显著降低视觉令牌数量而不影响性能，适用于高效的大多模态模型。

Comments Accepted to ICCV 2025. First Version is released in 2024/03

Visual-Guided Key-Token Regularization for Multimodal Large Language Model Unlearning

多模态大语言模型去敏中的视觉引导关键标记正则化

Chengyi Cai, Zesheng Ye, Peike Li, Bo Han, Jianzhong Qi, Feng Liu

机构 * The University of Melbourne（墨尔本大学） ； Google Research（谷歌研究） ； Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出视觉引导的关键标记正则化方法，用于多模态大语言模型的去敏，通过信息熵定义关键标记并利用梯度重新加权提升去敏效果，实验表明能有效减少遗忘并保持响应一致性。

ReVision: A Dataset and Baseline VLM for Privacy-Preserving Task-Oriented Visual Instruction Rewriting

ReVision：一个用于隐私保护任务导向视觉指令重写的数据集和基线VLM

Abhijit Mishra, Mingda Li, Hsiang Fu, Richard Noh, Minji Kim

机构 * School of Information（信息学院） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Department of Statistics and Data Science（统计与数据科学系） ； Yale University（耶鲁大学） ； School of Computing and Augmented Intelligence（计算与增强智能学院） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 ReVision提出一个数据集和基线VLM，通过将多模态指令转换为纯文本命令，实现轻量级设备端指令重写，提升隐私保护的多模态AI应用能力。

Comments In Proceedings of the IJCNLP-AACL 2025

Subspace Alignment for Vision-Language Model Test-time Adaptation

子空间对齐用于视觉-语言模型测试时适应

Zhichen Zeng, Wenxuan Bao, Xiao Lin, Ruizhong Qiu, Tianxin Wei, Xuying Ning, Yuchen Yan, Chen Luo, Monica Xiao Cheng, Jingrui He, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 SubTTA通过子空间对齐提升视觉-语言模型测试时适应性能，有效解决模态差距和视觉噪声问题。

Comments 17 pages, 10 figures

V-Agent: An Interactive Video Search System Using Vision-Language Models

V-Agent：一种利用视觉-语言模型的交互式视频搜索系统

SunYoung Park, Jong-Hyeon Lee, Youngjune Kim, Daegyu Sung, Younghyun Yu, Young-rok Cha, Jeongho Ju

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 V-Agent通过多智能体协作和视觉-语言模型提升视频搜索性能，实现多模态交互与零样本性能。

Comments CIKM 2025 MMGENSR Workshop

Rethinking Fine-Tuning: Unlocking Hidden Capabilities in Vision-Language Models

重新思考微调：解锁视觉-语言模型中的隐藏能力

Mingyuan Zhang, Yue Bai, Yifan Wang, Yiyang Huang, Yun Fu

机构 * College of Engineering, Northeastern University（东北大学工程学院） ； Khoury College of Computer Science, Northeastern University（东北大学计算机科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出基于MFT的结构重参数化方法，通过重新组织VLMs内部子网络实现高效微调，超越LoRA和全微调，无需改变骨干网络。

Hierarchy-Aware Fine-Tuning of Vision-Language Models

层级感知的视觉-语言模型微调

Jiayu Li, Rajesh Gangireddy, Samet Akcay, Wei Cheng, Juhua Hu

机构 * University of Washington（华盛顿大学） ； Intel（英特尔） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种高效的层级感知微调框架，通过结合树路径KL散度和层级兄弟平滑交叉熵，提升视觉-语言模型在结构化分类任务中的性能。

IPCV: Information-Preserving Compression for MLLM Visual Encoders

IPCV：信息保留的多模态大语言模型视觉编码器压缩

Yuan Chen, Zichen Wen, Yuzhou Wu, Xuyang Liu, Shuang Chen, Junpeng Ma, Weijia Li, Conghui He, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； CityU（城市大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Sheffield（谢菲尔德大学） ； SCU（上海科技大学） ； FDU（福建大学） ； SYSU（南方科技大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 IPCV通过邻居引导重建和注意力稳定化技术，实现无需训练的多模态大语言模型视觉编码器高效压缩，有效降低计算成本并提升性能。

Comments 13 pages, 6 figures

Enhancing Medical Large Vision-Language Models via Alignment Distillation

通过对齐蒸馏增强医学大视觉-语言模型

Aofei Chang, Ting Wang, Fenglong Ma

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MEDALIGN方法，通过蒸馏CLIP模型的知识提升医学大视觉-语言模型的视觉对齐和生成质量。

Comments Accepted to AAAI'2026 (Main track)

GTMA: Dynamic Representation Optimization for OOD Vision-Language Models

GTMA：面向视觉-语言模型的动态表示优化

Jensen Zhang, Ningyuan Liu, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 GTMA通过动态表示优化提升视觉-语言模型在分布外任务中的性能，有效解决模态不对称问题，提升零样本和少样本准确率15-20%。

Comments Under submission

Seeing is Believing (and Predicting): Context-Aware Multi-Human Behavior Prediction with Vision Language Models

看见即信仰（并预测）：基于视觉语言模型的上下文感知多人类行为预测

Utsav Panchal, Yuchen Liu, Luigi Palmieri, Ilche Georgievski, Marco Aiello

机构 * Institute of Architecture of Application Systems, University of Stuttgart, Germany（应用系统建筑研究所，斯图加特大学，德国） ； Bosch Research, Germany（博世研究，德国） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 CAMP-VLM通过结合视觉语言模型与上下文特征，提升了多人类行为预测的准确性，其在预测精度上比基线模型高66.9%。

Comments Accepted at IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

Reassessing the Role of Supervised Fine-Tuning: An Empirical Study in VLM Reasoning

重新评估监督微调的作用：VLM推理中的实证研究

Yongcan Yu, Lingxiao He, Shuo Lu, Lijun Sheng, Yinuo Xu, Yanbo Wang, Kuangpu Guo, Jianjie Cheng, Meng Wang, Qianlong Xie, Xingxing Wang, Dapeng Hu, Jian Liang

机构 * NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（人工智能研究院 & 模式识别与人工智能研究所，中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Meituan（美团） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究通过实证分析发现，监督微调在VLM推理中具有重要作用，挑战了强化学习优于监督微调的主流观点。

Language Integration in Fine-Tuning Multimodal Large Language Models for Image-Based Regression

基于图像回归的多模态大语言模型微调中的语言整合

Roy H. Jennings, Genady Paikin, Roy Shaul, Evgeny Soloveichik

机构 * Samsung Israel R&D Center（三星以色列研发中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出RvTC方法，通过灵活的区间法替代传统词汇受限分类，提升多模态大语言模型在图像回归任务中的性能。

Comments WACV 2026

Semore: VLM-guided Enhanced Semantic Motion Representations for Visual Reinforcement Learning

Semore：基于VLM的增强语义运动表示用于视觉强化学习

Wentao Wang, Chunyang Liu, Kehua Sheng, Bo Zhang, Yan Wang

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Semore通过结合VLM和CLIP实现高效的视觉强化学习，提升语义和运动表示的融合能力。

LLaVA-UHD v3: Progressive Visual Compression for Efficient Native-Resolution Encoding in MLLMs

LLaVA-UHD v3：渐进式视觉压缩用于多模态大语言模型中的高效原分辨率编码

Shichu Sun, Yichen Zhang, Haolin Song, Zonghao Guo, Chi Chen, Yidan Zhang, Yuan Yao, Zhiyuan Liu, Maosong Sun

机构 * Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航天信息研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 LLaVA-UHD v3通过渐进式视觉压缩方法，实现高效原分辨率编码，减少TTFT并提升多模态大语言模型性能。

KEPT: Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models

KEPT: 基于视觉-语言模型的连续驾驶帧轨迹预测增强方法

Yujin Wang, Tianyi Wang, Quanfeng Liu, Wenxian Fan, Junfeng Jiao, Christian Claudel, Yunbing Yan, Bingzhao Gao, Jianqiang Wang, Hong Chen

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 KEPT 通过知识增强的视觉-语言模型，利用时间频率-空间融合编码器和检索增强生成流水线，提升自动驾驶中轨迹预测的准确性和可靠性。

FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models

FlowCut: 通过信息流重新思考冗余性以提高视觉-语言模型的效率

Jintao Tong, Wenwei Jin, Pengda Qin, Anqi Li, Yixiong Zou, Yuhong Li, Yuhua Li, Ruixuan Li

机构 * School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； Xiaohongshu Inc.（小红书公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 FlowCut通过信息流视角改进视觉-语言模型的冗余识别，实现更高效的剪枝效果。

Comments Accepted by NeurIPS 2025

Trust in Vision-Language Models: Insights from a Participatory User Workshop

Agnese Chiatti, Lara Piccolo, Sara Bernardini, Matteo Matteucci, Viola Schiaffonati

机构 * University of Oxford, UK（牛津大学） ； CODE University of Applied Sciences, Germany（应用科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Journal ref Proceedings of the The European Workshop on Trustworthy AI (Trust-AI) at ECAI 2025

TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model

Ao Li, Yuxiang Duan, Jinghui Zhang, Congbo Ma, Yutong Xie, Gustavo Carneiro, Mohammad Yaqub, Hu Wang

机构 * Shandong University（山东大学） ； MBZUAI ； New York University Abu Dhabi（纽约大学阿布扎赫分校） ； University of Surrey（塞雷尔大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Zooming into Comics: Region-Aware RL Improves Fine-Grained Comic Understanding in Vision-Language Models

Yule Chen, Yufan Ren, Sabine Süsstrunk

机构 * School of Computer and Communication Sciences, EPFL（瑞士联邦理工学院计算机与通信科学学院） ； Department of Computer Science and Engineering, Chalmers University of Technology（楚科奇技术大学计算机科学与工程系） ； IVRL, EPFL（EPFL智能机器人实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Test-Time Warmup for Multimodal Large Language Models

Nikita Rajaneesh, Thomas Zollo, Richard Zemel

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

LiteVLM: A Low-Latency Vision-Language Model Inference Pipeline for Resource-Constrained Environments

Jin Huang, Yuchao Jin, Le An, Josh Park

机构 * NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI、cs.LG

SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models

Anushka Sivakumar, Andrew Zhang, Zaber Hakim, Chris Thomas

机构 * Department of Computer Science（计算机科学系） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Dynamic VLM-Guided Negative Prompting for Diffusion Models

Hoyeon Chang, Seungjin Kim, Yoonseok Choi

机构 * KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: The First Workshop on Generative and Protective AI for Content Creation