视觉大模型 / VLM

Venus: An Efficient Edge Memory-and-Retrieval System for VLM-based Online Video Understanding

Venus: 一种高效的边缘内存与检索系统用于基于VLM的在线视频理解

Shengyuan Ye, Bei Ouyang, Tianyi Qian, Liekang Zeng, Mu Yuan, Xiaowen Chu, Weijie Hong, Xu Chen

机构 * School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou, China（计算机科学与工程学院，中山大学，广州，中国） ； Department of Information Engineering, The Chinese University of Hong Kong, Hong Kong SAR, China（信息工程系，香港中文大学，香港特别行政区，中国） ； Shenzhen Smart City Communications Co., Ltd., China（深圳智慧城市通信有限公司，中国） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.AI

AI总结 Venus提出了一种高效的边缘内存与检索系统，通过边缘-云解耦架构实现快速的在线视频理解，显著降低系统开销并提升响应速度。

Comments Accepted by IEEE International Conference on Computer Communications 2026

ELMM: Efficient Lightweight Multimodal Large Language Models for Multimodal Knowledge Graph Completion

ELMM: 为多模态知识图谱补全设计的高效轻量多模态大语言模型

Wei Huang, Peining Li, Meiyu Liang, Xu Hou, Junping Du, Yingxia Shao, Guanhua Ye, Wu Liu, Kangkang Lu, Yang Yu

机构 * School of Computer Science, Beijing University of Posts and Telecommunications（计算机学院，北京邮电大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 ELMM通过多视图视觉标记压缩和注意力修剪策略，高效解决多模态知识图谱补全中的模态冲突和计算成本问题，实现最先进的性能。

Comments 14 pages, 5 figures

Semantic Anchor Transport: Robust Test-Time Adaptation for Vision-Language Models

语义锚点传输：面向视觉-语言模型的鲁棒性测试时间适应

Shambhavi Mishra, Julio Silva-Rodriguez, Ismail Ben Ayed, Marco Pedersoli, Jose Dolz

机构 * LIVIA, ÉTS Montréal, Canada（LIVIA，蒙特利尔ÉTS，加拿大） ； International Laboratory on Learning Systems (ILLS), McGILL - ETS - MILA - CNRS - Université Paris-Saclay - CentraleSupélec, Canada（学习系统国际实验室（ILLS），麦吉尔大学-ÉTS-MILA-CNRS-巴黎-萨克雷大学-中央超导大学，加拿大） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 语义锚点传输通过生成伪标签和多模板蒸馏方法，提升视觉-语言模型在分布偏移下的鲁棒性与计算效率。

Comments Added additional figures to communicate the algorithm

DAVE: A VLM Vision Encoder for Document Understanding and Web Agents

DAVE: 一种用于文档理解与网络代理的视觉编码器

Brandon Huang, Hang Hua, Zhuoran Yu, Trevor Darrell, Rogerio Feris, Roei Herzig

机构 * MIT-IBM Watson AI Lab（MIT-IBM Watson AI实验室） ； UC Berkeley（加州大学伯克利分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 DAVE是一种专为文档理解和网络代理设计的视觉编码器，通过自监督和监督预训练结合模型融合策略，提升对文档和网络任务的适应性与性能。

Towards Comprehensive Interactive Change Understanding in Remote Sensing: A Large-scale Dataset and Dual-granularity Enhanced VLM

迈向遥感中全面交互变化理解：一个大规模数据集和双粒度增强VLM

Junxiao Xue, Quan Deng, Xuecheng Wu, Kelu Yao, Xinyi Yin, Fei Yu, Wei Zhou, Yanfei Zhong, Yang Liu, Dingkang Yang

机构 * Research Center for Space Computing System, Zhejiang Lab（浙江省实验室空间计算系统研究中心） ； Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； School of Cyber Science and Engineering, Zhengzhou University（郑州大学网络科学与工程学院） ； Liaoning University of Technology（辽宁科技学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS), Wuhan University（武汉测绘遥感与信息工程国家重点实验室（LIESMARS）） ； College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出ChangeIMTI数据集和ChangeVG模型，通过双粒度增强方法提升遥感图像变化理解的准确性和交互性。

Comments Junxiao Xue, Quan Deng, and Xuecheng Wu deserve equal contributions

Instruction-Following Evaluation of Large Vision-Language Models

大视觉-语言模型的指令遵循评估

Daiki Shiono, Shumpei Miyawaki, Ryota Tanaka, Jun Suzuki

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究评估了大视觉-语言模型在微调后的指令遵循能力，发现其能力下降并分析了原因，提出通过包含输出格式指示的训练数据集可缓解此问题。

Comments 21 pages, 7 figures

Training-free Conditional Image Embedding Framework Leveraging Large Vision Language Models

无需训练的条件图像嵌入框架利用大型视觉语言模型

Masayuki Kawarada, Kosuke Yamada, Antonio Tejero-de-Pablos, Naoto Inoue

机构 * CyberAgent, Japan（日本CyberAgent公司） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出DIOR，一种无需训练的条件图像嵌入方法，利用大型视觉语言模型生成条件图像嵌入，有效提升图像条件相似性任务的性能。

Input-Adaptive Visual Preprocessing for Efficient Fast Vision-Language Model Inference

面向高效视觉语言模型推理的输入自适应视觉预处理

Putu Indah Githa Cahyani, Komang David Dananjaya Suartana, Novanto Yudistira

机构 * Faculty of Computer Science, University of Brawijaya（计算机科学学院，布拉维亚大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究提出一种自适应视觉预处理方法，通过动态调整输入分辨率和空间覆盖，显著提升视觉语言模型的推理效率。

Adaptive-VoCo: Complexity-Aware Visual Token Compression for Vision-Language Models

Adaptive-VoCo: 用于视觉-语言模型的复杂度感知视觉标记压缩

Xiaoyang Guo, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 Adaptive-VoCo通过动态压缩视觉标记提升视觉-语言模型的效率与鲁棒性

Comments Under submission

VIVA: VLM-Guided Instruction-Based Video Editing with Reward Optimization

VIVA: 基于VLM的指令式视频编辑与奖励优化

Xiaoyan Cong, Haotian Yang, Angtian Wang, Yizhi Wang, Yiding Yang, Canyu Zhang, Chongyang Ma

机构 * Brown University（布朗大学） ； Intelligent Creation, ByteDance（字节跳动智能创作） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；分类 cs.CV

AI总结 VIVA通过VLM引导编码和奖励优化，实现更高效、高质量的指令式视频编辑，提升对复杂指令的泛化能力。

PerTouch: VLM-Driven Agent for Personalized and Semantic Image Retouching

PerTouch：基于VLM的个性化和语义图像润色代理

Zewei Chang, Zheng-Peng Duan, Jianxing Zhang, Chun-Le Guo, Siyu Liu, Hyungju Chun, Hyunhee Park, Zikun Liu, Chongyi Li

专题命中 VLM训练与架构 ：VLM(title,abstract)；分类 cs.CV

AI总结 PerTouch通过VLM驱动代理实现个性化和语义图像润色，结合语义替换与参数扰动机制，提升用户意图匹配与长期偏好捕捉能力。

Comments To appear at AAAI 2026

Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation

自奖励的大型视觉-语言模型用于优化文本到图像生成中的提示

Hongji Yang, Yucheng Zhou, Wencheng Han, Jianbing Shen

机构 * University of Macau（澳门大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV

AI总结 本文提出了一种自奖励的大型视觉-语言模型框架，用于优化文本到图像生成中的提示，通过统一求解器和奖励模型实现自我改进，实验表明其优于其他方法。

Comments Accepted by ACL2025 Findings

VEGAS: Mitigating Hallucinations in Large Vision-Language Models via Vision-Encoder Attention Guided Adaptive Steering

VEGAS: 通过视觉编码器注意力引导的自适应转向来缓解大视觉-语言模型中的幻觉

Zihu Wang, Boxun Xu, Yuxuan Xia, Peng Li

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 VEGAS通过整合视觉编码器注意力图并自适应引导标记，有效缓解大视觉-语言模型中的幻觉问题。

Multilingual VLM Training: Adapting an English-Trained VLM to French

多语言视觉语言模型训练：将英语训练的VLM适应到法语

Jules Lahmi, Alexis Roger

机构 * Ecole Polytechnique（巴黎政治学院） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；分类 cs.AI

AI总结 本文研究了将英语训练的视觉语言模型适应到法语等其他语言的挑战，通过比较不同方法的性能和计算成本，发现数据翻译是多语言VLM性能的主要瓶颈。

uCLIP: Parameter-Efficient Multilingual Extension of Vision-Language Models with Unpaired Data

uCLIP: 无配对数据下多语言视觉语言模型的参数高效扩展

Dahyun Chung, Donghyun Shin, Yujin Sung, Seunggi Moon, Jinwoo Jeon, Byung-Jun Lee

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 uCLIP通过无需配对数据的轻量级框架，在低资源语言中实现高效多语言视觉语言对齐。

Comments Our project page can be found at https://dinyudin203.github.io/uCLIP-project/

UARE: A Unified Vision-Language Model for Image Quality Assessment, Restoration, and Enhancement

UARE：面向图像质量评估、修复和增强的统一视觉-语言模型

Weiqi Li, Xuanyu Zhang, Bin Chen, Jingfen Xie, Yan Wang, Kexin Zhang, Junlin Li, Li Zhang, Jian Zhang, Shijie Zhao

机构 * School of Electronic and Computer Engineering, Peking University, 2 ByteDance Inc（1 电子与计算机工程学院，北京大学，2 字节跳动公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 UARE是首个统一视觉-语言模型，通过统一训练框架提升图像质量评估、修复和增强性能。

EVE: Towards End-to-End Video Subtitle Extraction with Vision-Language Models

EVE：基于视觉-语言模型的端到端视频字幕提取

Haiyang Yu, Mengyang Zhao, Jinghui Lu, Ke Niu, Yanjie Wang, Weijie Yin, Weitao Jia, Teng Fu, Yang Liu, Jun Liu, Hong Chen

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； ByteDance Inc.（字节跳动公司） ； College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； School of Computing and Communications, Lancaster University（兰卡斯特大学计算机与通讯学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 EVE提出了一种基于视觉-语言模型的端到端视频字幕提取框架，通过双分支模块高效提取字幕及时间戳，并构建了首个大规模视频字幕数据集。

SPARK: Sim-ready Part-level Articulated Reconstruction with VLM Knowledge

SPARK: 面向模拟的关节化重建与VLK知识

Yumeng He, Ying Jiang, Jiayin Lu, Yin Yang, Chenfanfu Jiang

专题命中 VLM训练与架构 ：VLM(title,abstract)；分类 cs.CV

AI总结 SPARK通过结合VLK和生成扩散模型，实现从单张图像中生成物理一致的关节化3D物体，提升机器人操作和交互建模的应用效果。

Comments Project page: https://heyumeng.com/SPARK/index.html. 17 pages, 7 figures

EM-KD: Distilling Efficient Multimodal Large Language Model with Unbalanced Vision Tokens

EM-KD: 通过不平衡视觉标记的知识蒸馏提升高效多模态大语言模型

Ze Feng, Sen Yang, Boqiang Duan, Wankou Yang, Jingdong Wang

机构 * Baidu VIS（百度视觉） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 EM-KD通过改进的知识蒸馏方法，有效提升高效多模态大语言模型的视觉理解和效率。

Comments accepted by AAAI 2026

Bootstrapping Physics-Grounded Video Generation through VLM-Guided Iterative Self-Refinement

通过VLM引导的迭代自优化提升物理导向的视频生成

Yang Liu, Xilin Zhao, Peisong Wen, Siran Dai, Qingming Huang

机构 * School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种通过VLM引导的迭代自优化方法，提升视频生成的物理一致性，实验显示在PhyIQ基准上得分提升明显。

Comments ICCV 2025 Physics-IQ Challenge Third Place Solution

AutoFocus-IL: VLM-based Saliency Maps for Data-Efficient Visual Imitation Learning without Extra Human Annotations

AutoFocus-IL：基于视觉语言模型的数据高效视觉模仿学习中的显著性图

Litian Gong, Fatemeh Bahrani, Yutai Zhou, Amin Banayeeanzade, Jiachen Li, Erdem Bıyık

机构 * Department of Electrical and Computer Engineering, University of California, Riverside, USA（电气与计算机工程系，加州大学河滨分校） ； Thomas Lord Department of Computer Science, University of Southern California, USA（汤姆斯·劳德计算机科学系，南加州大学） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 AutoFocus-IL通过视觉语言模型自动生成显著性图，提升视觉模仿学习的数据效率和泛化能力，无需额外人类标注。

Comments 8 pages, 6 figures. Code and datasets available at http://autofocus-il.github.io/

LAST: LeArning to Think in Space and Time for Generalist Vision-Language Models

LAST: 为通用视觉-语言模型学习在空间和时间中的思考

Shuai Wang, Daoan Zhang, Tianyi Bai, Shitong Shao, Jiebo Luo, Jiaheng Wei

机构 * HKUST(GZ)（香港科技大学（广州）） ； University of Rochester（罗切斯特大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 LAST通过学习在空间和时间上思考，提升通用视觉-语言模型对3D空间和长视频的理解能力。

Test-Time Temporal Sampling for Efficient MLLM Video Understanding

测试时时间采样用于高效多模态大语言模型视频理解

Kaibin Wang, Mingbao Lin

机构 * SenseTime, China（深睿时代，中国） ； Rakuten, Singapore（拉结恩，新加坡） 纠错

专题命中 VLM训练与架构 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 T3S通过测试时时间采样提高多模态大语言模型处理长视频的效率和准确性。

VLM-Augmented Degradation Modeling for Image Restoration Under Adverse Weather Conditions

增强型退化建模用于恶劣天气下的图像修复

Qianyi Shao, Yuanfan Zhang, Renxiang Xiao, Liang Hu

专题命中 VLM训练与架构 ：VLM(title,abstract)；分类 cs.CV

AI总结 本文提出了一种结合视觉-语言模型和隐式记忆库的统一模型，用于在恶劣天气下高效恢复图像，提升了修复精度和计算效率。

Journal ref Proc. 2025 30th International Conference on Automation and Computing (ICAC), pp. 1-6, 2025

CARScenes: Semantic VLM Dataset for Safe Autonomous Driving

Yuankai He, Weisong Shi

机构 * st Yuankai He（第一作者） ； nd Weisong Shi（第二作者） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

Comments 8 pages, 6 figures, 7 tables

RedVTP: Training-Free Acceleration of Diffusion Vision-Language Models Inference via Masked Token-Guided Visual Token Pruning

Jingqi Xu, Jingxi Lu, Chenghao Li, Sreetama Sarkar, Souvik Kundu, Peter A. Beerel

机构 * University of Southern California（南加州大学） ； Intel Labs（英特尔实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

SpaceVLM: Sub-Space Modeling of Negation in Vision-Language Models

Sepehr Kazemi Ranjbar, Kumail Alhamoud, Marzyeh Ghassemi

机构 * MIT（麻省理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

Glo-VLMs: Leveraging Vision-Language Models for Fine-Grained Diseased Glomerulus Classification

Zhenhao Guo, Rachit Saluja, Tianyuan Yao, Quan Liu, Yuankai Huo, Benjamin Liechty, David J. Pisapia, Kenji Ikemura, Mert R. Sabuncu, Yihe Yang, Ruining Deng

机构 * New York University（纽约大学） ； Cornell Tech（康奈尔科技） ； Vanderbilt University（范德比尔特大学） ； Weill Cornell Medicine（韦尔医学院） ； Northwell Health（北well健康） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

Journal ref Proceedings of SPIE Medical Imaging 2026

From Classification to Cross-Modal Understanding: Leveraging Vision-Language Models for Fine-Grained Renal Pathology

Zhenhao Guo, Rachit Saluja, Tianyuan Yao, Quan Liu, Junchao Zhu, Haibo Wang, Daniel Reisenbüchler, Yuankai Huo, Benjamin Liechty, David J. Pisapia, Kenji Ikemura, Steven Salvatoree, Surya Seshane, Mert R. Sabuncu, Yihe Yang, Ruining Deng

机构 * New York University（纽约大学） ； Cornell Tech（康奈尔科技） ； Vanderbilt University（范德比大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Regensburg（莱茵河畔大学） ； Weill Cornell Medicine（韦尔·科恩医学中心） ； Northwell Health（北well健康） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

MTAttack: Multi-Target Backdoor Attacks against Large Vision-Language Models

Zihan Wang, Guansong Pang, Wenjun Miao, Jin Zheng, Xiao Bai

专题命中 VLM训练与架构 ：vision-language model(title)；visual language model(abstract)；分类 cs.CV

Comments AAAI2026, with supplementary material