视觉大模型 / VLM

CheXmix: Unified Generative Pretraining for Vision Language Models in Medical Imaging

CheXmix：用于医学影像的统一生成预训练

Ashwin Kumar, Robbie Holland, Corey Barrett, Jangwon Kim, Maya Varma, Zhihong Chen, Yunhe Gao, Greg Zaharchuk, Tara Taghavi, Krishnaram Kenthapadi, Akshay Chaudhari

机构 * Stanford AIMI, Stanford University（斯坦福大学AIMI研究所，斯坦福大学） ； Oracle Health AI（Oracle健康AI） ； Department of Radiology, Stanford University（斯坦福大学放射科） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 CheXmix通过统一早融合生成方法，在医学影像中实现更精确的联合表征学习，优于现有生成模型，在多个任务上表现突出。

Comments CVPR Findings (2026)

PromptEcho: Annotation-Free Reward from Vision-Language Models for Text-to-Image Reinforcement Learning

PromptEcho：基于视觉语言模型的无标注奖励用于文本到图像强化学习

Jinlong Liu, Wanggui He, Peng Zhang, Mushui Liu, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 PromptEcho通过冻结的视觉语言模型计算token级交叉熵损失，无需标注或训练奖励模型，提升文本到图像模型的提示跟随能力，实验显示在多个基准上取得显著提升。

Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

回到牛棚与LLAMAs：在微调视觉语言模型中进化预训练LLM骨干

Sameera Horawalavithana, Lauren Phillips, Ian Stewart, Sai Munikoti, Karl Pazdernik

机构 * Pacific Northwest National Laboratory（太平洋西北国家实验室） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究探讨了在微调视觉语言模型时，不同预训练LLM骨干对下游任务性能的影响，发现新版本LLM并非总能提升性能，且表现依赖具体任务。

Comments Preprint and under review

Assessing Privacy Preservation and Utility in Online Vision-Language Models

评估在线视觉语言模型中的隐私保护与效用

Karmesh Siddharam Chaudhari, Youxiang Zhu, Amy Feng, Xiaohui Liang, Honggang Zhang

机构 * University of Massachusetts Boston（马萨诸塞大学波士顿分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了在线视觉语言模型中个人身份信息泄露问题，探讨了图像中上下文关系提取对隐私的影响，并提出保护隐私同时保持效用的方法。

Comments Accepted for publication in IEEE ICC 2026. \c{opyright} IEEE. Personal use of this material is permitted. The final version will appear in IEEE Xplore

Understanding Task Transfer in Vision-Language Models

理解视觉-语言模型中的任务迁移

Bhuvan Sachdeva, Karan Uppal, Abhinav Java, Vineeth N. Balasubramanian

机构 * Microsoft Research India（微软研究院印度） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文研究视觉-语言模型中任务迁移的系统性影响，提出PGF指标衡量任务迁移对性能的影响，揭示任务间的正负迁移关系，指导更高效的模型训练。

Comments CVPR 2026 (Oral)

Are Large Vision-Language Models Ready to Guide Blind and Low-Vision Individuals?

大视觉-语言模型是否准备好指导盲人和低视力者？

Eunki Kim, Na Min An, Wan Ju Kang, Sangryul Kim, James Thorne, Hyunjung Shim

机构 * SKT ； KAIST AI（韩国科学技术院人工智能） ； NAVER ； Theia Insights 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出统一框架，通过用户研究和定制数据集，开发出更高效的评估器，提升大视觉-语言模型在盲人和低视力用户导航中的应用性能。

Comments 42 pages, 14 figures, 28 tables

On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models

关于令牌的困境：具有漂移感知令牌分配的动态MoE用于大视觉语言模型的持续学习

Chongyang Zhao, Mingsong Li, Haodong Lu, Dong Gong

机构 * University of New South Wales (UNSW Sydney)（新南威尔士大学（悉尼新南威尔士大学）） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；LLaVA(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLaVA-DyMoE框架，通过动态MoE和漂移感知令牌分配缓解持续学习中的路由漂移问题，提升模型在持续学习中的性能。

Comments Accepted at CVPR 2026

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

从探索到利用：一种两阶段熵RLVR方法用于噪声容忍的多模态大语言模型训练

Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

机构 * Independent Researcher（独立研究者） ； The Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong（香港城市大学） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出一种两阶段熵优化方法，通过探索阶段提升输出多样性，利用阶段提高预测准确性，增强噪声容忍能力，实验证明在不同模型和任务中均优于现有方法。

A Step Toward Federated Pretraining of Multimodal Large Language Models

迈向多模态大语言模型联邦预训练的一小步

Baochen Xiong, Yifan Xu, Xiaoshan Yang, Yaguang Song, Yaowei Wang, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室） ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Fed-MA任务，通过冻结视觉编码器和LLM，协同训练跨模态投影器，解决参数干扰和梯度震荡问题，提出Fed-CMP框架在联邦预训练中取得显著优势。

Shape and Substance: Dual-Layer Side-Channel Attacks on Local Vision-Language Models

形状与物质：针对本地视觉-语言模型的双层侧信道攻击

Eyal Hadad, Mordechai Guri

机构 * Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对本地视觉-语言模型的动态高分辨率预处理引入的算法侧信道，提出双层攻击框架，通过执行时间差异和缓存竞争分析，揭示隐私敏感内容的推理能力。

Comments 13 pages, 8 figures

SSAM: Singular Subspace Alignment for Merging Multimodal Large Language Models

SSAM：奇异子空间对齐用于融合多模态大语言模型

Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, M. Salman Asif

机构 * University of California Riverside（加州大学河滨分校） ； Amazon（亚马逊） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 SSAM通过参数空间对齐融合多模态大语言模型，无需训练数据实现跨模态统一，提升性能并降低资源消耗。

Comments 25 Pages, 9 Figures, 5 Tables

DesCLIP: Robust Continual Learning via General Attribute Descriptions for VLM-Based Visual Recognition

DesCLIP：通过通用属性描述实现基于视觉语言模型的鲁棒持续学习

Chiyuan He, Zihuan Qiu, Fanman Meng, Linfeng Xu, Qingbo Wu, Hongliang Li

机构 * School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DesCLIP，通过通用属性描述引导视觉语言模型理解特定类别对象，建立视觉-通用属性-类别三元关联，提升持续学习效果。

Comments IEEE Transactions on Multimedia 2026

FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning

FastMMoE：通过动态专家激活和路由感知的标记剪枝加速多模态大语言模型

Guoyang Xia, Yifeng Ding, Fengfa Li, Lei Ren, Wei Chen, Fangxiang Feng, Xiaojie Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Li Auto（利亚自动化） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出FastMMoE，一种无需训练的加速框架，通过动态专家激活和路由感知标记剪枝，显著降低计算量并保持性能，优于现有基线方法。

Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients

细粒度后训练量化用于大型视觉语言模型的量化感知集成梯度

Ziwei Xiang, Fanhu Zeng, Hongjian Fang, Rui-Qi Wang, Renxing Chen, Yanan Zhu, Yi Chen, Peipei Yang, Xu-Yao Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，中国科学院自动化所） ； School of Artificial Intelligence, UCAS（人工智能学院，中国科学院大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学研究中心） ； Institute of Artificial Intelligence, USTB（信息科学技术大学人工智能学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出细粒度后训练量化方法，通过量化感知集成梯度评估token敏感性，提升大型视觉语言模型的精度与效率。

Comments Accepted by CVPR 2026 Main Conference

Empirical Recipes for Efficient and Compact Vision-Language Models

高效紧凑视觉-语言模型的实证配方

Jiabo Huang, Zhizhong Li, Sina Sajadmanesh, Weiming Zhuang, Lingjuan Lyu

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过实证分析识别了紧凑视觉-语言模型的瓶颈，提出优化配方显著降低延迟并保持精度，同时引入ArgusVLM模型家族在多种基准上表现优异。

VL-RouterBench: A Benchmark for Vision-Language Model Routing

VL-RouterBench：一种用于视觉-语言模型路由的基准测试

Zhehao Huang, Baijiong Lin, Jingyuan Zhang, Jingying Wang, Yuhang Liu, Ning Lu, Tao Li, Xiaolin Huang

机构 * Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（1 图像处理与模式识别研究所，上海交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（2 香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（3 香港科学与技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VL-RouterBench，用于系统评估视觉-语言模型路由系统的能力，通过构建质量与成本矩阵，评估10种路由方法并发现显著的路由改进空间，揭示了路由架构改进的潜力。

Comments CVPR 2026 Accepted

IOSVLM: A 3D Vision-Language Model for Unified Dental Diagnosis from Intraoral Scans

IOSVLM：一种用于从牙科内窥扫描进行统一牙科诊断的3D视觉-语言模型

Huimin Xiong, Zijie Meng, Tianxiang Hu, Chenyi Zhou, Yang Feng, Zuozhu Liu

机构 * ZJU-UIUC Institute, Zhejiang University, Haining, 314400, China（浙大浙ICU研究所，浙江大学，海宁，314400，中国） ； Stomatology Hospital, School of Stomatology, Zhejiang University School of Medicine, Hangzhou, 310058, China（口腔医院，口腔医学院，浙江大学医学院，杭州，310058，中国） ； Angelalign Research Institute, Angel Align Inc., Shanghai, 200011, China（天使对齐研究院，天使对齐公司，上海，200011，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出IOSVLM，一种端到端的3D视觉-语言模型，利用点云表示内窥扫描，并结合大规模多源数据集，提升牙科诊断和生成式视觉问答的性能。

High-Fidelity Text-to-Image Generation from Pre-Trained Vision-Language Models via Distribution-Conditioned Diffusion Decoding

通过分布条件扩散解码从预训练视觉-语言模型生成高保真的文本到图像

Ji Woo Hong, Hee Suk Yoon, Gwanhyeong Koo, Eunseop Yoon, SooHwan Eom, Qi Dai, Chong Luo, Chang D. Yoo

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； Microsoft Research Asia (MSRA)（微软亚洲研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出一种基于扩散解码的框架，通过训练仅需扩散解码器即可提升图像保真度，利用分布加权代码向量增强视觉质量，仅需ImageNet-1K短训练即可改进VQ-VAE重建和文本到图像生成。

GraphVLM: Benchmarking Vision Language Models for Multimodal Graph Learning

GraphVLM：多模态图学习的视觉语言模型基准测试

Jiajin Liu, Dongzhe Fan, Chuanhao Ji, Daochen Zha, Qiaoyu Tan

机构 * NYU Shanghai（纽约大学上海分校） ； New York University（纽约大学） ； Rice University（休斯顿大学） ； East China Normal University（华东师范大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 GraphVLM通过三种范式评估视觉语言模型在多模态图学习中的能力，发现VLM-as-Predictor在性能上表现最佳，展示了其在多模态图学习中的潜力。

Comments CVPR 2026

DriveCritic: Towards Context-Aware, Human-Aligned Evaluation for Autonomous Driving with Vision-Language Models

DriveCritic: 向基于情境的、与人类对齐的自动驾驶评估迈进：基于视觉-语言模型

Jingyu Song, Zhenxin Li, Shiyi Lan, Xinglong Sun, Nadine Chang, Maying Shen, Joshua Chen, Katherine A. Skinner, Jose M. Alvarez

机构 * University of Michigan（密歇根大学） ； NVIDIA（英伟达） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 DriveCritic通过结合视觉-语言模型和情境意识，提升自动驾驶系统评估的准确性与人类对齐性。

Comments Accepted at ICRA 2026; 8 pages, 3 figures

UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model

UniWeTok: 一种具有 $2^{128}$ 大小代码本的统一二进制分词器用于统一多模态大语言模型

Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 UniWeTok通过大规模二进制代码本和改进的训练框架，实现统一多模态大语言模型的高效视觉表示。

Comments 29 pages, 9 figures, 33 tables

WebAccessVL: Violation-Aware VLM for Web Accessibility

WebAccessVL: 为网页可访问性而设计的违反意识VLM

Amber Yijia Zheng, Jae Joong Lee, Bedrich Benes, Raymond A. Yeh

机构 * Department of Computer Science, Purdue University（普渡大学计算机科学系） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 WebAccessVL通过基于违规的VLM自动修正网页HTML，显著减少可访问性违规，提升网页可访问性与视觉一致性。

VLMQ: Token Saliency-Driven Post-Training Quantization for Vision-language Models

VLMQ：基于令牌显著性的后训练量化用于视觉-语言模型

Yufei Xue, Yushi Huang, Jiawei Shao, Lunjie Zhu, Chi Zhang, Xuelong Li, Jun Zhang

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 VLMQ通过显著性驱动的后训练量化方法，针对视觉-语言模型的激活特性优化量化过程，实现低比特下的高性能压缩。

Index-Preserving Lightweight Token Pruning for Efficient Document Understanding in Vision-Language Models

保持索引的轻量级标记修剪用于视觉-语言模型中的高效文档理解

Jaemin Son, Sujin Choi, Inyong Yun

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种轻量级标记修剪方法，通过过滤非信息性背景区域来降低视觉-语言模型在文档理解任务中的计算成本，同时保持较高的准确性。

Comments Accepted to ICLR 2026 Workshop MM Intelligence

VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm

VLM-Pruner: 为高效VLM离心令牌剪枝范式中的空间稀疏性引入缓冲

Zhenkai Wu, Xiaowen Ma, Zhenliang Ni, Dengming Zhang, Han Shu, Xin Jiang, Xinghao Chen

机构 * Zhejiang University（浙江大学） ； Huawei Technologies（华为技术） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 VLM-Pruner通过平衡冗余与空间稀疏性，提升VLMs的效率和性能。

Comments Accepted by CVPR2026

NoLan: Mitigating Object Hallucinations in Large Vision-Language Models via Dynamic Suppression of Language Priors

NoLan: 通过动态抑制语言先验来缓解大视觉-语言模型中的对象幻觉

Lingfeng Ren, Weihao Yu, Runpeng Yu, Xinchao Wang

机构 * National University of Singapore, Singapore（新加坡国立大学） ； Peking University Shenzhen Graduate School, China（北京大学深圳研究生院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 NoLan通过动态抑制语言先验缓解大视觉-语言模型中的对象幻觉问题，有效提升模型准确性。

Comments Code: https://github.com/lingfengren/NoLan

BEAT: Visual Backdoor Attacks on VLM-based Embodied Agents via Contrastive Trigger Learning

BEAT：通过对比触发学习对基于VLM的具身代理进行视觉后门攻击

Qiusi Zhan, Hyeonjeong Ha, Rui Yang, Sirui Xu, Hanyang Chen, Liang-Yan Gui, Yu-Xiong Wang, Huan Zhang, Heng Ji, Daniel Kang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 BEAT通过对比触发学习在基于VLM的具身代理中实现视觉后门攻击，提升后门激活精度至39%。

Comments ICLR 2026. Project Page: https://zqs1943.github.io/BEAT/

Vision Token Reduction via Attention-Driven Self-Compression for Efficient Multimodal Large Language Models

通过注意力驱动的自我压缩进行视觉标记减少以提高高效多模态大语言模型的效率

Omer Faruk Deniz, Ruiyu Mao, Ruochen Li, Yapeng Tian, Latifur Khan

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 通过注意力驱动的自我压缩方法，有效减少多模态大语言模型中的视觉标记，提升计算效率并保持模型性能。

Comments 2025 IEEE International Conference on Big Data (BigData)

Bridging the Modality Gap in Roadside LiDAR: A Training-Free Vision-Language Model Framework for Vehicle Classification

弥合道路激光雷达的模态差距：一种无需训练的视觉-语言模型框架用于车辆分类

Yiqiao Li, Bo Shang, Jie Wei

机构 * Department of Civil Engineering, City College of New York（城市学院土木工程系） ； Department of Computer Science, City College of New York（城市学院计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出一种无需训练的视觉-语言模型框架，用于解决道路激光雷达中稀疏点云与密集图像之间的模态差距问题，实现细粒度车辆分类。

Comments 12 pages, 10 figures, 4 tables

VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval

VidVec：解锁视频MLLM嵌入用于视频-文本检索

Issar Tzachor, Dvir Samuel, Rami Ben-Ari

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 VidVec通过利用预训练MLLM的中间层嵌入和校准头部，实现无需训练的视频-文本检索，超越现有方法，达到最佳性能。

Comments Project page: https://iyttor.github.io/VidVec/