视觉大模型 / VLM

Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models

Robust-LLaVA：大规模鲁棒图像编码器对多模态大语言模型的有效性

Hashmat Shadab Malik, Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar, Fahad Khan, Salman Khan

机构 * Mohamed bin Zayed University of AI（Mohamed bin Zayed人工智能大学） ； Khalifa University（卡利法大学） ； Michigan State University（密歇根州立大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,title_cn)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出利用大规模对抗预训练的图像分类模型替代CLIP编码器，以增强多模态大语言模型对视觉对抗扰动的鲁棒性，在无需额外对抗训练的情况下，在视觉问答、图像描述和越狱攻击任务中取得显著鲁棒性提升。

Comments Accepted at Trustworthy FMs Workshop Trust Before Use: Building Foundation Models that You Can Trust (ICCVW) 2025

Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain

超越对称对齐：医学领域视觉-语言模型中模态不平衡的光谱诊断

Alessandro Gambetti, Qiwei Han, Cláudia Soares, Hong Shen

机构 * NOVA School of Science and Technology（诺瓦科学与技术学校） ； Nova School of Business and Economics（诺瓦商业与经济学校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出非对称光谱对齐分数（SAS），通过特征值加权的特征模态相关性量化模态信息不平衡，并在医学图像-文本数据集上评估15个VLM，发现医学图像比临床报告保留更丰富的结构信息，且SAS与检索性能的相关性最强。

Comments 10 pages, 3 figures, 9 tables

Geometry-Aware Distillation for Prompt Tuning Biomedical Vision-Language Models

几何感知蒸馏用于提示调优生物医学视觉-语言模型

Tran Dinh Tien, Zhiqiang Shen

机构 * Department of Machine Learning（机器学习系） ； Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出Omni-Geometry知识蒸馏（OGKD）框架，通过注入类别关系结构到教师模型，生成保留真实标签同时尊重类间几何的方向性目标，并设计全局几何感知蒸馏（GAD）和标签引导几何蒸馏（LGD）损失，在11个医学数据集上平均提升准确率1.7%-2.8%。

Comments Preprint. Code is available at https://github.com/tientrandinh/OGKD

Stateful Visual Encoders for Vision-Language Models

用于视觉-语言模型的有状态视觉编码器

Zirui Wang, Junwei Yu, Adam Yala, David M. Chan, Joseph E. Gonzalez, Trevor Darrell

机构 * University of California, Berkeley（加州大学伯克利分校） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出有状态视觉编码器，通过将每个视觉表示条件于先前的视觉特征，增强视觉-语言模型在多图像、多轮交互中的视觉变化感知能力，在跨图像空间聚合、多目标视觉差异和轨迹行为克隆等任务上取得一致改进。

Comments Project page: https://statefulvisualencoders.github.io/

Food-R1: A Unified Multi-Task Food Vision-Language Model with Reinforcement Learning

Food-R1: 一种基于强化学习的统一多任务食品视觉语言模型

Yu Zhu, Yongkang Li, Wenjie Zhu, Haoyi Jiang, Wenyu Liu, Wei Yang, Bin Li, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对现有食品视觉语言模型依赖监督微调导致推理和泛化能力受限以及营养标注稀缺的问题，提出包含链式思维标注的大规模基准CalorieBench-80K和基于强化微调（GRPO）的统一多任务食品视觉语言模型Food-R1，在食品相关任务上持续超越强基线。

EvoPrompt: Guided Prompt Evolution for Vision-Language Models Adaptation

EvoPrompt: 引导提示演化以适应视觉-语言模型

Enming Zhang, Jiayang Li, Yanlong Wang, Yanru Wu, Zhenyu Liu, Yang Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Sun Yat-sen University（中山大学） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出EvoPrompt框架，通过引导提示演化路径并解耦低秩更新为方向和幅度分量，实现视觉-语言模型在少样本学习中的遗忘-free微调，同时保持零样本能力。

T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation

T2AV-Compass：迈向文本到音频-视频生成的统一评估

Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang, Yuanxing Zhang, Jiahao Wang, Jialu Chen, Miao Deng, Yubin Guo, Chenxi Liao, Yize Zhang, Zhaoxiang Zhang, Jiaheng Liu

机构 * NJU-LINK Team, Nanjing University（南京大学NJU-LINK团队） ； Kling Team, Kuaishou Technology（快手技术 Kling 团队） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出T2AV-Compass基准，通过分类学驱动的500个复杂提示和双层次评估框架（客观信号指标+主观MLLM评判），系统评估文本到音频-视频生成模型，发现现有模型在跨模态对齐和指令遵循方面显著不足。

Comments 41 pages, 13 figures, 12 tables. Accepted at ICML 2026

BreastGPT: A Multimodal Large Language Model for the Full Spectrum of Breast Cancer Clinical Routine

BreastGPT: 面向乳腺癌临床全流程的多模态大语言模型

Yang Liu, Jiajin Zhang, Danyang Tu, Yaojun Hu, Jiao Qu, Jiuyu Zhang, Yu Shi, Wei Fang, Shi Gu, Ling Zhang, Yingda Xia

机构 * DAMO Academy, Alibaba Group（阿里巴巴集团 DAMO 院） ； Zhejiang University（浙江大学） ； Hupan Lab（华潘实验室） ； West China Hospital（西京医院） ； China Medical University（中国医科大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)；MLLM(abstract)；分类 cs.CV

AI总结 提出BreastGPT多模态大语言模型，通过构建工作流对齐的指令语料库BreastStage和双分支视觉编码器，实现乳腺癌筛查、诊断和治疗规划全流程的多模态推理，在BreastStage-Bench上取得75.66%封闭式准确率和89.92%开放式得分。

Geometry-Preserving Unsupervised Alignment for Heterogeneous Foundation Models

保持几何结构的异质基础模型无监督对齐

Shuwen Yu, Zhanxuan Hu, Yi Zhao, Yonghang Tai, Huafeng Li

机构 * Yunnan Normal University, Kunming, China（云南师范大学，昆明，中国） ； Kunming University of Science and Technology, Kunming, China（昆明理工大学，昆明，中国） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV

AI总结 提出GPUA框架，通过正交映射将视觉基础模型特征对齐到视觉语言模型语义空间，无需标签或参数更新，提升跨模型兼容性并在零样本识别与分割任务中取得显著增益。

Comments Accepted at ICML 2026

ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning

ProtoAda: 原型引导的自适应适配器扩展与几何整合用于多模态持续指令微调

Yu-Cheng Shi, Zhen-Hao Xie, Jun-Tao Tang, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出ProtoAda框架，通过格式感知任务原型和几何感知参数整合，解决多模态持续指令微调中任务路由错误和梯度干扰问题。

Towards Pretraining Text Encoders for TabPFN

面向TabPFN的文本编码器预训练

Mustafa Tajjar, Alexander Pfefferle, Lennart Purucker, Frank Hutter

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.LG

AI总结 提出TabPFN文本适配器，通过轻量级适配器将文本嵌入映射到TabPFN的嵌入空间，避免PCA瓶颈，保留TabPFN数值优势，训练效率更高。

UniCanvas: A Diffusion-base Unified Model for Text-in-Image Joint Generation

UniCanvas: 一种基于扩散的图文联合生成统一模型

Zeyuan Yang, Hao-Wei Chen, Xueyang Yu, Yuncong Yang, Haoyu Zhen, Ziqiao Ma, Maohao Shen, Chuang Gan

机构 * UMass Amherst（马萨诸塞大学阿默斯特分校） ； University of Michigan（密歇根大学） ； MIT（麻省理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出UniCanvas，通过扩散模型在像素画布上以文本嵌入图像的方式实现图文联合生成，解决现有模型在视觉与文本生成上的不足。

GGT-100K: Generative Ground Truth for Generalizable Real-World Image Restoration

GGT-100K：面向泛化真实世界图像恢复的生成式真实标签

Xiangtao Kong, Jixin Zhao, Lingchen Sun, Rongyuan Wu, Lei Zhang

机构 * VISUAL COMPUTING LAB POLYU（PolyU视觉计算实验室） ； The Hong Kong Polytechnic University（香港理工大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出利用生成式多模态基础模型从真实低质量图像合成高质量目标作为真实标签，构建包含10万对数据的GGT-100K数据集，显著提升多种图像恢复模型的真实世界泛化能力。

Hyper-ICL: Attention Calibration with Hyperbolic Anchor Distillation for Multimodal In-Context Learning

Hyper-ICL：基于双曲锚点蒸馏的注意力校准用于多模态上下文学习

Niloufar Alipour Talemi, Hossein Kashiani, Fatemeh Afghah

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出Hyper-ICL，一种轻量级训练框架，通过低秩logit适配器和双曲锚点蒸馏损失校准注意力分布，无需推理时提供上下文示例即可重建演示效果，提升多模态上下文学习的准确性和稳定性。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

TrajTok: Learning Trajectory Tokens enables better Video Understanding

TrajTok: 学习轨迹令牌以实现更好的视频理解

Chenhao Zheng, Jieyu Zhang, Jianing Zhang, Weikai Huang, Ashutosh Kumar, Quan Kong, Oncel Tuzel, Chun-Liang Li, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） ； Apple（苹果公司） ； Woven by Toyota, Inc（丰田纺织公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出TrajTok，一种端到端视频令牌化模块，通过隐式时空聚类生成对象轨迹令牌，提升视频理解效率与性能。

Comments CVPR 2026

Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

基于查询的跨模态投影器增强Mamba多模态大语言模型

SooHwan Eom, Jay Shim, Gwanhyeong Koo, Haebin Na, Mark A. Hasegawa-Johnson, Sungwoong Kim, Chang D. Yoo

机构 * Korea Advanced Institute of Science and Technology / Korea, Republic of（韩国科学技术院） ； University of Illinois in Urbana-Champaign / United States of America（伊利诺伊大学厄巴纳-香槟分校） ； Korea University / Korea, Republic of（韩国大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 提出基于查询的跨模态投影器，通过交叉注意力压缩视觉令牌，消除手动设计2D扫描顺序的需求，提升Mamba多模态LLM的性能和吞吐量。

Comments Accepted to EMNLP 2024 Findings