视觉大模型 / VLM

T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation

T2AV-Compass：迈向文本到音频-视频生成的统一评估

Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang, Yuanxing Zhang, Jiahao Wang, Jialu Chen, Miao Deng, Yubin Guo, Chenxi Liao, Yize Zhang, Zhaoxiang Zhang, Jiaheng Liu

机构 * NJU-LINK Team, Nanjing University（南京大学NJU-LINK团队） ； Kling Team, Kuaishou Technology（快手技术 Kling 团队） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出T2AV-Compass基准，通过分类学驱动的500个复杂提示和双层次评估框架（客观信号指标+主观MLLM评判），系统评估文本到音频-视频生成模型，发现现有模型在跨模态对齐和指令遵循方面显著不足。

Comments 41 pages, 13 figures, 12 tables. Accepted at ICML 2026

LoMo: Local Modality Substitution for Deeper Vision-Language Fusion

LoMo: 局部模态替换以实现更深的视觉-语言融合

Feng Han, Zhixiong Zhang, Zheming Liang, Yibin Wang, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对视觉-语言模型在模态替换时性能下降的“载体敏感性”问题，提出局部模态替换（LoMo）数据策展范式，通过将文本片段动态渲染为图像来训练跨模态表示不变性，显著提升多模态推理与融合效果。

SAVAA: Mitigating Hallucinations in LVLMs via Step-wise Adaptive Visual Attention Amplification

SAVAA: 通过逐步自适应视觉注意力放大减轻LVLMs中的幻觉

Jiacheng Zhang, Feng Liu, Chao Du, Tianyu Pang

机构 * Sea AI Lab（海思人工智能实验室） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出SAVAA框架，通过视觉接地熵估计幻觉风险并自适应调整视觉注意力放大因子，在多个基准上显著减轻大型视觉语言模型的幻觉。

MiVE: Multiscale Vision-language features for reference-guided video Editing

MiVE：用于参考引导视频编辑的多尺度视觉语言特征

Tong Wang, Meng Zou, Chengjing Wu, Xiaochao Qu, Luoqi Liu, Xiaolin Hu, Ting Liu

机构 * MT Lab, Meitu Inc., Beijing 100083, China（美图实验室，美图公司，北京100083，中国） ； Department of Computer Science and Technology, BNRist, IDG/McGovern Institute for Brain Research, Tsinghua University, Beijing 100084, China（计算机科学与技术系，BNRist，IDG/麦戈文脑研究学院，清华大学，北京100084，中国） ； Beijing University of Posts（北京邮电大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出MiVE框架，利用VLM的多尺度层次特征（早期层保留空间细节，深层编码全局语义）统一到自注意力扩散Transformer中，解决模态间隙和细粒度信息丢失问题，在参考引导视频编辑中达到SOTA性能。

Comments ICML 2026

Count Anything at Any Granularity

按任意粒度计数

Chang Liu, Haoning Wu, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University, China（人工智能学院，上海交通大学，中国） ； CMIC, Shanghai Jiao Tong University, China（计算机医学研究所，上海交通大学，中国） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出多粒度计数框架，通过显式定义计数粒度解决开放世界计数问题，构建了最大的标注数据集KubriCount，并训练了HieraCount模型提升计数精度与泛化能力。

Comments Project page: https://verg-avesta.github.io/KubriCount/

SpatialFusion: Endowing Unified Image Generation with Intrinsic 3D Geometric Awareness

SpatialFusion：赋予统一图像生成内在三维几何意识

Haiyi Qiu, Kaihang Pan, Jiacheng Li, Juncheng Li, Siliang Tang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； HiThink Research（HiThink研究院） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出SpatialFusion框架，通过引入混合变压器增强MLLM的三维几何建模能力，并利用深度适配器将显式几何约束注入扩散模型，提升空间感知任务性能。

MIRAGE: A Micro-Interaction Relational Architecture for Grounded Exploration in Multi-Figure Artworks

MIRAGE：一种面向多人物艺术品 grounded 探索的微交互关系架构

Jui-Cheng Chiu, Yu-Chao Wang, Shengyang Luo, Tongyan Wang, Qi Yang, Nabin Khanal, Yingjie Victor Chen

机构 * Purdue University（普渡大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 MIRAGE通过构建结构化中间表示，提升多人物艺术品中微交互的识别与解释，增强身份一致性并减少关系幻觉。

Comments 14 pages (11 pages main text), 6 figures, 1 table

ESPADA: Execution Speedup via Semantics Aware Demonstration Data Downsampling for Imitation Learning

ESPADA：通过语义感知演示数据下采样提升执行速度的模仿学习

Byung-ju Kim, Jinu Pahk, Chungwoo Lee, Jaejoon Kim, Jangha Lee, Theo Taeyeong Kim, Kyuhwan Shim, Jun Ki Lee, Byoung-Tak Zhang

机构 * Tommoro Robotics（Tommoro机器人公司） ； Seoul National University（首尔国立大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；分类 cs.AI

AI总结 ESPADA通过语义和空间感知框架，利用VLM-LLM管道对演示进行分段，仅在非关键部分进行激进下采样，保持关键阶段的精度，无需额外数据或架构修改，实现约2倍的执行速度提升。

Comments project page: https://project-espada.github.io/espada/

Evaluating Remote Sensing Image Captions Beyond Metric Biases

超越度量偏差的遥感图像描述评估

Ziyun Chen, Fan Liu, Liang Yao, Chuanyi Zhang, Yuye Ma, Wei Zhou

机构 * Hohai University（河海大学） ； Cardiff University（卡迪夫大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 本文提出ReconScore指标，通过文本重建能力评估描述质量，发现未微调的MLLM在零样本遥感图像描述任务中表现更优，并引入无需训练的RemoteDescriber方法提升语义精度。

Universal Adversarial Attacks against Closed-Source MLLMs via Target-View Routed Meta Optimization

针对闭源多模态大语言模型的通用对抗攻击：通过目标视角路由元优化

Hui Lu, Yi Yu, Yiming Yang, Chenyu Yi, Xueyi Ke, Qixing Zhang, Bingquan Shen, Alex Kot, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore（快速丰富目标搜索实验室，跨学科研究生项目，南洋理工大学，新加坡） ； School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（电气与电子工程学院，南洋理工大学，新加坡） ； College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） ； DSO National Laboratories, Singapore（新加坡国防科学实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出MCRMO-Attack，通过多作物聚合与注意力引导裁剪稳定监督，通过对齐性门控令牌路由提升token级可靠性，并元学习跨目标扰动先验，从而在商业MLLM上提升未见图像攻击成功率。

Comments This work has been submitted to the IEEE for possible publication

VOLMO: Versatile and Open Large Models for Ophthalmology

VOLMO：面向眼科学的多功能和开放型大模型

Zhenyue Qin, Younjoon Chung, Elijah Lee, Wanyue Feng, Xuguang Ai, Serina Applebaum, Minjie Zou, Yang Liu, Pan Xiao, Mac Singer, Amisha Dave, Aidan Gilson, Tiarnan D. L. Keenan, Emily Y. Chew, Zhiyong Lu, Yih-Chung Tham, Ron Adelman, Luciano V. Del Priore, Qingyu Chen

机构 * Department of Biomedical Informatics & Data Science, Yale University（耶鲁大学生物医学信息学与数据科学系） ； Ray and Stephanie Lane Computational Biology Department, Carnegie Mellon University（卡内基梅隆大学雷和斯蒂芬妮·兰德计算生物学系） ； Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨洛林医学院） ； Department of Radiology, Washington University in Saint Louis（圣路易斯华盛顿大学放射科） ； National Eye Institute, National Institutes of Health（国家卫生研究院眼科研究所） ； National Library of Medicine, National Institutes of Health（国家卫生研究院国家医学图书馆） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；InternVL(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 VOLMO提出了一种通用框架，用于开发专门的眼科多模态大语言模型，通过预训练、微调和临床推理三个阶段，提升了眼科疾病筛查和诊断的性能。

Multi-Grained Vision-Language Alignment for Domain Generalized Person Re-Identification

多粒度视觉-语言对齐用于领域泛化的人员重识别

Jiachen Li, Xiaojin Gong, Dongping Zhang

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；MLLM(abstract)

AI总结 本文提出基于CLIP的多粒度视觉-语言对齐框架，通过引入多粒度提示和自适应掩码模块提升领域泛化人员重识别性能。

Contrastive Vision-Language Alignment Makes Efficient Instruction Learner

Lizhao Liu, Xinyu Sun, Tianhang Xiang, Zhuangwei Zhuang, Liuren Yin, Mingkui Tan

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；grounding(abstract)

Comments 17 pages, 10 pages for main paper, 7 pages for supplementary

NumerosityVLM: A Cognitively Inspired Benchmark for Interpreting Numerosity Representations in Vision-Language Models

NumerosityVLM：一种受认知启发的、用于解释视觉-语言模型中数量表征的基准测试

Yiming Fu, Fangjun Li, Xiujin Liu, Ruidong Ma, Hang Yu, Zhichen Lu, Kanwei He, Alessandro Di Nuovo, Angelo Cangelosi, Zhegong Shangguan

机构 * The University of Manchester（曼彻斯特大学） ； University of Michigan（密歇根大学） ； Sheffield Hallam University（谢菲尔德哈勒姆大学） ； Tufts University（塔夫茨大学） ； ENSTA, Institut Polytechnique de Paris（巴黎综合理工学院国立高等先进技术学校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉-语言模型数量感知研究的基准缺陷，提出受认知启发的NumerosityVLM基准，评估7个模型发现架构对性能影响最大，数量信号出现在视觉编码器早期，差异主要来自语言模型组件。

Can Generalist Vision Language Models (VLMs) Rival Specialist Medical VLMs? Benchmarking and Strategic Insights

通用视觉语言模型（VLMs）能否在医疗领域超越专门化模型？基准测试与战略洞察

Yuan Zhong, Ruinan Jin, Qi Dou, Xiaoxiao Li

机构 * The Chinese University of Hong Kong（香港中文大学） ； The University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究比较了通用与专门化医疗VLMs的性能，发现高效微调的通用模型在多数任务中表现可比或更优，尤其在处理未见医疗模态时。

Comments version 5

A Simple Efficiency Incremental Learning Framework via Vision-Language Model with Nonlinear Multi-Adapters

通过非线性多适配器的视觉-语言模型实现简单的效率增量学习框架

Haihua Luo, Xuming Ran, Jiangrong Shen, Timo Hämäläinen, Zhonghua Chen, Qi Xu, Fengyu Cong

机构 * Faculty of Information Technology, University of Jyväskylä（信息科技学院，于韦斯屈耶大学） ； National University of Singapore（新加坡国立大学） ； Lab of Brain-Machine Intelligence, Zhejiang University（脑机智能实验室，浙江大学） ； School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SimE框架，利用视觉-语言模型与适配器提升增量学习效率，发现适配器连接数与模型能力呈非线性关系，实验表明在TinyImageNet和CIFAR-100上优于传统方法。

Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation

面向厘米级洪水深度估计的、由机械可解释性引导的视觉-语言模型选择性微调

Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 该研究针对城市洪水缺乏厘米级实时深度估计的问题，提出三种视觉-语言模型，通过机械可解释性分析确定关键交叉注意力层进行选择性微调，在合成与真实基准测试中均实现高精度洪水深度估计，大幅减少可训练参数。

Comments This Paper is accepted in International Conference on Machine Learning and Application (ICMLA) 2026

LookME: Lookup-Based Multimodal Embeddings for Layer Injection in Vision-Language Models

LookME：用于视觉语言模型层注入的基于查找的多模态嵌入

Zeyu Xu, Xingzhong Hou, Pengkai Guo, Siling Lin, Xiao Xu, Menghua Zhai, Haoyu Chen, Yunke Zhang, Fei Huang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对视觉语言模型在资源受限环境中部署的问题，提出LookME框架。通过分层两级查找方法和稀疏注入策略，实现基于查找的多模态嵌入增强，实验表明该方法优于仅文本的PLE风格方法，有效提升了模型性能。

DIVE: Dynamic Iterative Visual Evidence Construction for Efficient Vision-Language Models

DIVE：面向高效视觉-语言模型的动态迭代视觉证据构建

Chen Zhong, Xiao An, Zijie Wang, Jiepan Li, Guangyi Yang, Wei He

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本研究针对视觉-语言模型中视觉token导致的推理瓶颈，提出无需训练的DIVE框架，通过动态迭代构建视觉证据，在减少88.9%视觉token的同时保留98.2%的平均性能。

DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion Vision-Language Models

DAVET：面向扩散视觉-语言模型的降噪感知视觉证据轨迹分配

Yongkang Zhou, Xiang Xia, Cheng Yan, Fan Xu, Wuyang Zhang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 DAVET 是一种无需训练的框架，通过根据扩散视觉-语言模型的生成状态自适应分配视觉证据，实现平均 1.55 倍加速且仅 1.86% 的平均性能下降，降低了视觉条件成本。

CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models

CRAFT：面向视觉语言模型的基于视频令牌递归自适应融合的压缩方法

Yu Chen, Xiaohong Li, Xiaole Wang, Jianjin Zhang, Jun Sun, Yafeng Deng

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉语言模型视频令牌压缩效率与适应性的权衡问题，提出CRAFT方法，通过解耦令牌选择与融合实现高效压缩，在8倍压缩时保留97%主干准确率且性能优于现有方法。

Comments 11 pages, 5 figures

Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models

超越注意力分数：基于SVD的视觉令牌修剪用于高效视觉-语言模型

Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

机构 * anoncvlab（匿名计算机视觉实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SVD-Prune方法，通过SVD分解视觉令牌特征矩阵并利用统计杠杆分数选择顶级令牌，以在极端视觉令牌预算下保持高性能，优于现有修剪方法。

TORINO: Token Reduction via Interpretable Concept Overlap in Vision-Language Models

TORINO：通过视觉语言模型中可解释的概念重叠进行令牌减少

Riccardo Renzulli, Gabriele Spadaro, Shruthi Gowda, Alaa Eddine Mazouz, Van-Tam Nguyen

机构 * University of Turin, Italy（意大利都灵大学） ； Eindhoven University of Technology, The Netherlands（荷兰埃因霍温理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型计算成本高问题，提出TORINO框架，利用稀疏自动编码器将视觉令牌投影到可解释潜在空间，通过概念重叠分组并减少令牌，兼顾效率与准确性。

VISTA: Auditing Semantic Divergence in Vision-Language Models

VISTA：视觉语言模型中的语义差异审计

Junchi Liao, Jiawen Deng, Fuji Ren

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型中视觉概念条件性差异，提出VISTA黑箱跨模型审计方法，结合语义熵与基于分布的差异标记异常，通过实验验证其有效性并发现新差异模式。

Comments Preprint. 3 figures

Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

对大型视觉语言模型云边缘推理的视觉令牌操纵攻击

Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

机构 * Department of Computer Science and Engineering, University of Nevada, Reno（内华达大学里诺分校计算机科学与工程系） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究黑盒中间人设置下的视觉令牌操纵攻击，提出四种简答攻击策略和基于优化的令牌选择方法，实验表明操纵少量视觉令牌可大幅降低大型视觉语言模型云边缘推理的准确性。

Skin-R1: Clinical Knowledge-Guided Dermatological Diagnosis Using Vision-Language Models

Skin-R1: 基于视觉-语言模型的临床知识引导的皮肤病诊断

Zehao Liu, Weijieying Ren, Jipeng Zhang, Tianxiang Zhao, Jingxi Zhu, Xiaoting Li, Vasant G Honavar

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 Skin-R1结合教材引导的临床推理监督与强化学习，提升皮肤病诊断的准确性和鲁棒性，通过构建基于教材的推理生成器和强化学习框架，改进模型在异构数据集和稀疏标注下的表现。

Comments ECCV 2026

IWP: Token Pruning as Implicit Weight Pruning in Large Vision Language Models

IWP：大型视觉语言模型中的隐式权重剪枝与令牌剪枝

Dong-Jae Lee, Sunghyun Baek, Junmo Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出基于注意力对偶形式的无训练令牌剪枝框架，通过度量令牌的信息量和冗余度，结合渐进式分块最大边际相关性选择子集，在保持性能的同时提升效率。

When Language Overwrites Vision: Over-Alignment and Geometric Debiasing in Vision-Language Models

语言覆盖视觉：视觉语言模型中的过度对齐与几何去偏

Harshvardhan Saini, Samyak Jha, Yiming Tang, Dianbo Liu

机构 * Indian Institute of Technology Dhanbad（印度理工学院丹巴德分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究视觉语言模型中过度对齐导致的幻觉问题，提出几何去偏方法，通过投影消除文本子空间影响，减少幻觉并提升长文本生成性能。

Do Vision-Language Models Understand 3D Scenes or Just Catalogue Objects?

视觉-语言模型是理解3D场景还是仅仅 catalogue 物体？

Animesh Maheshwari, Divyansh Sahu, Nishit Verma

机构 * Deccan AI（德克南人工智能） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文通过一个包含3034个样本的人工整理基准，探讨了视觉-语言模型对空间理解的深度有序遮挡、光学几何推断和体积重新安排规划能力，发现模型在重新安排可见布局时表现优异，但在遮挡和反射推断上表现较差。

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

模态间隙驱动的子空间对齐训练范式用于多模态大语言模型

Xiaomin Yu, Yi Xin, Yuhui Zhang, Wenjie Zhang, Chonghan Liu, Hanzhen Zhao, Chen Liu, Xiaoxing Hu, Ziyue Qiao, Hao Tang, Xiaobin Hu, Chengwei Qin, Hui Xiong, Yu Qiao, Shuicheng Yan

机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； sh AILab ； SII ； Stanford（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Yale（耶鲁大学） ； SJTU（上海交通大学） ； GBU（国防大学） ； PKU（北京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态对比学习中的模态间隙问题，提出固定帧模态间隙理论，并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision，利用无配对数据实现视觉与语言表示的高效对齐。