视觉大模型 / VLM - arXivDaily 专题

2601.21798 2026-05-18 cs.CV 90%

CG-MLLM: Captioning and Generating 3D content via Multi-modal Large Language Models

CG-MLLM：通过多模态大语言模型实现图像描述与3D内容生成

Junming Huang, Chi Wang, Letian Li, Guangkai Xu, Donglin Huang, Hao Chen, Qiang Dai, Weiwei Xu

机构 * Zhejiang University, China（浙江大学）

专题命中 VLM训练与架构：MLLM(title,title_cn)；分类 cs.CV

AI总结本文提出CG-MLLM，一种能实现3D描述和高分辨率3D生成的多模态大语言模型，通过混合Transformer架构分离不同建模需求，结合预训练视觉语言模型与专用3D VAE潜在空间，提升3D生成质量与感知能力。

Comments ICML 2026

2505.21698 2026-05-18 cs.CV 90%

Adapting Foundation Vision-Language Models to Medical Diagnosis via Query-Driven Expert Bridging

通过查询驱动专家桥梁适应基础视觉-语言模型用于医学诊断

Yitong Li, Morteza Ghahremani, Christian Wachinger

机构 * Lab for AI in Medical Imaging, Technical University of Munich (TUM)（医学影像人工智能实验室，慕尼黑技术大学）； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）

专题命中 VLM训练与架构：VLM(summary_cn,abstract)；vision-language model(title)；LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结本文提出MedBridge框架，通过结合领域对齐、分辨率保持和多标签推理的互补VLM专家，解决医学影像诊断中的领域差距问题，实现跨领域泛化和领域内特化，提升多标签胸腔疾病诊断性能。

2605.16011 2026-05-18 cs.CL cs.AI 85%

Can Vision Language Models Be Adaptive in Mathematics Education? A Learner Model-based Rubric Study

视觉语言模型在数学教育中能否具备适应性？一种基于学习者模型的评分研究

Jie Gao, Yongan Yu, Junzhu Su, Yiran Lin, Adam K. Dube, Jackie Chi Kit Cheung

机构 * McGill University（麦吉尔大学）； Mila – Quebec AI Institute（魁北克AI研究院）； Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair）

专题命中 VLM训练与架构：vision language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI

AI总结本文探讨视觉语言模型在数学教育中的适应性，提出基于学习者模型的评分框架，评估模型在认知、动机和复杂度方面的适应性，并发现现有模型在有限学习者信息下难以产生一致的指导响应。

2604.02812 2026-05-18 cs.RO 85%

Learning Structured Robot Policies from Vision-Language Models via Synthetic Neuro-Symbolic Supervision

通过合成神经符号监督学习结构化机器人策略

Alessandro Adami, Tommaso Tubaldo, Marco Todescato, Ruggero Carli, Pietro Falco

机构 * University of Padova, Dept. of Information Engineering（帕多瓦大学信息工程系）； Fraunhofer Italia Research（弗劳恩霍夫意大利研究所）； Polytechnic of Bari Dept. of Electrical and Information Engineering（巴里理工学院电气与信息工程系）

专题命中 VLM训练与架构：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结本文提出通过合成神经符号监督方法，利用视觉语言模型生成结构化机器人策略，结合多模态感知与符号控制，实现高维学习与符号控制的结合。

2605.15300 2026-05-18 cs.CV 84%

Deep Pre-Alignment for VLMs

视觉语言模型的深度预对齐

Tianyu Yu, Kechen Fang, Zihao Wan, Kaidong Zhang, Yicheng Zhang, Jun Song, Bo Zheng, Yuan Yao

机构 * Tsinghua University ； Shanghai Qi Zhi Institute ； Taobao \& Tmall Group of Alibaba

专题命中 VLM训练与架构：VLM(summary_cn,abstract)；vision language model(abstract)；分类 cs.CV

AI总结本文提出深度预对齐(DPA)，通过替换传统ViT编码器为小型VLM作为感知器，实现视觉特征与目标大语言模型文本空间的深度对齐，提升了多模态基准性能，并降低了语言能力遗忘。

Comments Accepted by ICML 2026. Project Website: https://github.com/THUMAI-Lab/Deep-Pre-Alignment

2605.14309 2026-05-18 cs.CV cs.AI cs.LG 83%

ICED: Concept-level Machine Unlearning via Interpretable Concept Decomposition

ICED: 通过可解释的概念分解实现概念级机器去学习

Shen Lin, Jing Lin, Junhao Dong, Piotr Koniusz, Li Xu

机构 * Fujian Normal University（福建师范大学）； Nanyang Technological University（南洋理工大学）； University of New South Wales（新南威尔士大学）； Data61 CSIRO（Data61澳大利亚联邦科学与工业研究组织）

专题命中 VLM训练与架构：VLM(abstract,abstract_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结本文提出ICED框架，通过多模态大语言模型构建任务特定概念词汇，实现VLMs中概念级去学习，有效去除目标知识并保留非目标语义，实验表明其在目标遗忘和模型效用方面表现优异。

2503.02597 2026-05-18 cs.CV cs.AI 79%

Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs

视觉即理解：解锁因果注意力以实现模态互注意力用于多模态大语言模型

Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi

机构 * Sony Group Corporation, Tokyo, Japan（索尼集团，日本东京）

专题命中 VLM训练与架构：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结本文提出模态互注意力机制，通过解锁因果注意力，提升多模态理解性能，无需额外参数，在12个基准测试中平均提升6.2%。

Comments ICML 2026. Code is available at https://github.com/sony/aki

2504.21850 2026-05-18 cs.CV 77%

Visual Compositional Tuning

视觉组合调谐

Xindi Wu, Hee Seung Hwang, Polina Kirichenko, Esin Tureci, Olga Russakovsky

机构 * Princeton University（普林斯顿大学）； Meta AI

专题命中 VLM训练与架构：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结本文提出COMPACT方法，通过组合多个基本视觉能力提升视觉指令调谐数据效率，减少训练样本数量并提升多模态任务性能。

Comments See the project website at this [URL](https://princetonvisualai.github.io/compact/)

2605.15626 2026-05-18 cs.LG 70%

IO-SVD: Input-Output Whitened SVD for Adaptive-Rank LLM Compression

IO-SVD：输入-输出白化SVD用于自适应秩LLM压缩

Ali Abbasi, Chayne Thrash, Haoran Qin, Hamed Pirsiavash, Soheil Kolouri

机构 * Vanderbilt University（范德比大学）； University of California, Davis（加州大学戴维斯分校）

专题命中 VLM训练与架构：VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 IO-SVD通过构建KL感知的双侧白化空间，结合高效异质秩分配策略，实现LLM压缩时的性能与效率平衡，实验表明其在压缩过程中性能损失小且推理速度提升显著。

2605.15736 2026-05-18 cs.CV cs.AI 62%

BiomedAP: A Vision-Informed Dual-Anchor Framework with Gated Cross-Modal Fusion for Robust Medical Vision-Language Adaptation

BiomedAP: 一种基于视觉的双锚框架与门控跨模态融合用于鲁棒的医学视觉-语言适应

Huanyang Tong, Kai Liu, Fangjun Kuang, Huiling Chen

机构 * Wenzhou University（温州大学）； Wenzhou Business College（温州商务学院）

专题命中 VLM训练与架构：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 BiomedAP通过门控跨模态融合和双锚约束机制，提升医学视觉-语言模型在提示变化下的鲁棒性，实验显示其在多个基准上均优于基线方法。

Comments CVPR2026 Workshop

2605.15961 2026-05-18 cs.CV 57%

Sparse Autoencoders enable Robust and Interpretable Fine-tuning of CLIP models

稀疏自编码器使CLIP模型的鲁棒且可解释的微调成为可能

Fabian Morelli, Arnas Uselis, Ankit Sonthalia, Seong Joon Oh

机构 * University of Tübingen（图宾根大学）； KAIST（韩国科学技术院）

专题命中 VLM训练与架构：vision-language model(abstract)；分类 cs.CV

AI总结本文提出SAE-FT方法，通过稀疏自编码器约束视觉表示的变化，实现CLIP模型的鲁棒且可解释的微调，提高下游任务性能同时保持模型鲁棒性。

2605.15836 2026-05-18 cs.RO cs.AI 57%

GAP: Geometric Anchor Pre-training for Data-Efficient Visuomotor Learning of Manipulation Tasks

GAP：用于操作任务数据高效视觉运动学习的几何锚预训练

Davide Buoso, Andrea Protopapa, Stefano Di Carlo, Francesca Pistilli, Giuseppe Averta

机构 * Department of Control and Computer Engineering, Polytechnic University of Turin（控制与计算机工程系，都灵理工大学）

专题命中 VLM训练与架构：grounding(abstract)；分类 cs.AI

AI总结本文提出GAP，通过预训练空间适配器生成稳定的几何锚点，提升在稀疏数据下的视觉运动策略学习性能，实验显示其在多个任务中优于其他方法。

Comments Project webpage at https://lambdavi.github.io/gap

2605.15621 2026-05-18 cs.CV 57%

LRCP: Low-Rank Compressibility Guided Visual Token Pruning for Efficient LVLMs

LRCP: 低秩压缩性引导的视觉标记修剪用于高效的LVLMs

Hongyu Lu, Feng Zhang, Wenwei Jin, Huanling Hu, Tianjun Shi, Shikai Jiang, Yao Hu, Jiawei Li

机构 * Xiaohongshu（小红书）； Harbin Institute of Technology（哈尔滨工业大学）； Fudan University（复旦大学）

专题命中 VLM训练与架构：vision-language model(abstract)；分类 cs.CV

AI总结本文提出LRCP，通过低秩压缩性引导视觉标记修剪，有效减少视觉语言模型的推理成本，实现94.7%的图像理解性能保留和88.9%的标记减少。

Comments The paper includes 11 figures, multiple tables, comprehensive experimental results on 11 image understanding benchmarks and 3 video benchmarks, with extensive ablation studies and qualitative visualizations

2605.15307 2026-05-18 cs.GR cs.CV cs.MM cs.SD 57%

Sound Sparks Motion: Audio and Text Tuning for Video Editing

声音激发动作：用于视频编辑的音频和文本微调

AmirHossein Naghi Razlighi, Aryan Mikaeili, Ali Mahdavi-Amiri, Daniel Cohen-Or, Yiorgos Chrysanthou

机构 * University of Cyprus（塞浦路斯大学）； Simon Fraser University（西蒙弗雷泽大学）； Tel Aviv University（特拉维夫大学）； CYENS Center Of Excellence（CYENS卓越中心）

专题命中 VLM训练与架构：vision-language model(abstract)；分类 cs.CV

AI总结本文提出Sound Sparks Motion框架，通过测试时调整音频视觉生成模型的多模态条件信号，实现视频动作编辑，无需训练，通过音频潜在和文本条件残差扰动促进动作修改，同时利用视觉语言模型反馈提升编辑效果。

Comments Project Page: https://amirhossein-razlighi.github.io/Sound_Sparks_Motion

1. VLM训练与架构 14 篇

CG-MLLM: Captioning and Generating 3D content via Multi-modal Large Language Models

Adapting Foundation Vision-Language Models to Medical Diagnosis via Query-Driven Expert Bridging

Can Vision Language Models Be Adaptive in Mathematics Education? A Learner Model-based Rubric Study

Learning Structured Robot Policies from Vision-Language Models via Synthetic Neuro-Symbolic Supervision

Deep Pre-Alignment for VLMs

ICED: Concept-level Machine Unlearning via Interpretable Concept Decomposition

Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs

Visual Compositional Tuning

IO-SVD: Input-Output Whitened SVD for Adaptive-Rank LLM Compression

BiomedAP: A Vision-Informed Dual-Anchor Framework with Gated Cross-Modal Fusion for Robust Medical Vision-Language Adaptation

Sparse Autoencoders enable Robust and Interpretable Fine-tuning of CLIP models

GAP: Geometric Anchor Pre-training for Data-Efficient Visuomotor Learning of Manipulation Tasks

LRCP: Low-Rank Compressibility Guided Visual Token Pruning for Efficient LVLMs

Sound Sparks Motion: Audio and Text Tuning for Video Editing