视觉大模型 / VLM

VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm

VLM-Pruner: 为高效VLM离心令牌剪枝范式中的空间稀疏性引入缓冲

Zhenkai Wu, Xiaowen Ma, Zhenliang Ni, Dengming Zhang, Han Shu, Xin Jiang, Xinghao Chen

机构 * Zhejiang University（浙江大学） ； Huawei Technologies（华为技术） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 VLM-Pruner通过平衡冗余与空间稀疏性，提升VLMs的效率和性能。

Comments Accepted by CVPR2026

ViCLIP-OT: The First Foundation Vision-Language Model for Vietnamese Image-Text Retrieval with Optimal Transport

ViCLIP-OT：首个面向越南语图像-文本检索的视觉-语言基础模型，结合最优传输

Quoc-Khang Tran, Minh-Thien Nguyen, Nguyen-Khang Pham

机构 * Can Tho University（金兰大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 ViCLIP-OT通过整合CLIP对比学习与SIGROT损失，提升越南语图像-文本检索性能，实现域内和零样本设置下的显著改进。

Comments Preprint submitted to Expert Systems with Applications

MERGETUNE: Continued Fine-Tuning of Vision-Language Models

MERGETUNE: 视觉-语言模型的持续微调

Wenqing Wang, Da Li, Xiatian Zhu, Josef Kittler

机构 * University of Surrey（萨里大学） ； Samsung AI Centre Cambridge（三星AI研究中心（剑桥）） ； Queen Mary University of London（伦敦大学女王学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 MERGETUNE通过持续微调和线性模式连接，恢复视觉-语言模型在微调中丢失的预训练知识，提升基础-新样本泛化和稳健微调性能。

Comments 20 pages, 5 figures

Journal ref ICLR2026

MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

MammoWise：多模型本地RAG流水线用于乳腺X线摄影报告生成

Raiyan Jahangir, Nafiz Imtiaz Khan, Amritanand Sudheerkumar, Vladimir Filkov

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,comments)；vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 MammoWise是一种本地多模型流水线，通过多任务分类和检索增强生成技术，实现乳腺X线摄影报告的高准确度生成与分类。

Comments arXiv preprint (submitted 25 Feb 2026). Local multi-model pipeline for mammography report generation + classification using prompting, multimodal RAG (ChromaDB), and QLoRA fine-tuning; evaluates MedGemma, LLaVA-Med, Qwen2.5-VL on VinDr-Mammo and DMID; reports BERTScore/ROUGE-L and classification metrics

MediX-R1: Open Ended Medical Reinforcement Learning

MediX-R1：开放端医疗强化学习

Sahal Shaji Mullappilly, Mohammed Irfan Kurpath, Omair Mohamed, Mohamed Zidan, Fahad Khan, Salman Khan, Rao Anwer, Hisham Cholakkal

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（迈赫迈德·本·扎耶德人工智能大学） ； Jubilee Mission Medical College（jubilee mission 医学院） ； Research Institute（研究院） ； JJM Medical College（JJM 医学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 MediX-R1通过综合奖励信号和LLM评估，实现医疗多模态模型的开放端强化学习，提升临床推理可靠性。

Large Multimodal Models as General In-Context Classifiers

大多模态模型作为通用上下文分类器

Marco Garosi, Matteo Farina, Alessandro Conti, Massimiliano Mancini, Elisa Ricci

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出CIRCLE方法，通过伪标签迭代优化，使LMM在开放世界分类中超越VLM，展示LMM作为统一分类器的潜力。

Comments CVPR Findings 2026. Project website at https://circle-lmm.github.io/

No Caption, No Problem: Caption-Free Membership Inference via Model-Fitted Embeddings

无标题，无问题：通过模型拟合嵌入进行无标题成员推断

Joonsung Jeon, Woo Jae Kim, Suhyeon Ha, Sooel Son, Sung-Eui Yoon

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出MoFit框架，通过模型拟合嵌入实现无标题成员推断，克服了传统方法对真实标题的依赖，提升了在无标注场景下的成员推断性能。

Comments Accepted to ICLR 2026

SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs

SoPE: 基于球坐标的位置嵌入：增强3D大视觉-语言模型的空间感知

Guanting Ye, Qiyan Zhao, Wenhao Yu, Liangyu Yuan, Mingkai Li, Xiaofeng Zhang, Jianmin Ji, Yanyong Zhang, Qing Jiang, Ka-Veng Yuen

机构 * University of Macau（澳门大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiaotong University（上海交通大学） ； Hefei University of Technology（合肥工业大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SoPE通过基于球坐标的位置嵌入提升3D LVLMs的空间感知能力，结合多尺度频率混合策略，增强几何表示的一致性和表达性。

Comments CVPR 2026

Visual Instruction Pretraining for Domain-Specific Foundation Models

面向领域特定基础模型的视觉指令预训练

Yuxuan Li, Yicheng Zhang, Wenhao Tang, Yimian Dai, Ming-Ming Cheng, Xiang Li, Jian Yang

机构 * PCA Lab, VCIP, Computer Science, NKU, Tianjin, China（PCA实验室、VCIP、计算机科学、NKU、天津，中国） ； NKIARI, Futian, Shenzhen, China（NKIARI、福田、深圳，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出ViTP，通过视觉指令预训练提升领域特定基础模型的感知与推理能力，在多个遥感和医学影像任务中取得新的最先进性能。

RAGdb: A Zero-Dependency, Embeddable Architecture for Multimodal Retrieval-Augmented Generation on the Edge

RAGdb: 一种无依赖、可嵌入的多模态检索增强生成边缘计算架构

Ahmed Bin Khalid

机构 * SKAS IT 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 RAGdb通过单文件SQLite容器实现多模态检索增强生成，无需GPU推理，提升边缘计算效率与数据主权

Comments 6 pages, 2 tables

Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models

并非所有注意力都是必需的：面向多模态大语言模型的参数和计算高效迁移学习

Qiong Wu, Weihao Ye, Yiyi Zhou, Xiaoshuai Sun, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China（教育部多媒体可信感知与高效计算重点实验室） ； Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)

AI总结 本文提出高效注意力跳过方法，通过减少冗余注意力计算提升多模态大语言模型的推理效率与性能。