视觉大模型 / VLM

MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models

MAGIC: 面向视觉语言模型的多模态对齐与接地感知指令核心集

Shristi Das Biswas, Kaushik Roy

机构 * Purdue University（普渡大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；grounding(title,abstract)；LLaVA(abstract,abstract_cn)

AI总结 提出MAGIC方法，利用预训练VLM中的多模态增益、桥接相关性和技能神经元签名三种内在信号，通过无训练、前向传播的核心集选择，构建紧凑且行为保真的子集用于多模态指令微调，在20%预算下达到甚至超越全微调性能。

LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence

LLaVA-OneVision-2：迈向下一代感知智能

Xiang An, Yin Xie, Feilong Tang, Yunyao Yan, Huajie Tan, Didi Zhu, Changrui Chen, Xiuwei Zhao, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Kaichen Zhang, Wenkang Zhang, Zheng Cheng, Nansen Zhang, Chunsheng Wu, Chunjiang Ge, Zimin Ran, Dehua Song, Chunyuan Li, Shikun Feng, Ming Hu, Zhangquan Chen, Junbo Niu, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng

机构 * Glint Lab（Glint实验室） ； AIM for Health Lab（健康AI实验室） ； MVP Lab（MVP实验室） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,title_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出LLaVA-OV-2模型，通过编解码流令牌化、窗口注意力和3D RoPE实现统一视频理解与时空定位，在多项基准上超越Qwen3-VL-8B。

MAIL++: Multi-Modal Bi-directional Agent Layer for Vision-Language Models

MAIL++: 视觉语言模型的多模态双向智能体层

Kaixiang Chen, Pengfei Fang, Hui Xue

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用国家重点实验室（东南大学），中华人民共和国教育部，中国） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV

AI总结 提出MAIL/MAIL++方法，通过将跨模态耦合嵌入VLM内在计算模块并引入双向桥接，实现参数高效微调，在少样本分类和跨域检索中超越现有方法。

Universal Boosts, Specific Suppressors: Sparse Autoencoder Steering of Medical Vision-Language Models

通用增强，特定抑制：基于稀疏自编码器引导的医学视觉语言模型

Farhad Nooralahzadeh, Benjamin Gundersen, Nicolas Deperrois, Hidetoshi Matsuom, Mizuho Nishio, Thomas Frauenfelder, Ahmed Allam, Christian Blüthgen, Michael Moor, Michael Krauthammer

机构 * University of Zurich and University Hospital of Zurich（苏黎世大学及苏黎世大学医院） ； Kobe University（Kobe大学） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Zurich University of Applied Sciences（苏黎世应用科学大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；VLM(abstract_cn)；分类 cs.CV

AI总结 本文提出一种无需权重更新的解码时残差引导方法，通过每token稀疏自编码器（SAE）对医学视觉语言模型进行干预，抑制幻觉并提升报告质量，在多个模型上取得显著改进。

MGVQ: Synergizing Multi-dimensional Sensitivity-Aware and Gradient-Hessian Fusion for Vector Quantization

MGVQ：协同多维敏感度感知与梯度-海森融合的向量量化

Zhong Wang, Zukang Xu, Xing Hu, Dawei Yang

机构 * Bauman Moscow State Technical University（巴甫洛夫莫斯科国立技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出MGVQ框架，通过敏感度引导的结构化混合精度量化和梯度感知的二阶误差补偿，实现视觉-语言模型的超低位向量量化，在2-bit量化下最高提升4.9个点。

From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks

从理论到决策规则：校准视觉-语言模型弱监督的噪声标签交叉点——基于三个医学影像基准

Bruce Changlong Xu, Jose James, Alexander Ryu

机构 * Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 通过三个医学影像基准校准理论预测的噪声标签交叉点，提出基于少量金标标签的决策规则。

Comments 5 pages, 2 figures, 4 tables

Efficient Distributed MLLM Training with Cornstarch

使用Cornstarch高效分布式多模态大语言模型训练

Insu Jang, Runyu Lu, Nikhil Bansal, Ang Chen, Mosharaf Chowdhury

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)

AI总结 提出Cornstarch框架，通过冻结感知流水线并行和令牌工作负载平衡的上下文并行，解决多模态大语言模型训练中的异构性问题，平均吞吐量提升2.26倍。

Comments ICML'26

TimeSpot: Benchmarking Geo-Temporal Understanding in Vision-Language Models in Real-World Settings

TimeSpot: 在真实世界场景中评估视觉语言模型的地理时间理解能力

Azmine Toushik Wasi, Shahriyar Zaman Ridoy, Koushik Ahamed Tonmoy, Kinga Tshering, S. M. Muhtasimul Hasan, Wahid Faisal, Tasnim Mohiuddin, Md Rizwan Parvez

机构 * Computational Intelligence and Operations Laboratory (CIOL), Bangladesh（计算智能与运筹实验室（CIOL），孟加拉国） ； Shahjalal University of Science and Technology (SUST), Sylhet, Bangladesh（沙赫jalal科学与技术大学（SUST），沙赫里尔，孟加拉国） ； North South University (NSU), Dhaka, Bangladesh（北南大学（NSU），达卡，孟加拉国） ； Qatar Computing Research Institute (QCRI), Doha, Qatar（卡塔尔计算研究中心（QCRI），多哈，卡塔尔） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出TimeSpot基准，通过1,455张全球图像评估视觉语言模型在时间属性（季节、月份、时段、日光相位）和地理属性（大洲、国家、气候带、环境类型、经纬度）上的推理能力，发现现有模型性能低下，尤其时间推理不足。

Comments Accepted to ICML 2026

Bi-CoG: Bi-Consistency-Guided Self-Training for Vision-Language Models

Bi-CoG：面向视觉语言模型的双一致性引导自训练

Rui Zhu, Song-Lin Lv, Zi-Kang Wang, Lan-Zhe Guo

机构 * School of Intelligence Science and Technology, Nanjing University, China（南京大学智能科学与技术学院） ； National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.LG

AI总结 针对半监督微调中模型偏差和超参数敏感问题，提出一种利用模型间和模型内一致性以及误差感知动态伪标签分配策略的即插即用方法Bi-CoG，在14个数据集上显著提升现有方法性能。

Comments Accepted by IJCAI 2026

Divide-and-Conquer Inference for Large-Scale Visual Recognition with Multimodal Large Language Models

面向大规模视觉识别的多模态大语言模型分治推理

Zhipeng Ye, Jiaqi Huang, Feng Jiang, Qiufeng Wang, Yikang Duan, Dawei Wang, Xihang Zhou, Qian Qiao

机构 * Taizhou Institute of Science and Technology, Nanjing University of Science and Technology（泰州科技学院、南京理工大学） ； Department of Intelligence Science, Xi’an Jiaotong-Liverpool University（智能科学系，西安交通大学利物浦大学） ； School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学） ； Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型在长序列识别中性能崩溃的问题，提出分治推理（DCI）策略，通过递归分解任务和动态剪枝提升信噪比与分类精度。

Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning

Prism：面向可扩展多模态持续指令微调的插件式可复现基础设施

Jun-Tao Tang, Yu-Cheng Shi, Zhen-Hao Xie, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 针对多模态持续指令微调中工程瓶颈问题，提出Prism插件式代码库，通过轻量级插件注册机制分离算法开发与骨干实现，支持大规模训练流水线，实现可复现、可扩展的实验。

Comments Code is available at https://github.com/LAMDA-CL/Prism

EditCaption: Human-Refined SFT and HAE-DPO for Image Editing Instruction Synthesis

EditCaption: 用于图像编辑指令合成的人工精炼SFT与HAE-DPO

Xiangyuan Wang, Honghao Cai, Yunhao Bai, Chao Hui, Tianze Zhou, Haohua Chen, Hao Shi, Yuling Wu, Yao Hu, Xu Tang, Yibo Chen, Wei Zhu

机构 * Peking University（北京大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出EditCaption两阶段后训练流程，通过人工精炼SFT和基于难度自适应错误感知DPO（HAE-DPO）提升图像编辑指令合成质量，显著降低关键错误率并超越现有模型。

FairJudge: Abstention-Aware Multimodal Judges for Fairness and Alignment Evaluation in Text-to-Image Models

FairJudge: 文本到图像模型中公平性与对齐评估的弃权感知多模态裁判

Zahraa Al Sahili, Maimuna Nowaz, Maryam Fetanat, Ioannis Patras, Matthew Purver

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； Institut Jožef Stefan（乔泽夫·斯蒂芬研究所） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 提出FairJudge协议，利用多模态大语言模型作为结构化裁判，通过封闭标签、弃权机制和证据报告，在文本到图像模型中实现社会属性预测、职业定位和提示-图像对齐的公平性评估。

Interpretability Transfer from Language to Vision via Sparse Autoencoders

通过稀疏自编码器实现从语言到视觉的可解释性迁移

Alexey Kravets, Da Li, Chuan Li, Da Chen, Vinay P. Namboodiri

机构 * University of Bath, UK（巴斯大学） ； Lambda, Inc.（Lambda公司） ； Samsung AI Centre Cambridge（三星AI研究中心） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出VISTA框架，通过约束视觉投影器将视觉token映射到LLM的文本SAE空间，实现无需专用视觉SAE的视觉可解释性，并在对象移除和替换任务上分别提升35%和47%。

Journal ref ICML 2026

UniRank: End-to-End Domain-Specific Reranking of Hybrid Text-Image Candidates

UniRank: 混合文本-图像候选的端到端领域特定重排序

Yupei Yang, Lin Yang, Wanxi Deng, Lin Qu, Shikui Tu, Lei Xu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出UniRank，一种基于视觉语言模型的重排序框架，通过无需模态转换的统一评分和端到端领域适应（包括指令微调和基于强化学习的偏好对齐），在科学文献检索和设计专利搜索中显著提升性能。

MedFM-Robust: Benchmarking Robustness of Medical Foundation Models

MedFM-Robust：医学基础模型的鲁棒性基准测试

Xiangxiang Cui, Tianjin Huang, Yifang Wang, Lijie Hu, Lu Yin

机构 * Beijing Normal University, China（北京师范大学） ； University of Exeter, United Kingdom（埃克塞特大学） ； University College London, United Kingdom（伦敦大学学院） ； Mohamed bin Zayed University of Artificial Intelligence, United Arab Emirates（穆罕默德·本·扎耶德人工智能大学） ； University of Surrey, United Kingdom（萨里大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV

AI总结 本文提出了一个包含40种扰动类型（12种基础、28种医学特定）的鲁棒性基准，评估了多种医学基础模型在VQA、视觉定位、图像描述和分割任务上的表现，发现微调策略主导鲁棒性、医学特定扰动对分割影响大、零样本VQA鲁棒性依赖模型等关键结论。

Comments MICCAI2026

$Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization

$Δ\mathrm{Energy}$: 优化视觉-语言对齐过程中的能量变化提升OOD检测与OOD泛化

Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 本文提出ΔEnergy分数，通过重新对齐视觉-语言模态时的能量变化来同时提升分布外检测和分布外泛化性能，并基于此开发了统一微调框架EBM。

Comments Accepted by NeurIPS2025

OPAL: Omnidirectional Path-efficient Aerial 3D expLoration

OPAL: 全方位路径高效空中三维探索

Yoga Satwik Chappidi, Avideh Zakhor

机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电子工程与计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)

AI总结 提出OPAL框架，通过在歧义分支点进行360度偏航旋转替代计算密集的全局路径规划，实现计算简单、路径短且覆盖率高的自主探索。

Comments Submitted to IEEE Robotics and Automation Letters (RA-L)

FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model

FG-CLIP 2: 一种双语细粒度视觉-语言对齐模型

Chunyu Xie, Bin Wang, Fanjing Kong, Jincheng Li, Dawei Liang, Ji Ao, Dawei Leng, Yuhui Yin

机构 * AI Research（360人工智能研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出FG-CLIP 2双语视觉语言模型，通过区域-文本匹配、长描述建模和文本内模态对比损失等细粒度监督，在英中双语上实现细粒度对齐，在29个数据集上取得最优结果。

Comments Accepted in ICML2026

Binding Visual Features Point by Point

逐点绑定视觉特征

Udith Haputhanthri, Declan Campbell, Rim Assouel, Jonathan D. Cohen, Taylor W. Webb

机构 * Princeton University（普林斯顿大学） ； Mila – Quebec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究通过文本引导的“指向”机制解决视觉语言模型在多目标场景中的绑定问题，发现该机制诱导内部视觉搜索程序，消除绑定错误并实现组合泛化。

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

具有预测性提示和负学习的可泛化视觉语言少样本适应

Sriram Mandalika

机构 * Hasso Plattner Institute, University of Potsdam（霍普夫纳研究所，波茨坦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出SCAN框架，通过查询自适应负路由、LLM引导对比提示和自适应融合权重，解决视觉语言模型少样本适应中负类信号处理问题，在11个基准上平均提升4.61%。

VaaWIT: Visual-Aware Adaptation of Large Language Models for Multilingual Web Image Translation

VaaWIT: 面向多语言网页图像翻译的大语言模型视觉感知适配

Bo Li, Ronghao Chen, Ningyuan Deng, Huacan Wang, Shaolin Zhu, Lijie Wen

机构 * The Hong Kong University of Science（香港科技大学） ； Tianjin University（天津大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对网页图像翻译中视觉表示差距问题，提出VaaWIT框架，通过双流注意力模块和视觉感知适配器，实现大语言模型对细粒度视觉特征的动态融合，在多个基准上超越开源模型并接近闭源模型性能。

Comments Accepted by KDD 2026

[CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation

[CLS] 还不够：基于补丁级推理与自适应聚合的多标签识别

Akang Wang, Xili Deng, Zhanxuan Hu, Yi Zhao, Yonghang Tai, Huafeng Li

机构 * Yunnan Normal University, Kunming, China（云南师范大学，昆明，中国） ； Kunming University of Science and Technology, Kunming, China（昆明理工大学，昆明，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对CLIP等视觉语言模型在多标签识别中因[CLS]全局表征不足的问题，提出PIAA框架，通过补丁级推理和自适应聚合实现无训练的多标签识别，在NUS-WIDE上mAP提升超6%。

Addressing Exacerbated Attention Sink for Source-Free Cross-Domain Few-Shot Learning

应对源自由跨域小样本学习中加剧的注意力汇聚问题

Shuai Yi, Yixiong Zou, Yuhua Li, Ruixuan Li

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对跨域小样本学习中标准微调加剧注意力汇聚导致判别性下降的问题，提出基于令牌动态重加权的方法抑制简单令牌依赖并增强困难令牌学习，实现新最优性能。

Comments Accepted by CVPR 2026

CMAP: Cross-Modal Adaptive Prompting for Multi-Domain Task-Incremental Learning

CMAP: 面向多域任务增量学习的跨模态自适应提示

Sriram Mandalika

机构 * Hasso Plattner Institute（霍普斯·普拉特纳研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对多域任务增量学习，提出跨模态自适应提示方法，利用CLIP文本嵌入空间进行任务路由、置信度估计和编码器适应，在MTIL基准上超越现有技术。

Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding

Blink: 动态视觉令牌分辨率增强多模态理解

Yuchen Feng, Zhenyu Zhang, Naibin Gu, Yilong Chen, Peng Fu, Zheng Lin, Shuohuan Wang, Yu Sun, Hua Wu, Weiping Wang, Haifeng Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc（百度公司） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出Blink框架，通过注意力引导的令牌超分辨率和动态丢弃机制，在单次前向传播中模拟人类眨眼式扫描，提升多模态大语言模型的视觉感知能力。

Comments CVPR 2026

EPPC-OASIS: Ontology-Aware Adaptation and Structured Inference Refinement for Electronic Patient-Provider Communication Mining in Secure Messages

EPPC-OASIS：面向安全消息中电子患者-提供者通信挖掘的本体感知适应与结构化推理精炼

Samah Fodeh, Sreeraj Ramachandran, Elyas Irankhah, Muhammad Arif, Afshan Khan, Ganesh Puthiaraju, Linhai Ma, Srivani Talakokkul, Jordan Alpert, Sarah Schellhorn

机构 * Yale University（耶鲁大学） ； Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, Cleveland Clinic（克利夫兰医学中心勒纳医学院，克利夫兰医学中心） ； Medical Oncology, Yale School of Medicine（耶鲁医学院医学肿瘤学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 提出EPPC-OASIS框架，通过本体感知的Wasserstein对齐目标增强微调，并结合推理精炼步骤，从安全消息中自动提取结构化EPPC编码，在多个语言模型上取得一致改进。