视觉大模型 / VLM

A Cross-Architecture Audit of Direction-Based Inference-Time Defences in Vision-Language Models

跨架构视觉语言模型中基于方向的推理时防御措施审计

Xiangyu Yin, Tora Bodin, Rohan Menon, Chih-Hong Cheng

专题命中 VLM训练与架构 ：vision-language model(title)；LLaVA(abstract,abstract_cn)；vision language model(abstract)；分类 cs.AI

AI总结 该研究审计了视觉语言模型中5种基于方向的推理时防御，发现其性能具架构特异性，部分防御间几何重叠，需按解码器家族单独校准。

MedARC: Training-Free Adaptive Redundancy Compression of Visual Tokens for 3D Medical Vision-Language Models

MedARC：面向3D医学视觉-语言模型的无训练视觉令牌自适应冗余压缩

Yitao Zhu, Mengjun Liu, Yingji Fu, Haowen Pang, Anqi Qiu

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对3D医学VLMs的视觉令牌冗余压缩问题，本文提出无训练框架MedARC，整合三类线索估计令牌重要性，通过显著性感知合并策略压缩令牌，在CT-RATE和MR-RATE上实现性能保持的同时降低开销。

Comments 9 pages

DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models

DICA：多模态大语言模型中的双指标引导对比对齐

Hao Yang, Jin Wang, Xuejie Zhang

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型的问题，提出双指标引导对比对齐方法（DICA），通过跟踪视觉注意力熵和输出图像相关性两个指标，根据异常情况触发对比对齐，实验证明该方法能提升模型可靠性，优于现有方法。

Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue

看见不等于共享：一些视觉-语言模型在非对称对话中高估共同基础

Nan Li, Albert Gatt, Massimo Poesio

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 研究视觉-语言模型在对话中是否混淆潜在共享与已共享信息，发现模型过度依赖地图内容预测对齐，忽视对话历史中的基础建立过程。

Comments 17 pages, 9 figures, 8 tables; accepted to SIGDIAL 2026

CheXanatomy: Anatomy-Aware Vision-Language Modeling for Chest Radiographs

CheXanatomy: 面向胸部X光片的解剖感知视觉-语言建模

Sergios Gatidis, Curtis Langlotz, Christian Bluethgen

机构 * Stanford Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学医学与影像人工智能中心） ； Department of Radiology, Stanford University（斯坦福大学放射学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出CheXanatomy框架，通过自回归令牌空间监督将解剖知识融入预训练视觉-语言模型，实现解剖分割，在合成和真实X光片上性能媲美U-Net，并提升域迁移鲁棒性和样本效率。

FlowTrain: Flow-Based Decoupled Training for Industrial-Grade Vision-Language Models

FlowTrain：面向工业级视觉-语言模型的基于流的解耦训练

Zhida Jiang, Zhaolong Xing, Yang Pei, Xiaolong Chen, Yuanhang Xiao, Chengzhi Huang, Xiyu Liu, Haopeng Liu, Qingyuan Sang, Lingfeng Zhou, Jiaxing Wang, Zicheng Zhang, Wenzhe Wang, Xinyu Liu, Yan Li, Zhen Chen, Ke Zhang

机构 * Huawei（华为） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出FlowTrain框架，通过生产者-消费者数据流和统一内存池解耦编码器与主干网络训练，采用异构并行分配器和动态打包调度器，实现超过50% MFU和1.7倍吞吐量提升。

Stepwise Token Selection for Efficient Multimodal Large Language Models

逐步令牌选择用于高效多模态大语言模型

Landi He, Shawn Young, Lijian Xu

机构 * Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 提出一种基于指针机制的逐步视觉令牌选择方法，通过可微松弛实现端到端训练，动态决定保留令牌数量，在去除88.9%令牌时保持94.6%准确率并加速1.88倍。

The Vision Encoder as a Privacy Boundary: Visual-Token Side Channels in Encoder-Free Vision-Language Models

视觉编码器作为隐私边界：无编码器视觉-语言模型中的视觉令牌侧信道

Chenyu Zhou, Qiliang Jiang, Shuning Wu, Xu Zhou

机构 * School of Engineering, Institute of Science Tokyo（东京科学大学工学院） ； College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院） ； Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究无编码器视觉-语言模型中视觉令牌侧信道导致的隐私泄露问题，通过解码器攻击从中间视觉令牌恢复图像和文本，发现空间采样保真度是关键因素，并指出KV缓存也存在泄露风险。

An AI4AI Framework for Visual Token Pruning

用于视觉令牌剪枝的AI4AI框架

Zhen Liu, Wenli Huang, Wei Song, Yuhan Liu, Zhiqin Yang, Jingwen Fu

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究提出AutoPrune框架，通过TPDSL让LLM自动设计视觉令牌剪枝策略，在14个多模态基准和3个MLLM主干上，剪枝94.4%视觉令牌仍保留超99%性能，大幅降低推理成本。

RefineSVG: Visual Feedback-Driven Reinforcement Learning for Image-to-SVG Generation

RefineSVG：视觉反馈驱动的图像转SVG生成强化学习

Shaobo Liu, Feiqiao Mao, Shuaishuai Zhou, Yan Zhan, Weiqi Tan, Zhiqiong Lu, Zhengping Liang

机构 * Shenzhen University（深圳大学） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 RefineSVG是一种视觉反馈驱动的闭环框架，通过引入SVG语义词汇表和渐进式训练，使MLLM实现高保真图像转SVG生成，性能优于现有基线。

Comments 17 pages, 5 main-paper figures. Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026). Includes the complete supplementary material

Explaining BiomedCLIP with Weighted Banzhaf Interactions Supported by Tree-Gram Parsing

用基于树图解析支持的加权班扎夫交互解释生物医学CLIP

Jakub Rymarski, Adam Rempała, Bartłomiej Sobieski, Przemysław Biecek

机构 * University of Warsaw（华沙大学） ； Centre for Credible AI, Warsaw University of Technology（华沙理工大学可信人工智能中心） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉语言模型在医学任务中解释难的问题，引入ParseFIxLIP方法，将树图解析融入班扎夫交互博弈，通过smart_depth分组策略减轻概念碎片化，提升跨模态交互可解释性，为VLM决策提供医学领域相关见解。

Comments 12 pages, 13 figures. Accepted at EXPLIMED 2026 (Third Workshop on Explainable Artificial Intelligence for the medical domain), IJCAI-ECAI 2026

COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows

COMFYCLAW：面向图像生成工作流的自进化技能工具包

Zongxia Li, Dawei Liu, Fuxiao Liu, Yuhang Zhou, Xiyang Wu, Jingxi Chen, Jing Xie, Xiaomin Wu, Lichao Sun

机构 * University of Maryland（马里兰大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nvidia（英伟达） ； Lehigh University（里海大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出COMFYCLAW框架，通过类型化图编辑、区域级VLM验证器和渐进式技能库进化，提升ComfyUI工作流构建的代理可靠性和性能，在多个基准上取得最佳平均评分。

Token Communication for Multimodal Large Language Model

多模态大语言模型的令牌通信

Jingkai Ying, Zhijin Qin, Yuan Shen, Khaled B. Letaief

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 本文针对多模态大语言模型（MLLMs）的令牌传输问题，提出适配MLLMs的令牌通信框架，通过集成神经编解码器、两阶段语义对齐训练及自适应适配器，在相同传输数据量下实现更优任务性能。

Comments 13 pages, 11 figures, 2 tables

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

用于联邦多模态大语言模型微调的弹性正则化和合成重放持续学习

Jing Liu, Chenxuanyin Zou, Jiayang Ren, Gaoyun Fang, Chengfang Li, Yan Wang, Zhenchao Ma, Bo Hu

机构 * The University of British Columbia（英属哥伦比亚大学） ； Fudan University（复旦大学） ； Royal College of Science, Imperial College London（伦敦帝国理工学院皇家科学学院） ； Dyson School of Design Engineering（戴森设计工程学院） ； Suzhou Institute of Biomedical Engineering and Technology (SIBET), Chinese Academy of Sciences（中国科学院苏州生物医学工程技术研究所） ； East China Normal University（华东师范大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究针对联邦多模态大语言模型微调中灾难性遗忘问题，提出FedCMM框架，在参数、数据、聚合三个层面嵌入持续学习保障，经实验验证该框架在准确性和反向迁移上优于基线，能实现跨异构网络AI部署的稳健进化适应。

Comments submitted to IEEE JSTSP

M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning

M2Note: 通过错误笔记本学习实现视觉语言模型的持续演化

Haiwen Li, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 提出M2Note，一种无需训练的持续演化框架，通过将失败轨迹转化为可编辑的笔记，利用多模态检索增强生成在推理时引导模型，避免重复错误，并在多个基准上提升性能。

VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation

VLCP：用于机器人操纵的视觉语言控制策略闭环代码重规划

Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

机构 * University of Monastir（莫纳斯提尔大学） ； St. Mildred’s-Lightbourn School（圣米尔德雷德-莱特本学校） ； Cornell University（康奈尔大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Silverstream AI（银流人工智能公司） ； Mila -- Quebec AI Institute（米拉-魁北克人工智能研究所） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.LG

AI总结 VLCP是一种无需训练的机器人操纵策略，通过在单回合内每K步由VLM重写控制代码闭合循环，在57项任务的评估中综合成功率达35.1%，较开环策略提升十倍。

LIRA: Local Cross-Layer Information Routing for Vision-Language-Action Decoding

LIRA：面向视觉-语言-动作解码的局部跨层信息路由

Zhewei Zhang, Puyue Wang, Guanren Qiao, Yijie Weng, Jiawei Hu, Guo Li, Lujia Wang, Junyan Wang, Tao Gu, Hongliang Lu, Guiliang Liu, Hong Jia, Xinhu Zheng

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 LIRA是面向VLA模型的局部跨层信息路由机制，通过深度感知路由VLM特征，在多机器人操作基准及真实场景中提升了动作预测性能与分布偏移下的鲁棒性。

Comments 9 pages, 4 figures. Code and model checkpoints will be released upon acceptance of the paper

RUTA: Principled Visual Token Allocation via Rate-Utility Optimization

RUTA：基于率-效用优化的原则性视觉令牌分配方法

Jian Zou, Xiaoyu Xu, Zhihua Wang, Yilin Wang, Balu Adsumilli, Kede Ma

机构 * City University of Hong Kong（香港城市大学） ； Google Inc.（谷歌公司） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对视觉语言模型因长视觉令牌序列导致的LLM侧计算和内存成本过高问题，提出RUTA方法，仅用2.0%、4.2%的视觉令牌，分别在LLaVA-NeXT-7B、Qwen3-VL-8B上保留88.2%、94.4%的任务性能。

Taming the Implicit: Dual-Channel Risk-Aware Reinforcement Fine-Tuning for Continual Multimodal Post-Training

驯服隐式：面向持续多模态后训练的双通道风险感知强化微调

Yibei Liu, Jiajun Chen, Qianle Zhang, Tangyue Jin, Mengying Zhu, Meng Xi, Yangyang Wu

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 针对持续多模态后训练中RFT算法在任务分布偏移下遗忘加剧的问题，提出双通道风险感知强化微调框架RAPO，通过策略与数据通道的风险管控降低遗忘，在MLLM-CL基准上使遗忘减少79.8%且保留新任务竞争力。

MIEScore: Human-Aligned Evaluation for Multi-Source Image Editing

MIEScore：面向多源图像编辑的人类对齐评估方法

Zitong Xu, Huiyu Duan, Xinyun Zhang, Weifei Xiong, Tianyi Zheng, Xiongkuo Min, Qiang Hu, Zhengxue Cheng, Bo Li, Guangtao Zhai

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对多源图像编辑（MIE）缺乏人类对齐评估基准的问题，研究构建了首个MIE基准MIE-Bench，并提出基于MLLM的评估模型MIEScore，其对齐人类偏好性能最优且泛化性良好。

MoRoute: Dynamic Routing for In-Context Multimodal Video Generation

MoRoute：面向上下文多模态视频生成的动态路由

Chong Gao, Jie Ma, Zhan Peng, Chongxiao Wang, Haoxue Wu, Jun Liang, Guanbin Li, Jing Li

机构 * Sun Yat-sen University（中山大学） ； HUJING Digital Media & Entertainment Group（沪景数字媒体娱乐集团） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 MoRoute是采用动态层路由连接VLM与视频DiT的多模态视频生成框架，在三个基准数据集上均优于现有最优方法，提升了视频生成与编辑的性能。

Comments Project page: https://orange-3dv-team.github.io/MoRoute/

Fine-Grained Food Image Understanding via Target-Aware Data Alignment

通过目标感知数据对齐实现细粒度食品图像理解

Jui-Feng Chi, Wei-Lun Chu, Bruce Coburn, Jinge Ma, Fengqing Zhu

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究针对细粒度食品图像理解，提出以数据为中心的多模态对齐方法，先选视觉相关训练子集，再细化字幕，训练互补检索专家并融合决策，提升了检索性能，完整方法检索分数超纯VLM检索两倍且更高效。

BLUE: Semantics-Preserving Video Compression for Efficient Vision-Language Surveillance Analytics

BLUE：用于高效视觉语言监控分析的语义保留视频压缩

Shubham Baid, Akash James, Sahil Chachra, Nishant Sinha, Kunal Kislay

机构 * KGraph AI Solutions Pvt. Ltd.（KGraph AI解决方案私人有限公司） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究持续监控视频给企业视频分析系统带来的负担问题，提出BLUE固定摄像头监控压缩方法，在VIRAT和CHAD数据集上实验，结果表明该方法能在保留VLM语义性能时降低带宽和推理成本。

Comments 17 pages, 10 figures, 6 tables

Stochastic Meta-Unlearning: Bridging Language Backbone and Multimodal Unlearning

随机元遗忘：连接语言主干与多模态遗忘

Zijie Liu, Jinhao Duan, Gaowen Liu, Sijia Liu, Tianlong Chen

机构 * UNC at Chapel Hill（北卡罗来纳大学教堂山分校） ； Cisco Research（思科研究院） ； Michigan State University（密歇根州立大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.LG

AI总结 研究视觉语言模型的机器遗忘问题，提出随机元遗忘框架，利用VLM级反馈学习初始化，经内、外循环更新语言主干，实验证明该方法在遗忘-保留权衡上表现最佳，能提升准确率且可迁移。

Comments 15 pages

SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

SAMPLe：基于SAM的视觉语言模型提示学习优化器

Hossein Rajoli, Fatemeh Lotfi, Niloufar Alipour Talemi, Hossein Kashiani, Xiaolong Ma, Fatemeh Afghah

机构 * Clemson University（克莱姆森大学） ； Siemens Energy (AI Lab)（西门子能源（人工智能实验室）） ； University of Arizona（亚利桑那大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究VLM提示学习中性能与泛化的困境，提出SAMPLe优化器，通过考虑损失曲面锐度平衡探索与利用，减少过拟合，提升泛对未见能力，在多种提示学习框架中表现出色，优于现有优化器。

Comments The manuscript has been accepted to ECCV and will be presented at the conference and published in the main proceedings

QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding

QSVideo：用于视频理解的查询条件语义时间检索

Wei Ao, Lan Wang, Vishnu Naresh Boddeti

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对视频理解中视觉语言模型性能随视频时长下降问题，提出QSVideo框架，通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略，提升视频VLM性能。

Comments ECCV 2026

Natural Language Camera Movement Understanding

自然语言相机运动理解

Yuwen Tan, Joey Huang, Jin Huang, Haoxiang Li, Boqing Gong

机构 * Boston University（波士顿大学） ； Pixocial Technology（皮克索西尔科技公司） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究自然语言相机运动理解问题，指出现有视觉语言模型在此任务上的不足。核心方法是建立分类法、基准和训练集。主要贡献是微调的VLM - 8B在基准测试中性能优于Gemini 3.1 Pro。

Comments Accepted to ECCV 2026

Understanding How MLLMs Describe Artworks Using Token Activation Maps

理解多模态大语言模型如何通过Token激活图描述艺术品

Nicola Fanelli, Pasquale De Marinis, Raffaele Scaringi, Eva Cetinic, Gennaro Vessio, Giovanna Castellano

机构 * University of Bari Aldo Moro（巴里阿尔多莫罗大学） ； University of Zurich（苏黎世大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；visual reasoning(abstract)；grounding(abstract)；multimodal large language model(abstract)

AI总结 使用Token激活图（TAM）分析MLLMs在描述艺术品时对视觉区域的依赖，发现不同语义类别的token在视觉基础上有显著差异，并比较了TAM与SAM~3开放词汇分割。

Comments Accepted at PRESTIGE workshop at ICPR 2026

Exploring Multi-Modal Large Language Models and Two-Stage Fine-Tuning for Fashion Image Retrieval

探索多模态大语言模型与两阶段微调在时尚图像检索中的应用

Nguyen Cao Hoang, Hoang Bui Le, Nam Vo Hoang, Trung-Nghia Le

机构 * University of Science, VNU-HCM（胡志明市国家大学下属理科大学） ； Vietnam National University, Ho Chi Minh（胡志明市国家大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 提出融合多模态大语言模型（LLaVA）生成属性感知三元组，并采用两阶段微调策略增强对比学习，以解决时尚图像检索中标注数据稀缺和负采样简单的问题。

Comments SOICT 2025

Multimodal LLM-Empowered Re-Ranking for Generalizable Person Re-Identification

多模态大语言模型赋能的通用行人重识别重排序

Jiachen Li, Xiaojin Gong

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出利用多模态大语言模型（MLLM）的泛化能力，通过微调MLLM并计算μ-距离来改进推理阶段的重排序，从而提升领域泛化行人重识别的性能。