视觉大模型 / VLM

SeamEdit: A Black-Box VLM-Agnostic Pipeline for Large-Image Semantic Editing

SeamEdit: 一种用于大图像语义编辑的黑盒VLM无关流水线

Xiangyu Lyu, Dan Lei

机构 * Technische Universität Darmstadt（达姆施塔特工业大学） ； Fine-Arts Educator, Yuncheng Middle School（运城中学美术教师） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；分类 cs.CV

AI总结 提出SeamEdit，一种无需训练、模型无关的流水线，通过五阶段后处理解决大图像分块编辑中的语义变形、对齐漂移和接缝伪影问题，实现高质量语义编辑。

Comments 19 pages, 9 figures, 2 tables

Vision Language Models as Values Detectors

视觉语言模型作为价值检测器

Giulio Antonio Abbo, Tony Belpaeme

机构 * IDLab-AIRO, Ghent University – imec, Belgium（IDLab-AIRO、根特大学 – imec、比利时） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision language model(title)；分类 cs.CV

AI总结 本文研究了先进LLM与人类标注者在家庭环境场景中检测相关元素的对齐情况，发现LLaVA 34B表现最佳但仍需改进，表明LLM在检测图像中价值元素方面有潜力。

Comments 13 pages, 2 figures

Journal ref Value Engineering in Artificial Intelligence (VALE 2024) (LNAI,volume 15356)

TGV-KV: Text-Grounded KV Eviction for Vision-Language Models

TGV-KV：面向视觉语言模型的文本引导KV驱逐方法

Jizhihui Liu, Ruizi Han, Miao Zhang, Rui Shao, Xuebo Liu, Weili Guan, Yaowei Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对视觉语言模型中视觉信息冗余导致的KV缓存内存消耗问题，提出基于文本引导的KV驱逐方法TGV-KV，通过文本-视觉预算分配、文本加权排序和文本优先保留策略，在保持高精度的同时显著提升推理吞吐量。

Comments Accepted by ICML-2026

Universal Boosts, Specific Suppressors: Sparse Autoencoder Steering of Medical Vision-Language Models

通用增强，特定抑制：基于稀疏自编码器引导的医学视觉语言模型

Farhad Nooralahzadeh, Benjamin Gundersen, Nicolas Deperrois, Hidetoshi Matsuom, Mizuho Nishio, Thomas Frauenfelder, Ahmed Allam, Christian Blüthgen, Michael Moor, Michael Krauthammer

机构 * University of Zurich and University Hospital of Zurich（苏黎世大学及苏黎世大学医院） ； Kobe University（Kobe大学） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Zurich University of Applied Sciences（苏黎世应用科学大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；VLM(abstract_cn)；分类 cs.CV

AI总结 本文提出一种无需权重更新的解码时残差引导方法，通过每token稀疏自编码器（SAE）对医学视觉语言模型进行干预，抑制幻觉并提升报告质量，在多个模型上取得显著改进。

TRIO: Token Reduction via Inference-Objective Guidance for Efficient Vision-Language Models

TRIO: 通过推理目标引导的令牌缩减以提高视觉-语言模型的效率

Haokui Zhang, Congyang Ou, Dawei Yan, Peng Wang, Qingsen Yan, Yu Zhang, Ying Li, Rong Xiao

机构 * School of Cyberspace Security, Northwestern Polytechnical University（网络安全学院，西北工业大学） ； School of Computer Science, Northwestern Polytechnical University（计算机学院，西北工业大学） ； Intellifusion（智融科技） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；VLM(abstract)；分类 cs.CV

AI总结 TRIO从推理目标角度出发，通过梯度显著性指导视觉令牌压缩，保留输出不变性，提升视觉-语言模型的推理效率。

Bridging Time and Space: Decoupled Spatio-Temporal Alignment for Video Grounding

弥合时空：解耦的时空对齐用于视频定位

Xuezhen Tu, Jingyu Wu, Fangyu Kang, Qingpeng Nong, Kaijin Zhang, Chaoyue Niu, Fan Wu

机构 * Shanghai Jiao Tong University（上海交通大学） ； ZTE Corporation（中兴通讯） 纠错

专题命中 VLM训练与架构 ：grounding(title,abstract)；MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Bridge-STG框架，通过解耦时空定位并保持语义连贯性，解决视频定位中时空对齐和视觉token冗余问题，实验表明其在多个基准上达到SOTA性能。

Scouting By Reward: VLM-TO-IRL-Driven Player Selection For Esports

通过奖励进行 scouting：由 VLM-TO-IRL 驱动的电子竞技玩家选拔

Qing Yan, Wenyu Yang, Yufei Wang, Wenhao Ma, Linchong Hu, Yifei Jin, Anton Dahbura

机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Cornell University（康奈尔大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,title_cn)；vision-language model(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一种基于逆强化学习的电子竞技玩家选拔框架，通过学习专业选手的奖励函数，利用多模态双分支架构和 GAIL 目标实现玩家风格匹配评估，提升人才发现效率。

LLaVA$^3$: Representing 3D Scenes like a Cubist Painter to Boost 3D Scene Understanding of VLMs

LLaVA$^3$：像立体主义画家一样表示3D场景以提升VLM的3D场景理解

Doriand Petit, Steve Bourgeois, Vincent Gay-Bellile, Florian Chabot, Loïc Barthe

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 LLaVA$^3$通过立体主义方法提升VLM对3D场景的理解能力，利用多视角2D图像无需微调实现更优的3D场景理解。

Comments Accepted at AAAI'26

Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See

Zeliang Zhang, Phu Pham, Wentian Zhao, Kun Wan, Yu-Jhe Li, Jianing Zhou, Daniel Miranda, Ajinkya Kale, Chenliang Xu

专题命中 VLM训练与架构 ：MLLM(title,abstract)；LLaVA(abstract)；InternVL(abstract)；multimodal large language model(abstract)

OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models

OSReward：为跨平台计算机使用奖励模型建立标准化评估

Qiushi Sun, Kanzhi Cheng, Yian Wang, Bowen Yang, Hang Yan, Liheng Chen, Fangzhi Xu, Zichen Ding, Nuo Chen, Jialin Cao, Xingdong Gong, Zehao Li, Kaiming Jin, Xinfeng Yuan, Zhoumianze Liu, Jingyang Gong, Zhangyue Yin, Jiahui Gao, Zhiyong Wu, Tianbao Xie, Jianbing Zhang, Ben Kao, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Nanjing University（南京大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本研究推出OSReward基准评估VLM评判者的可靠性，构建OS-Shepherd开源奖励模型缩小成本差距，为规模化可靠CUA奖励设计提供参考

Comments Work in progress

Progressive Multimodal Alignment for Continual Instruction Tuning

用于持续指令微调的渐进式多模态对齐

Duzhen Zhang, Yahan Yu, Qiaoyi Su, Jiahua Dong, Tielin Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心） ； Kyoto University（京都大学） ； Migu Culture Technology Co.,Ltd.（咪咕文化科技有限公司） ； State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与类脑智能技术国家重点实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对多模态持续指令微调中投影器级遗忘问题，提出渐进式多模态对齐框架PMA，以亚线性参数增长平衡稳定性与可塑性，在多基准实验中提升了现有方法性能且适配多种MLLM主干。

Comments Accepted by ACM MM2026

CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning

CLASP: 基于语言驱动的机器人技能选择与组合，采用任务参数化学习

Markus Knauer, Valentin Gieraths, Tai Mai, Samuel Bustamante, Alin Albu-Schäffer, Freek Stulp, João Silvério

机构 * German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)（德国航空航天中心（DLR），机器人与机电一体化研究所（RMC）） ； Technical University of Munich (TUM)（慕尼黑工业大学（TUM）） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出CLASP架构，结合任务参数化核化运动基元（TP-KMP）与预训练视觉语言模型（VLM），通过自然语言命令实现技能选择、组合和主动学习，无需微调，在7自由度机械臂上达到73.3%-100%成功率。

Comments 23 pages, 11 figues, 4 tables, 1 listing

VLM-PAR: A Vision Language Model for Pedestrian Attribute Recognition

VLM-PAR：一种用于行人属性识别的视觉语言模型

Abdellah Zakaria Sellam, Salah Eddine Bekhouche, Fadi Dornaika, Cosimo Distante, Abdenour Hadid

机构 * Department of Innovation Engineering（创新工程系） ； University of Salento, Italy（意大利萨伦托大学） ； Institute of Applied Sciences and Intelligent Systems - CNR（应用科学与智能系统研究所 - CNR） ； University of the Basque Country UPV/EHU（巴斯克国家大学UPV/EHU） ； IKERBASQUE, Basque Foundation for Science（伊基塔斯克巴塞克基金会） ； Sorbonne University Abu Dhabi（索邦大学阿布扎比分校） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(title)；分类 cs.CV、cs.AI

AI总结 VLM-PAR通过整合大规模视觉语言预训练与跨模态细化，提升行人属性识别在类别不平衡和泛化挑战中的性能。

Image Prompt Reconstruction Attacks on Distributed MLLM Inference Frameworks

分布式多模态大模型推理框架上的图像提示重建攻击

Xinjian Luo, Hongyan Chang, Jianxin Wei, Yuncheng Wu, Xiaofeng Gao, Meikang Qiu, Ting Yu, Xue Liu

专题命中 VLM训练与架构 ：MLLM(title,summary_cn)

AI总结 研究分布式MLLM推理中中间嵌入泄露图像提示的风险，提出两种被动黑盒攻击方法MPAA和IEDA，实现像素级和语义级图像重建。

Mordal: Automated Pretrained Model Selection for Vision Language Models

Mordal: 面向视觉语言模型的自动化预训练模型选择

Shiqi He, Insu Jang, Mosharaf Chowdhury

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出Mordal框架，通过减少候选模型数量和评估时间，自动化搜索用户定义任务的最佳视觉语言模型，相比网格搜索降低GPU耗时8.9-11.6倍，加权Kendall's τ平均提升69%。

Late-Layer Fusion is Enough: Dual-Path Vision Token Routing for Multimodal Large Language Models under Visual Saturation

晚期融合足矣：面向视觉饱和的多模态大语言模型的双路径视觉令牌路由

Siyuan Liu, Jinyang Wu

机构 * School of Mechanics and Engineering Science, Peking University（北京大学力学与工程科学学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 针对多模态大语言模型中视觉令牌在深层饱和的问题，提出双路径视觉令牌路由（DPVR-LF），在饱和点将视觉令牌路由至单层可训练分支，仅最后层融合，以约3%可训练参数保持性能并减少计算。

Comments 18 pages, 4 figures. Submitted to Pattern Recognition

Geometry-Aware Distillation for Prompt Tuning Biomedical Vision-Language Models

几何感知蒸馏用于提示调优生物医学视觉-语言模型

Tran Dinh Tien, Zhiqiang Shen

机构 * Department of Machine Learning（机器学习系） ； Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出Omni-Geometry知识蒸馏（OGKD）框架，通过注入类别关系结构到教师模型，生成保留真实标签同时尊重类间几何的方向性目标，并设计全局几何感知蒸馏（GAD）和标签引导几何蒸馏（LGD）损失，在11个医学数据集上平均提升准确率1.7%-2.8%。

Comments Preprint. Code is available at https://github.com/tientrandinh/OGKD

Jailbreaking Vision-Language Models Through the Visual Modality

通过视觉模态 jailbreak 视觉-语言模型

Aharon Azulay, Jan Dubiński, Zhuoyun Li, Atharv Mittal, Yossi Gandelsman

机构 * Warsaw University of Technology（华沙理工大学） ； NASK National Research Institute（波兰国家研究研究院） ； University of Liverpool（利物浦大学） ； Indian Institute of Technology Roorkee（印度理工学院拉胡尔分校） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出四种利用视觉组件的 jailbreak 攻击，揭示了文本安全训练无法自动推广到视觉传达的有害意图，展示了视觉模态在安全对齐中的关键作用。

Comments Accepted to ICML 2026

AutoVDC: Automated Vision Data Cleaning Using Vision-Language Models

AutoVDC：利用视觉-语言模型实现自动化视觉数据清洗

Santosh Vasa, Aditi Ramadwar, Jnana Rama Krishna Darabattula, Md Zafar Anwar, Stanislaw Antol, Andrei Vatavu, Thomas Monninger, Sihao Ding

机构 * Mercedes-Benz Research & Development North America（梅赛德斯-奔驰北美研发公司） ； University of Stuttgart, Institute for Artificial Intelligence（斯图加特大学人工智能研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出AutoVDC框架，利用视觉-语言模型自动识别视觉数据集中的错误标注，提升数据质量。通过KITTI和nuImages数据集验证，展示了方法在错误检测和数据清洗中的高性能。

Comments Accepted to IV 2026 Drive-X Foundation Models for Autonomous Driving (Oral presentation)

UVLM: A Universal Vision-Language Model Loader for Reproducible Multimodal Benchmarking

UVLM：一种通用视觉-语言模型加载器，用于可重复的多模态基准测试

Joan Perez, Giovanni Fusco

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 UVLM提供统一接口加载和基准测试多种视觉-语言模型架构，支持LLaVA-NeXT和Qwen2.5-VL，通过抽象差异实现一致评估，具备多任务提示构建、共识验证和灵活token预算等功能。

Comments 22 pages, 3 figures

Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models

稀疏自编码器在视觉-语言模型中学习单义特征

Mateusz Pach, Shyamgopal Karthik, Quentin Bouniot, Serge Belongie, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Helmholtz Munich（亥姆霍兹慕尼黑） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Munich Data Science Institute（慕尼黑数据科学研究所） ； University of Tübingen（图宾根大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究通过稀疏自编码器提升视觉-语言模型中神经元的单义性，展示其在增强模型可解释性和可控性方面的有效性。

Comments Accepted at NeurIPS 2025

VLAD: A VLM-Augmented Autonomous Driving Framework with Hierarchical Planning and Interpretable Decision Process

Cristian Gariboldi, Hayato Tokida, Ken Kinjo, Yuki Asada, Alexander Carballo

机构 * Gifu University（福井大学） ； DENSO CORPORATION（Denso公司） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；visual language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 2025 IEEE 28th International Conference on Intelligent Transportation Systems (ITSC)

FastVLM: Efficient Vision Encoding for Vision Language Models

Pavan Kumar Anasosalu Vasu, Fartash Faghri, Chun-Liang Li, Cem Koc, Nate True, Albert Antony, Gokul Santhanam, James Gabriel, Peter Grasch, Oncel Tuzel, Hadi Pouransari

机构 * Apple（苹果公司） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments CVPR 2025

CompCap: Improving Multimodal Large Language Models with Composite Captions

Xiaohui Chen, Satya Narayan Shukla, Mahmoud Azab, Aashu Singh, Qifan Wang, David Yang, ShengYun Peng, Hanchao Yu, Shen Yan, Xuewen Zhang, Baosheng He

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

DUET-VLM：双阶段统一高效令牌减少用于VLM训练和推理

Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

机构 * Advanced Micro Devices, Inc. (AMD)（超威半导体公司（AMD）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 DUET-VLM通过双阶段令牌压缩框架，在保持语义的同时显著减少视觉令牌数量，实现高效训练和推理。

Comments 15 Pages, 8 figures, 15 tables, CVPR 2026; Code: AGI/DUET-VLM" target="_blank" rel="noopener">https://github.com/AMD-AGI/DUET-VLM

VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models

VADER：用于视频大语言模型幻觉缓解的自适应去偏方法

Dong Xing, Jiaxin Chen, Hang Yang, Peixun Liu, Qiushi Yang, Yuqing Wang

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本研究针对视频大语言模型的幻觉问题，提出无训练自适应去偏框架VADER，通过视觉焦点重分配与选择性证据擦除模块结合对比解码，在LLaVA-Video-7B等模型的EventHallusion任务上取得显著性能提升。

Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs

注意力头中的角色断裂：理解和检测视觉语言模型中的幻觉

Mingyu Wang, Weilin Jin, Wenbo Li, Haoyang Huang, Nan Duan, Tong Jia, Chaoran Luo, Ying Li

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究提出注意力头的角色断裂现象，构建无需微调的轻量级线性检测器，在6个VLMs和4个基准上平均AUROC达93.23，可检测VLM幻觉并支持干预操作。

Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs

超越多样性：将视觉令牌剪枝视为子空间重建以实现高效视觉语言模型

Jaeyeon Lee, Shunjie Wen, Dong-Wan Choi

机构 * Inha University（延世大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出SPARE方法，将令牌剪枝重构为子空间重建问题，通过迭代选择投影残差大的令牌进行剪枝，并引入反相关性机制保留上下文信息，在LLaVA上剪枝94%令牌仍保持95%性能。

The Latent Bridge: A Continuous Slow-Fast Channel for Real-Time Game Agents

潜在桥：用于实时游戏智能体的连续慢-快通道

Bojie Li, Noah Shi

机构 * Pine AI ； University of Washington（华盛顿大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.AI

AI总结 针对实时游戏智能体，提出一种可学习的连续潜在桥（Latent Bridge），将慢速推理VLM的残差投影到快速反应VLM的输入嵌入空间，在7个Atari游戏和驾驶域中匹配或超越文本桥，且增益高度可预测。

Do Modern Video-LLMs Need to Listen? A Benchmark Audit and Scalable Remedy

现代视频大语言模型需要听觉吗？基准审计与可扩展补救措施

Geewook Kim, Minjoon Seo

机构 * NAVER Cloud AI（NAVER云AI） ； KAIST AI（韩国国立庆北大学AI） 纠错

专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.CV

AI总结 通过审计10个视频基准发现多数任务仅凭视觉即可解决，音频未被充分利用；提出在LLaVA-OneVision上附加语音/音频编码器，采用25倍令牌压缩，实验证明音频在需要语音理解或跨模态对齐的任务上带来显著提升。

Comments Accepted to Interspeech 2026