视觉大模型 / VLM

Do VLMs Align Better with Humans than LLMs during Natural Reading?

VLMs 在自然阅读中可能不会全局性地增强与人类的对齐性优于 LLMs

Jinzhou Wu, Zhengwu Ma, Jixing Li, Baoping Tang, Zitong Lu

机构 * Department of Mechanical and Vehicle Engineering, Chongqing University（重庆大学机械与车辆工程学院） ； Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学与翻译系） ； McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 通过严格文本设置比较LLM和VLM，发现多模态预训练在自然阅读中未带来全局性人类对齐优势，但视觉语义内容强的句子中VLM有选择性优势。

Comments 16 pages, 5 figures

SeededGrasp: Language-Guided Grasping in Complex Scenes with Multiple Embodiments

SeededGrasp：复杂场景中多实体语言引导抓取

Yang Xu, Gurpreet Singh Mukker, Raymond Wang, Jasper Gerigk, Maria Attarian, Igor Gilitschenski

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； University of British Columbia（英属哥伦比亚大学） ； Google Deepmind（谷歌DeepMind） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 针对复杂场景中机器人抓取问题，提出 SeededGrasp 框架，通过 VLM 预测种子点，结合轻量级抓取生成模型，解耦语义与几何执行，无需端到端训练，发布多实体数据集，实验证明该方法优于基线。

Follow My Eyes: Backdoor Attacks on Goal-Directed Scanpath Prediction

跟随我的眼睛：基于VLM的扫视路径预测的后门攻击

Diana Romero, Mutahar Ali, Momin Ahmad Khan, Habiba Farrukh, Fatima Anwar, Salma Elmalaki

专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)

AI总结 本文首次研究了针对基于VLM的扫视路径预测的后门攻击，通过设计两种可变输出攻击方法，展示了如何在不同触发模式下绕过检测，验证了边缘部署系统的实际威胁。

Brevity is the Soul of Inference Efficiency: Inducing Concision in VLMs via Data Curation

简洁是推理效率的灵魂：通过数据策展诱导VLM的简洁性

DatologyAI, :, Matthew L. Leavitt, Siddharth Joshi, Haoli Yin, Rishabh Adiga, Haakon Mongstad, Alvin Deng, David Schwab, Bogdan Gaza, Ari Morcos

机构 * DatologyAI 纠错

专题命中 VLM训练与架构 ：VLM(title_cn,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出通过预训练数据策展诱导视觉语言模型输出简洁答案，从而降低推理成本，在保持精度的同时实现35倍成本优势。

Comments 36 pages, see https://datologyai.com for more information

"I'm Not Mad, Just Focused'': Understanding Human Emotions in Human-Robot Collaboration

“我没生气，只是专注”：理解人机协作中的人类情绪

Seung Chan Hong, Dana Kulić, Leimin Tian

机构 * Faculty of Engineering, Monash University（莫纳什大学工程学院） ； CSIRO Robotics（CSIRO机器人实验室） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision language model(abstract)

AI总结 提出基于视觉语言模型（VLM）的情绪识别系统，利用上下文理解改善人机协作中的情绪解读，实验表明其语义相似性和情感对齐优于基线CNN系统，且用户偏好情绪自适应机器人行为。

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 7, pp. 8260-8267, July 2026

Wall-OSS-0.5 Technical Report

Wall-OSS-0.5 技术报告

Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vincent Chen, Harrison Huang, James Wang, Dance Kuzi, Andy Zhai, Hang Su, Roy Gan, Lucy Liang, Hao Wang, Qian Wang

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；grounding(abstract)

AI总结 本文提出Wall-OSS-0.5，一个基于3B VLM骨干网络并增强动作生成组件的4B开源VLA模型，通过梯度桥接联合训练策略，在超过20个实体上预训练，实现零样本真实机器人行为，并在微调后超越π_0.5，证明VLA预训练本身即可产生可执行的机器人能力。

ICED: Concept-level Machine Unlearning via Interpretable Concept Decomposition

ICED: 通过可解释的概念分解实现概念级机器去学习

Shen Lin, Jing Lin, Junhao Dong, Piotr Koniusz, Li Xu

机构 * Fujian Normal University（福建师范大学） ； Nanyang Technological University（南洋理工大学） ； University of New South Wales（新南威尔士大学） ； Data61 CSIRO（Data61澳大利亚联邦科学与工业研究组织） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出ICED框架，通过多模态大语言模型构建任务特定概念词汇，实现VLMs中概念级去学习，有效去除目标知识并保留非目标语义，实验表明其在目标遗忘和模型效用方面表现优异。

Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs

字典对齐的概念控制用于保护多模态大语言模型

Jinqi Luo, Jinyu Yang, Tal Neiman, Lei Fan, Bing Yin, Son Tran, Mubarak Shah, René Vidal

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Amazon（亚马逊） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；InternVL(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出字典对齐的概念控制框架，通过定制概念字典和稀疏自编码器实现对多模态大语言模型激活的精细控制，提升安全性的同时保持通用能力。

Comments Accepted in CVPR 2026. Project page: https://peterljq.github.io/project/daco

Feedback-Driven Vision-Language Alignment with Minimal Human Supervision

Giorgio Giannone, Ruoteng Li, Qianli Feng, Evgeny Perevodchikov, Rui Chen, Aleix Martinez

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；grounding(abstract)

Comments Preprint

Distilling Vision-Language Models for Robust Traffic Sign Perception in Autonomous Vehicles

用于自动驾驶汽车鲁棒交通标志感知的视觉-语言模型蒸馏

Pedram MohajerAnsari, Amir Salarpour, Mert D. Pesé

机构 * Clemson University（克莱姆森大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究提出LAMDA框架，通过冻结OpenCLIP文本编码器构建原型库监督视觉特征，在GTSRB和LISA数据集上，可同时提升TSR模型对三类物理攻击的鲁棒性且不降低干净准确率。

Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

Decoupled Similarity for Task-Aware Token Pruning in Large Vision-Language Models

解耦相似性用于大视觉-语言模型中的任务感知token剪枝

Kexin Ma, Jing Xiao, Chaofeng Chen, Geyong Min, Guibo Zhu, Jinqiao Wang, Liang Liao

机构 * Wuhan University（武汉大学） ； University of Exeter（埃克塞特大学） ； Chinese Academy of Sciences（中国科学院） ； Xi'an University of Electronic Science and Technology（西安电子科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出DeSAP方法，通过解耦相似性实现精准任务感知token剪枝，提升大视觉-语言模型的效率与性能，实验表明在不同基准和架构上均优于现有方法。

Comments Accepted at ACM Multimedia 2026. Camera-ready version

AdaBoosting Text Prompts for Vision-Language Models

AdaBoosting 文本提示用于视觉-语言模型

Seokhee Jin, Changhwan Sung, Sunung Mun, Hoyoung Kim, Jungseul Ok

机构 * KT Corporation（KT公司） ； Pohang University of Science and Technology (POSTECH)（浦项科技大学） ； National AI Research Lab（国家人工智能研究实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.LG

AI总结 提出文本提示提升（TPB）框架，通过AdaBoost策略将每个文本提示分类器视为弱学习器，顺序集成以聚焦难分类样本，提升少样本分类精度并实现跨模型迁移。

Comments Accepted to ECCV 2026 Spotlight

ArchiveGPT: A human-centered evaluation of using a vision language model for image cataloguing

Line Abele, Gerrit Anders, Tolgahan Aydın, Jürgen Buder, Helen Fischer, Dominik Kimmel, Markus Huff

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.AI

Comments 56 pages, 7 figures

Journal ref Humanit. Soc. Sci. Commun. 13, 300 (2026)

Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models

捕捉令牌趋势以实现多模态大语言模型中无需训练的令牌剪枝

Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

机构 * Xiamen University（厦门大学） ； Xiamen Ocean Vocational College（厦门海洋职业技术学院） ； Sino-Russian Research Center for Digital Economy（中俄数字经济研究中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 该研究针对多模态大语言模型现有无训练剪枝方法忽略令牌重要性动态变化的问题，提出趋势感知剪枝框架，通过捕捉注意力流动量实现动态修正，大幅减少视觉令牌且保持性能，实现高效多模态推理。

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

Hybrid Advantage Estimation with Unified Critic for VLM Agentic Reinforcement Learning

用于视觉语言模型智能体强化学习的统一评论家混合优势估计

Wenxuan Zhang, Yuhui Wang, Donggang Jia, Xiaoqian Shen, Jian Ding, Ivan Viola, Jürgen Schmidhuber, Mohamed Elhoseiny

机构 * KAUST（沙特阿卜杜拉国王科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 研究视觉语言模型智能体强化学习，提出HyGAE框架，用统一评论家估计值，推导混合优势联合优化令牌和轮次级目标，在多轮决策环境评估中平均成功率91%，比其他方法显著提升10%，证明混合优势解析形式对优化关键。

Comments Accepted by ECCV 2026

UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models

UltraViT：用于大型视觉语言模型的延迟优化设备端视觉编码器

Ioannis Maniadis Metaxas, Adrian Bulat, Alberto Baldrati, Anestis Zaganidis, Yassine Ouali, Hyeonuk Kim, Georgios Tzimiropoulos

机构 * Samsung AI Cambridge（三星人工智能剑桥实验室） ； Technical University of Iasi（雅西技术大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型在设备端部署受限问题，提出UltraViT视觉编码器，通过考虑设备延迟设计金字塔架构，并采用两阶段生成式预训练策略，有效提升编码效率，优于现有基线。

Comments Accepted at ECCV 2026

MQAdapter: Multi-Modal Quantum Adapter for Coarse-to-Fine VLM Fine-tuning

MQAdapter：用于从粗到细的视觉语言模型微调的多模态量子适配器

Yumiao Zhao, Bo Jiang, Min Lu, Xiao Wang, Jin Tang

机构 * Anhui University（安徽大学） ； Origin Quantum Computing Company Limited（本源量子计算有限公司） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对视觉语言模型在少样本学习中细粒度区分不足的问题，提出多模态量子适配器MQAdapter。先检索Top-K候选类别作语义锚点，再用跨模态量子学习机制，利用量子特性建模高阶交互，细化视觉特征，参数高效且能集成现有算法提升性能。

Reward Valuation in Vision Language Models: Causal Mechanisms Underlying Anhedonia

视觉语言模型中的奖励估值：快感缺乏背后的因果机制

Melika Honarmand, Samin Mahdipour Aghabagher, Martin Schrimpf

机构 * EPFL（苏黎世联邦理工学院） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；vision-language model(abstract)；分类 cs.LG

AI总结 研究探讨视觉语言模型中奖励估值情况，基于神经科学观点，通过有针对性扰动识别奖励预期单元，测试其因果作用，发现模型存在奖励估值和预期缺陷，结果反映了人工智能模型与人类平行的奖励估值回路。

Evaluating and Understanding Model Editing for Medical Vision Language Models

医学视觉语言模型的模型编辑评估与理解

Guli Zhu, Chenwei Wu, Liyue Shen

机构 * EECS, University of Michigan（密歇根大学电子工程与计算机科学系） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI

AI总结 针对现有多模态编辑基准不适配临床需求的问题，提出临床基准M3Bench，测试多类编辑方法的性能短板，为医学VLM部署后安全适配提供支撑。

Comments Accepted to the European Conference on Computer Vision (ECCV) 2026. Code and benchmark are available at https://github.com/BioMed-AI-Lab-U-Michgan/M3Bench

MVPruner: Dynamic Token Pruning for Accelerating Multi-view Vision-Language Models in Autonomous Driving

MVPruner: 用于加速自动驾驶中多视图视觉语言模型的动态令牌剪枝

Nan Yang, Zhanwen Liu, Linfeng Zhang, Shangyu Xie, Yang Wang, Wenzhuo Zhou, Xiangmo Zhao

机构 * School of Information Engineering, Chang’an University, China（长安大学信息工程学院） ； School of Artificial Intelligence, Shanghai Jiaotong University, China（上海交通大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出MVPruner，一种两阶段自适应令牌剪枝方法，通过动态分配剪枝预算和基于指令的令牌选择，在保持精度的同时大幅降低计算量，实现多视图视觉语言模型的高效推理。

Comments accepted by ECCV26

Multimodal Large Language Model driven Radiology Report Generation with Clinical Knowledge Enhancement

基于多模态大语言模型的放射科报告生成与临床知识增强

Miaojing Shi, Tianyu Cen, Zijie Yue, Meng Wei, Oluwatosin Alabi, Tom Vercauteren

机构 * College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海自主智能无人系统科学中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出一种融合多模态大语言模型与临床知识的放射科报告生成方法，通过解剖学特征提取、多模态报告生成及多任务学习提升报告的临床相关性与准确性。

Privacy-Aware Visual Language Models

隐私感知的视觉语言模型

Laurens Samson, Nimrod Barazani, Sennay Ghebreab, Yuki M. Asano

机构 * Socially-Intelligent Artificial Systems Group, University of Amsterdam（智能社会人工智能系统组，阿姆斯特丹大学） ； University of Amsterdam（阿姆斯特丹大学） ； Fundamental AI Lab, University of Technology Nuremberg（基础人工智能实验室，纽伦堡技术大学） 纠错

专题命中 VLM训练与架构 ：visual language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 针对视觉语言模型隐私理解不足的问题，构建高质量基准数据集PrivBench和指令微调数据集PrivTune，通过少量样本微调显著提升隐私敏感性，性能超越GPT-4。

Comments Accepted at Transactions on Machine Learning Research (TMLR)

Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models

多模态大语言模型中基于谱演化引导的令牌剪枝

Bin Chen, Yuxiang Cai, Yadan Luo, Yi Zhang, Jianwei Yin, Zhi Chen

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Zhejiang Key Laboratory of Digital-Intelligence Service Technology（浙江省数字化服务技术重点实验室） ； The University of Queensland（昆士兰大学） ； Singapore Management University（新加坡管理大学） ； The University of Southern Queensland（南昆士兰大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出跨层谱演化（CLSE）框架，通过频域分析令牌表示在Transformer层间的演化来评估重要性，实现无训练剪枝，在保持性能的同时减少计算开销。

Comments Accepted to ECCV 2026

Black-Box Continual Learning for Vision-Language Models

视觉语言模型的黑盒持续学习

Yuting Li, Weihang Fang, Haoyuan Gao, Linghe Kong, Yexin Li, Lichao Sun, Weiran Huang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出黑盒持续学习基准Black-CL，仅通过输出嵌入或logits进行学习，并设计BETA方法，通过优化文本原型实现与白盒方法相当的性能。

Dense Coordinate-List Fine-Tuning Induces a Controllable Interference Surface in Vision-Language Models

密集坐标列表微调在视觉语言模型中诱导可控干扰面

Chenyu Zhou, Qiliang Jiang, Boguang Pan

机构 * School of Engineering, Institute of Science Tokyo（东京科学大学工学院） ； College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院） ； Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息生产系统研究生院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.AI

AI总结 研究密集坐标列表微调对视觉语言模型结构化输出（如重复、终止）的影响，发现其产生结构绑定且跨家族的干扰面，可通过目标信号分离和结构轴探针进行测量与控制。

Readable Yet Unpredictable: Rotated-Outcome Prediction in Vision-Language Models

可读但不可预测：视觉语言模型中的旋转结果预测

Lexin Wang, Shenghua Liu, Yiwei Wang, Jiafeng Guo, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 研究视觉语言模型能否仅从原图预测180°旋转后的内容，引入RotOutBench基准，发现模型能识别但无法预测旋转结果。

Improving Vision-language Models with Perception-centric Process Reward Models

通过以感知为中心的过程奖励模型改进视觉-语言模型

Yingqian Min, Kun Zhou, Yifan Li, Yuhuan Wu, Han Peng, Yifan Du, Wayne Xin Zhao, Min Yang, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Bytedance（字节跳动） ； University of California, San Diego（加州大学圣地亚哥分校） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出Perceval模型，通过token级错误定位提升视觉-语言模型的推理能力，通过感知驱动的监督策略实现细粒度训练与推理优化，实验显示在多个领域基准上显著提升性能。

Comments 8 pages

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 33099-33109

Interpretable Modeling of Driver Attention Shifts with a Vision-Language Model

基于视觉-语言模型的驾驶员注意力转移可解释建模

Kaiser Hamid, Khandakar Ashrafi Akbar, Peihang Li, Nade Liang

机构 * Texas Tech University（德克萨斯理工大学） ； Towson University（托森大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本研究通过少量人工监督微调视觉-语言模型，生成可解释的驾驶员注意力转移描述，以补充传统注视热图，提升人因分析、监控和态势感知支持。

Thinking in Blender: Staged Executable Inverse Graphics with Vision-Language Models

在Blender中思考：基于视觉语言模型的分阶段可执行逆向图形

Guangzhao He, Rundong Luo, Wei-Chiu Ma, Hadar Averbuch-Elor

机构 * Cornell University（康奈尔大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出分阶段可执行逆向图形（SEIG）框架，利用预训练视觉语言模型直接从单张图像重建可编辑的Blender程序，无需专用基础模型或可微渲染，通过逐步细化几何、材质、组合和光照提升重建保真度。