视觉大模型 / VLM

Making MLLMs Blind: Adversarial Smuggling Attacks in MLLM Content Moderation

让 MLLMs 失明：MLLM 内容审核中的对抗走私攻击

Zhiheng Li, Zongyang Ma, Yuntong Pan, Ziqi Zhang, Xiaolei Lv, Bo Li, Jun Gao, Jianing Zhang, Chunfeng Yuan, Bing Li, Weiming Hu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information（北京市多模态信息超智能安全重点实验室） ； Hellogroup ； University of Washington（华盛顿大学） ； Jilin University（吉林大学） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文揭示了MLLM在内容审核中面临的新威胁——对抗走私攻击，通过SmuggleBench基准测试发现多种模型易受攻击，提出通过感知和推理角度分析其根本原因并探索缓解策略。

Comments Accepted to ACL 2026. 19 pages, 6 figures

M-ArtAgent: Evidence-Based Multimodal Agent for Implicit Art Influence Discovery

M-ArtAgent：基于证据的多模态代理用于隐式艺术影响发现

Hanyi Liu, Zhonghao Jiu, Minghao Wang, Yuhang Xie, Heran Yang

机构 * China Electronics Technology Group Co., Ltd.（中国电子科技集团有限公司） ； School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院） ； Department of Chemical and Biological Engineering, Hong Kong University of Science and Technology（香港科技大学化学与生物工程系） ； University of California San Diego（加州大学圣迭戈分校） ； Northeastern University（东北大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出M-ArtAgent，通过概率裁决框架解决隐式艺术影响发现问题，结合多模态感知与领域约束的反驳机制，实现83.7%的F1分数和0.910的ROC-AUC。

Comments 13 pages, 5 figures, submitted to IEEE Access

GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control

GIRL：通过信息论幻觉控制实现生成性想象强化学习

Prakul Sunil Hiremath

机构 * Department of Computer Science and Engineering, Visvesvaraya Technological University (VTU), Belagavi, India（维斯瓦拉亚科技大学计算机科学与工程系，贝拉加维，印度） ； Aliens on Earth (AoE) Autonomous Research Group, Belagavi, India（地球外星人自主研究组，贝拉加维，印度） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 GIRL通过引入跨模态锚定信号和不确定性适应信任区域瓶颈，解决模型误差累积导致的轨迹漂移问题，提升长周期任务的样本效率和回报性能。

Comments 20 pages, 2 figures, 7 tables; reinforcement learning, world models

Small Vision-Language Models are Smart Compressors for Long Video Understanding

小视觉-语言模型是长视频理解的智能压缩器

Junjie Fei, Jun Chen, Zechun Liu, Yunyang Xiong, Chong Zhou, Wei Wen, Junlin Han, Mingchen Zhuge, Saksham Suri, Qi Qian, Shuming Liu, Lemeng Wu, Raghuraman Krishnamoorthi, Vikas Chandra, Mohamed Elhoseiny, Chenchen Zhu

机构 * Meta AI ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出Tempo框架，利用小视觉-语言模型压缩长视频，通过自适应令牌分配实现高效压缩，实验显示其在极端长视频任务中表现优异。

Comments Project page and demo are available at https://FeiElysia.github.io/tempo-page/

DSCA: Dynamic Subspace Concept Alignment for Lifelong VLM Editing

DSCA: 动态子空间概念对齐用于终身视觉语言模型编辑

Gyanendra Das, Sai Satyam Jena

机构 * Zynix AI, FL, USA（Zynix AI（美国佛罗里达州）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 DSCA通过动态子空间对齐技术，在视觉语言模型中实现精准非干扰编辑，提升终身学习的稳定性与知识保留能力。

Comments Accepted at CVPR 2026

Understanding Task Transfer in Vision-Language Models

理解视觉-语言模型中的任务迁移

Bhuvan Sachdeva, Karan Uppal, Abhinav Java, Vineeth N. Balasubramanian

机构 * Microsoft Research India（微软研究院印度） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文研究视觉-语言模型中任务迁移的系统性影响，提出PGF指标衡量任务迁移对性能的影响，揭示任务间的正负迁移关系，指导更高效的模型训练。

Comments CVPR 2026 (Oral)

ParkSense: Where Should a Delivery Driver Park? Leveraging Idle AV Compute and Vision-Language Models

ParkSense: 送货司机应该在哪里停车？利用空闲自动驾驶计算和视觉-语言模型

Die Hu, Henan Li

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Independent Researcher（独立研究员） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出ParkSense框架，利用自动驾驶低风险状态下的空闲计算资源运行视觉-语言模型，解决精准停车问题，并提出Delivery-Aware Precision Parking问题，展示量化7B VLM在硬件上的推理速度及对司机收入的提升。

Comments 7 pages, 3 tables. No university resources were used for this work

Towards Effective Long Video Understanding of Multimodal Large Language Models via One-shot Clip Retrieval

通过一次剪辑检索增强多模态大语言模型的长视频理解

Tao Chen, Shaobo Ju, Qiong Wu, Chenxin Fang, Kun Zhang, Jun Peng, Hui Li, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China（多媒体可信感知与高效计算教育部重点实验室） ； Xiamen University（厦门大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出OneClip-RAG方法，通过一次剪辑检索提升多模态大语言模型对长视频的理解能力，改进知识完整性和语义连贯性，并设计新数据集和训练方案。

CodecSight: Leveraging Video Codec Signals for Efficient Streaming VLM Inference

CodecSight: 利用视频编码信号实现高效的流式视频语言模型推理

Yulin Zou, Yan Chen, Wenyan Chen, JooYoung Park, Shivaraman Nitin, Luo Tao, Francisco Romero, Dmitrii Ustiugov

机构 * Beihang University（北京航空航天大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 CodecSight通过利用视频编码器内嵌的时空结构信息，实现流式视频分析的高效推理，提升吞吐量并减少GPU计算量，同时保持高精度。

Comments 18 pages, 34 figures

ReAlign: Optimizing the Visual Document Retriever with Reasoning-Guided Fine-Grained Alignment

ReAlign：通过推理引导的细粒度对齐优化视觉文档检索

Hao Yang, Yifan Ji, Zhipeng Xu, Zhenghao Liu, Yukun Yan, Zulong Chen, Shuo Wang, Yu Gu, Ge Yu

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 本文提出ReAlign方法，利用VLM推理能力生成细粒度视觉描述作为监督信号，提升视觉文档检索性能，实验表明在不同领域数据集上均取得2%的相对提升。

T-Gated Adapter: A Lightweight Temporal Adapter for Vision-Language Medical Segmentation

T-Gated Adapter：一种轻量级时间适配器用于视觉-语言医学分割

Pranjal Khadka

机构 * Independent Researcher（独立研究员） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出T-Gated Adapter，通过注入相邻切片上下文提升医学图像分割的连续性，实验表明在FLARE22、BTCV和AMOS22数据集上均取得显著提升，且在跨模态任务中表现优于传统3D模型。

Comments Accepted at the PHAROS-AIF-MIH Workshop at CVPR 2026

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

HAWK：多模态模型中的头部重要性感知视觉标记修剪

Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies, Inc（长鑫存储技术有限公司） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 HAWK通过识别不同注意力头在视觉任务中的重要性，有效保留关键视觉标记，提升多模态模型的推理效率与性能。

Comments CVPR 2026

When Fine-Tuning Changes the Evidence: Architecture-Dependent Semantic Drift in Chest X-Ray Explanations

当微调改变证据：在胸部X光解释中的架构依赖性语义漂移

Kabilan Elangovan, Daniel Ting

专题命中 VLM训练与架构 ：visual reasoning(abstract)；分类 cs.CV

AI总结 研究探讨了在多类设置中，微调导致的视觉证据变化，通过评估不同架构在两阶段训练中的表现，揭示了架构依赖性的证据结构重组。

What They Saw, Not Just Where They Looked: Semantic Scanpath Similarity via VLMs and NLP metric

他们所见，而不仅仅是他们看的地方：通过VLMs和NLP度量的语义扫视路径相似性

Mohamed Amine Kerkouri, Marouane Tliba, Bin Wang, Aladine Chetouani, Ulas Bagci, Alessandro Bruno

机构 * Northwestern University（西北大学） ； Radiology, Northwestern University（西北大学放射学系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种整合视觉语言模型的语义扫视路径相似性框架，通过控制视觉上下文生成文本描述，利用NLP度量计算语义相似性，揭示空间差异下的内容一致性。

Comments Accepted at ETRA 2026 GenAI workshop

See the Forest for the Trees: Loosely Speculative Decoding via Visual-Semantic Guidance for Efficient Inference of Video LLMs

见林木而非树木：通过视觉-语义引导实现松散推测解码以提高视频大语言模型的推理效率

Yicheng Ji, Jun Zhang, Jinpeng Chen, Cong Wang, Lidan Shou, Gang Chen, Huan Li

机构 * ZJU（浙江大学） ； BUPT（北京邮电大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)

AI总结 本文提出LVSpec，一种无需训练的松散推测解码框架，通过视觉相关锚点识别和位置移位容忍机制，提升视频大语言模型的推理速度和精度。

Comments ACL'2026 Main Conference

Reflection-Based Task Adaptation for Self-Improving VLA

基于反射的任务适应用于自我改进的VLA

Baicheng Li, Dong Wu, Zike Yan, Xinchen Liu, Lusong Li, Zecui Zeng, Hongbin Zha

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； JD Explore Academy（京东探索研究院） ； AIR, Tsinghua University（清华大学智能产业研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)

AI总结 本文提出反射式自我适应框架，通过双路径架构实现快速自主任务适应，结合失败驱动的强化学习与成功驱动的质量引导微调，提升机器人在复杂任务中的适应效率和成功率。

ABMAMBA: Multimodal Large Language Model with Aligned Hierarchical Bidirectional Scan for Efficient Video Captioning

ABMAMBA: 多模态大语言模型中的对齐层次双向扫描用于高效的视频描述

Daichi Yashima, Shuhei Kurita, Yusuke Oda, Shuntaro Suzuki, Seitaro Otsuki, Komei Sugiura

机构 * Keio University（庆应义塾大学） ； National Institute of Informatics（国立信息学研究所） ； National Institute of Informatics Research and Development Center for Large Language Models（国立信息学研究所大型语言模型研发中心） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出ABMamba，一种具有线性计算复杂度的多模态大语言模型，通过替代二次注意力机制，实现视频序列的高效处理，在视频描述任务中表现出色。

Comments Accepted to ICPR 2026

EEG2Vision: A Multimodal EEG-Based Framework for 2D Visual Reconstruction in Cognitive Neuroscience

EEG2Vision：一种基于EEG的多模态框架，用于认知神经科学中的2D视觉重建

Emanuele Balloni, Emanuele Frontoni, Chiara Matti, Marina Paolanti, Roberto Pierdicca, Emiliano Santarnecchi

机构 * Università Politecnica delle Marche（马尔凯理工大学） ； University of Macerata（马切拉塔大学） ； Horizon Intelligence Labs（地平线智能实验室） ； Harvard Medical School（哈佛医学院） ； Massachusetts General Hospital（麻省总医院） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 EEG2Vision通过多模态大语言模型和图像扩散模型提升低密度电极配置下的视觉重建质量，验证了低分辨率EEG设备在实时脑-图像应用中的可行性。

Comments 17 pages, 5 figures

Exploring MLLMs Perception of Network Visualization Principles

探索 MLLMs 对网络可视化原则的感知

Jacob Miller, Markus Wallinger, Ludwig Felder, Timo Brand, Henry Förster, Johannes Zink, Chunyang Chen, Stephen Kobourov

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 研究测试多模态大语言模型是否能在网络布局属性感知任务中匹配人类表现，发现MLLMs在同等条件下表现优于非专家，且提示工程可提升性能，表明其可能依赖视觉代理而非计算实际值。