视觉大模型 / VLM

LLM Enhanced Action Recognition via Hierarchical Global-Local Skeleton-Language Model

通过分层全局-局部骨架-语言模型增强动作识别

Ruosi Wang, Fangwei Zuo, Lei Li, Zhaoqiang Xia

机构 * Northwestern Polytechnical University（西北工业大学） ； Shandong University of Finance and Economics（山东财经大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出HocSLM模型，通过分层全局-局部网络和大视觉-语言模型融合骨架与文本信息，提升动作识别的语义表达和跨模态理解能力，实验表明在三个主流数据集上达到最佳性能。

Scaling Sim-to-Real Reinforcement Learning for Robot VLAs with Generative 3D Worlds

在生成3D世界中扩展机器人视觉语言动作的强化学习

Andrew Choi, Xinjie Wang, Zhizhong Su, Wei Xu

机构 * Horizon Robotics（地平线机器人） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用生成3D世界模型来提升机器人视觉语言动作模型的泛化能力，通过生成多样化的交互场景，提高模拟到现实的迁移效果，并展示在真实世界中的性能提升。

Beyond Textual Knowledge-Leveraging Multimodal Knowledge Bases for Enhancing Vision-and-Language Navigation

超越文本知识的多模态知识库用于增强视觉-语言导航

Dongsheng Yang, Yinfeng Yu, Liejun Wang

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing（丝绸之路多语言认知计算联合国际研究实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出BTK框架，通过整合环境特定文本知识与生成图像知识库，提升视觉-语言导航中的语义 grounding 和跨模态对齐，实验表明在R2R和REVERIE数据集上性能显著提升。

Comments Main paper (37 pages). Accepted for publication by the Information Processing and Management,Volume 63,Issue 6,September 2026,104766

Language-Conditioned World Modeling for Visual Navigation

基于语言的视觉导航世界建模

Yifei Dong, Fengyi Wu, Yilong Dai, Lingdong Kong, Guangyu Chen, Xu Zhu, Qiyu Hu, Tianyu Wang, Johnalbert Garnica, Feng Liu, Siyu Huang, Qi Dai, Zhi-Qi Cheng

机构 * University of Washington（华盛顿大学） ； National University of Singapore（新加坡国立大学） ； Clemson University（克莱姆森大学） ； Drexel University（德雷塞尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了基于语言的视觉导航问题，提出LCVN数据集并开发了两种模型家族，通过语言 grounding、未来状态预测和动作生成实现统一任务学习。

Comments 19 pages, 6 figures, Code: https://github.com/F1y1113/LCVN

ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models

ACoT-VLA：面向视觉-语言-动作模型的行动链式推理

Linqing Zhong, Yi Liu, Yifei Wei, Ziyu Xiong, Maoqing Yao, Si Liu, Guanghui Ren

机构 * Beihang University（北京航空航天大学） ； AgiBot 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出ACoT-VLA，通过在动作空间中直接进行推理，改进视觉-语言-动作模型的行动生成，引入显式和隐式动作推理器，实验证明其在真实和仿真环境中的优越性。

Comments Accepted by Conference on Computer Vision and Pattern Recognition (CVPR) 2026

Goal-VLA: Image-Generative VLMs as Object-Centric World Models Empowering Zero-shot Robot Manipulation

Goal-VLA: 图像生成视觉语言模型作为对象中心世界模型，赋能零样本机器人操作

Haonan Chen, Jingxiang Guo, Bangjun Wang, Tianrui Zhang, Xuchuan Huang, Boren Zheng, Yiwen Hou, Chenrui Tie, Jiajun Deng, Lin Shao

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； The HKU Musketeers Foundation Institute of Data Science, The University of Hong Kong（香港大学数据科学研究院） ； Yuanpei College, Peking University（北京大学元培学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出Goal-VLA框架，利用图像生成视觉语言模型生成目标状态，通过对象状态表示分离高阶与低阶策略，提升机器人操作的泛化能力。

LLM-Enabled Low-Altitude UAV Natural Language Navigation via Signal Temporal Logic Specification Translation and Repair

基于大语言模型的低空无人机自然语言导航：通过信号时序逻辑规范翻译与修复

Yuqi Ping, Huahao Ding, Tianhao Liang, Longyu Zhou, Guangyu Lei, Xinglin Chen, Junwei Wu, Jieyu Zhou, Tingting Zhang

机构 * Guangdong Provincial Key Laboratory of Space-Aerial Networking and Intelligent Sensing, Harbin Institute of Technology, Shenzhen（广东省空天网络与智能感知重点实验室，哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory (PCL), Shenzhen（鹏城实验室） ； Information Systems Technology and Design, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计系） ； School of Computer Science and Engineering, Central South University, Changsha（中南大学计算机科学与工程学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出一种统一框架，通过将自然语言指令转换为信号时序逻辑规范并利用混合整数线性规划生成轨迹，提升低空无人机在复杂环境中的安全导航能力。

VLM-SAFE: Vision-Language Model-Guided Safety-Aware Reinforcement Learning with World Models for Autonomous Driving

VLM-SAFE: 基于世界模型的视觉-语言模型引导的安全强化学习用于自动驾驶

Yansong Qu, Zilin Huang, Zihao Sheng, Jiancong Chen, Yue Leng, Samuel Labi, Sikai Chen

机构 * Lyles School of Civil and Construction Engineering, Purdue University（普渡大学莱尔斯土木与建筑工程学院） ； Department of Civil and Environmental Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Google（谷歌） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(title,abstract)；分类 cs.AI

AI总结 本文提出VLM-SAFE框架，通过观察-想象-评估-行动闭环，利用视觉语言模型提供语义安全信号，结合世界模型预测未来轨迹，优化策略以提升自动驾驶的安全性和效率。

Comments N/A

Edge Reliability Gap in Vision-Language Models: Quantifying Failure Modes of Compressed VLMs Under Visual Corruption

视觉-语言模型边缘可靠性差距：压缩VLM在视觉损坏下的失败模式量化

Mehmet Kaan Erol

机构 * Marmara University, Institute of Pure and Applied Sciences（马尔马拉大学纯科学与应用科学研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文比较了压缩的视觉-语言模型在视觉损坏下的失败模式，发现紧凑模型在COCO上表现出更高的语义漂移和对象盲区，且置信度校准存在显著差异。

Comments 16 pages, 5 figures

Adversarial Attacks on Multimodal Large Language Models: A Comprehensive Survey

对多模态大语言模型的对抗攻击：全面综述

Bhavuk Jain, Sercan Ö. Arık, Hardeo K. Thakur

机构 * Google（谷歌） ； Bennett University, India（印度贝内特大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 本文综述了多模态大语言模型面临的对抗威胁，分析了攻击类型及其根源，提出分类框架以提升模型安全性。

Comments Survey paper, 37 pages, 10 figures, accepted at TMLR

Journal ref Transactions on Machine Learning Research, 2026

Assessing Vision-Language Models for Perception in Autonomous Underwater Robotic Software

评估用于自主水下机器人软件中的视觉-语言模型感知能力

Muhammad Yousaf, Aitor Arrieta, Shaukat Ali, Paolo Arcaini, Shuai Wang

机构 * Simula Research Laboratory（Simula研究实验室） ； Oslo Metropolitan University（奥斯陆城市大学） ； Mondragon University（蒙德拉贡大学） ； National Institute of Informatics（国立信息学研究所） ； Det norske Veritas (DNV)（挪威船级社（DNV）） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 本文评估了视觉-语言模型在自主水下机器人软件中的感知性能，通过计算性能和不确定性来指导软件工程师选择合适的模型。

Comments 16 pages, 5 figures

Domain-Invariant Prompt Learning for Vision-Language Models

领域不变提示学习用于视觉-语言模型

Arsham Gholamzadeh Khoee, Yinan Yu, Robert Feldt

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DiCoOp，通过对抗训练方法提升视觉-语言模型在不同领域中的泛化能力，有效解决领域偏移问题。

Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection

通过因果发现和双模态安全子空间投影诊断和修复视觉-语言模型中的不安全通道

Jinhu Fu, Yihang Lou, Qingyi Si, Shudong Zhang, Yan Bai, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Peking University（北京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。

Comments Accepted by CVPR 2026 main conference

Contextual inference from single objects in Vision-Language models

从单个物体中推断上下文在视觉-语言模型中的研究

Martina G. Vilas, Timothy Schaumlöffel, Gemma Roig

机构 * Goethe University Frankfurt（法兰克福大学） ； The Hessian Center for AI（黑森州人工智能中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型中单个物体推断场景上下文的能力，发现物体属性影响推断性能，且不同层次的推断存在解耦现象。

ScenePilot-4K: A Large-Scale First-Person Dataset and Benchmark for Vision-Language Models in Autonomous Driving

ScenePilot-4K：一个大规模第一视角数据集和基准，用于自动驾驶中视觉-语言模型的安全感知学习与评估

Yujin Wang, Yutong Zheng, Wenxian Fan, Tianyi Wang, Hongqing Chu, Li Zhang, Bingzhao Gao, Daxin Tian, Jianqiang Wang, Hong Chen

机构 * Tongji University（同济大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； Fudan University（复旦大学） ； Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出ScenePilot-4K数据集，包含3847小时视频和27.7亿帧图像，用于评估视觉-语言模型在自动驾驶中的场景理解、空间感知、运动规划和语义对齐能力，揭示模型在几何感知和规划推理方面的局限性。

Overthinking Causes Hallucination: Tracing Confounder Propagation in Vision Language Models

过度思考导致幻觉：追踪视觉语言模型中的混杂因素传播

Abin Shoby, Ta Duc Huy, Tuan Dung Nguyen, Minh Khoi Ho, Qi Chen, Anton van den Hengel, Phi Le Nguyen, Johan W. Verjans, Vu Minh Hieu Phan

机构 * Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所） ； Hanoi University of Science and Technology（河内科技大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；分类 cs.CV

AI总结 研究发现视觉语言模型幻觉源于过度思考，通过分析模型推理过程揭示混杂因素传播机制，提出Overthinking Score提升幻觉检测性能。

Comments CVPR2026 Findings

SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

SECOND：通过选择性和对比性解码缓解视觉-语言模型中的感知幻觉

Woohyeon Park, Woojin Kim, Jaeik Kim, Jaeyoung Do

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔大学人工智能跨学科项目） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出SECOND方法，通过选择性与对比性解码机制，有效利用多尺度视觉信息，减少视觉语言模型中的感知幻觉并提升性能。

Journal ref ICML 2025

Meta-Contrastive Learning for Vision-Language Models via Task-Adaptive CLIP Training

通过任务自适应CLIP训练实现视觉语言模型的元对比学习

Merham Fouladvand, Peuroly Batra

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)

AI总结 本文提出一种域条件元对比学习框架，通过任务自适应CLIP训练提升视觉语言模型跨域泛化能力，引入域嵌入和交叉域对齐正则化，增强模型在域偏移下的鲁棒性。

SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation

SAGE：面向sink的 grounded 解码用于多模态幻觉缓解

Tripti Shukla, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 SAGE通过动态调节自注意力机制，实时监控 grounding 可靠性，有效缓解多模态幻觉问题，实验显示在MSCOCO和AMBER基准上取得显著提升。

Comments 25 pages, 6 figures, 7 tables

Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

所有权的回声：对抗引导的双注入用于MLLMs中的版权保护

Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang

机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出一种生成版权触发器的框架，通过双注入方法在MLLMs中嵌入可验证的版权信息，以在微调衍生模型中触发专属文本响应，同时在非衍生模型中保持无活性。

Comments Accepted to CVPR 2026!

ImagenWorld: Stress-Testing Image Generation Models with Explainable Human Evaluation on Open-ended Real-World Tasks

ImagenWorld: 通过可解释的人类评估对图像生成模型进行压力测试，针对开放性现实任务

Samin Mahdizadeh Sani, Max Ku, Nima Jamali, Matina Mahdizadeh Sani, Paria Khoshtab, Wei-Chieh Sun, Parnian Fazel, Zhi Rui Tam, Thomas Chong, Edisy Kin Wai Chan, Donald Wai Tong Tsang, Chiao-Wei Hsu, Ting Wai Lam, Ho Yin Sam Ng, Chiafeng Chu, Chak-Wing Mak, Keming Wu, Hiu Tung Wong, Yik Chun Ho, Chi Ruan, Zhuofeng Li, I-Sheng Fang, Shih-Ying Yeh, Ho Kei Cheng, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； G-G-G ； Comfy Org ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Independent（独立研究者） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ImagenWorld通过3600个条件集评估14个模型，揭示编辑任务比生成任务更难，艺术和照片实感领域表现优异，但符号和文本密集领域表现较差，现代VLM指标在Kendall准确性上达0.79，但无法实现细粒度可解释性误差归因。

Comments Published in ICLR 2026

Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models

针对LAION-400M的人为中心标注：审查偏见及其在模型中的转移

Leander Girrbach, Stephan Alaniz, Genevieve Smith, Trevor Darrell, Zeynep Akata

机构 * Technical University of Munich, Munich Center for Machine Learning (MCML), MDSI（慕尼黑工业大学，慕尼黑机器学习中心（MCML），MDSI） ； LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎理工学院，巴黎电信学院，LTCI） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文通过创建LAION-400M的人为中心标注，揭示了训练数据中存在的人口统计学偏见，并展示了这些偏见如何转移到视觉-语言模型中。

Comments ICLR 2026

Position: Explainable AI is Causality in Disguise

位置：可解释AI是伪装的因果性

Amir-Hossein Karimi

机构 * Department of Electrical \& Computer Engineering, University of Waterloo \& Vector Institute, Canada 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文指出可解释AI的核心问题在于缺乏因果模型的指导，通过将XAI问题转化为因果问题，强调因果模型对XAI的必要性。

LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models

LIBERO-Para：一种用于视觉语言动作模型中同义词鲁棒性诊断的基准和指标

Chanyoung Kim, Minwoo Kim, Minseok Kang, Hyunwoo Kim, Dahuin Jung

机构 * Soongsil University（崇实大学） ； Chung-Ang University（中央大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出LIBERO-Para基准，通过独立变化动作表达和物体参考，分析语言泛化能力。研究发现，不同规模的VLA模型在同义词替换下性能下降22-52个百分点，主要由物体层面的词汇变化导致。提出PRIDE指标量化同义词难度，揭示模型对任务识别的依赖。

Comments 32 pages, 28 figures

Quantized Vision-Language Models for Damage Assessment: A Comparative Study of LLaVA-1.5-7B Quantization Levels

量化视觉-语言模型用于损伤评估：LLaVA-1.5-7B量化级别的比较研究

Takato Yasuno

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(title,abstract)；分类 cs.CV

AI总结 本文研究了量化视觉-语言模型在桥梁损伤评估中的应用，比较了不同量化级别在描述质量、推理速度和资源需求之间的平衡，发现Q5_K_M在质量、速度和效率上达到最佳平衡。

Comments 16 pages, 4 figures, 8 tables

On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models

关于令牌的困境：具有漂移感知令牌分配的动态MoE用于大视觉语言模型的持续学习

Chongyang Zhao, Mingsong Li, Haodong Lu, Dong Gong

机构 * University of New South Wales (UNSW Sydney)（新南威尔士大学（悉尼新南威尔士大学）） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；LLaVA(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLaVA-DyMoE框架，通过动态MoE和漂移感知令牌分配缓解持续学习中的路由漂移问题，提升模型在持续学习中的性能。

Comments Accepted at CVPR 2026

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

从探索到利用：一种两阶段熵RLVR方法用于噪声容忍的多模态大语言模型训练

Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

机构 * Independent Researcher（独立研究者） ； The Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong（香港城市大学） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出一种两阶段熵优化方法，通过探索阶段提升输出多样性，利用阶段提高预测准确性，增强噪声容忍能力，实验证明在不同模型和任务中均优于现有方法。

A Step Toward Federated Pretraining of Multimodal Large Language Models

迈向多模态大语言模型联邦预训练的一小步

Baochen Xiong, Yifan Xu, Xiaoshan Yang, Yaguang Song, Yaowei Wang, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室） ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Fed-MA任务，通过冻结视觉编码器和LLM，协同训练跨模态投影器，解决参数干扰和梯度震荡问题，提出Fed-CMP框架在联邦预训练中取得显著优势。

Synergizing Discriminative Exemplars and Self-Refined Experience for MLLM-based In-Context Learning in Medical Diagnosis

融合判别示例与自我优化经验的医学诊断基于MLLM的上下文学习

Wenkai Zhao, Zipei Wang, Mengjie Fang, Di Dong, Jie Tian, Lingwei Zhang

机构 * CAS Key Laboratory of Molecular Imaging, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所分子影像重点实验室） ； School of Software, North University of China（中北大学软件学院） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Clinician Mimetic Workflow框架，结合判别示例核心集选择与自我优化经验总结，提升医学诊断中基于MLLM的上下文学习性能，超越零样本通用和医疗MLLM，并接近全监督视觉模型。

Hidden Ads: Behavior Triggered Semantic Backdoors for Advertisement Injection in Vision Language Models

隐性广告：用于视觉语言模型中广告注入的行为触发语义后门

Duanyi Yao, Changyue Li, Zhicong Huang, Cheng Hong, Songze Li

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.LG

AI总结 本文提出隐性广告攻击，通过用户行为触发在视觉语言模型中注入未经授权的广告，利用自然用户行为实现高效且隐蔽的广告注入，同时评估了不同防御方法的失效性。