视觉大模型 / VLM

DP^2-VL: Private Photo Dataset Protection by Data Poisoning for Vision-Language Models

DP^2-VL: 通过数据污染保护隐私照片的视觉语言模型隐私威胁模型

Hongyi Miao, Jun Jia, Xincheng Wang, Qianli Ma, Wei Sun, Wangqiu Zhou, Dandan Zhu, Yewen Cao, Zhi Liu, Guangtao Zhai

机构 * Shandong University（山东大学） ； Shanghai Jiao Tong University（上海交通大学） ； Donghua University（东华大学） ； Shanghai Normal University（上海师范大学） ； East China Normal University（华东师范大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出DP2-VL框架，通过数据污染保护隐私照片，分析视觉语言模型在身份关联泄露中的脆弱性，并展示其在不同保护比例下的有效性。

Vision-Language Models vs Human: Perceptual Image Quality Assessment

视觉-语言模型与人类：感知图像质量评估

Imran Mehmood, Imad Ali Shah, Ming Ronnier Luo, Brian Deegan

机构 * School of Engineering, University of Galway（Galway大学工程学院） ； State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光信息获取国家重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文研究视觉语言模型是否能近似人类对图像质量的感知判断，通过对比心理物理数据，发现模型在颜色丰富度上表现优异，但在对比度上表现较差，且模型一致性与人类对齐性存在矛盾。

PromptLoop: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment

PromptLoop: 通过潜在反馈实现扩散模型对齐的即插即用提示精炼

Suhyeon Lee, Jong Chul Ye

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 PromptLoop通过引入潜在反馈的逐步提示精炼方法，提升扩散模型在奖励优化、泛化能力及对抗奖励黑客方面的性能，同时保持灵活性和通用性。

Comments CVPR26 poster. 25 pages, 19 figures

Quantification and object perception in Multimodal Large Language Models and human linguistic cognition

多模态大语言模型和人类语言认知中的量化与物体感知

Raquel Montero, Natalia Moskvina, Paolo Morosi, Tamara Serrano, Elena Pagliarini, Evelina Leivada

机构 * Universitat Autònoma de Barcelona（巴塞罗那自治大学） ； Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚高级科研与研究机构（ICREA）） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title)

AI总结 本文研究多模态大语言模型和人类在量化中的关键特征，探讨其在模型架构中的编码差异及语言影响。

ViHOI: Human-Object Interaction Synthesis with Visual Priors

ViHOI：基于视觉先验的人-物交互合成

Songjin Cai, Linjie Zhong, Ling Guo, Changxing Ding

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 ViHOI通过从2D图像中提取丰富的交互先验，利用扩散模型提升生成质量，实现人-物交互的高质量合成。

Comments Accepted to CVPR 2026

Will It Zero-Shot?: Predicting Zero-Shot Classification Performance For Arbitrary Queries

零样本预测是否可行？：预测任意查询的零样本分类性能

Kevin Robbins, Xiaotong Liu, Yu Wu, Le Sun, Grady McPeak, Abby Stylianou, Robert Pless

机构 * Computer Science George Washington University Washington, DC, USA（计算机科学 华盛顿大学 华盛顿特区, 美国） ； Computer Science Saint Louis University Saint Louis, USA（计算机科学 圣路易斯大学 圣路易斯, 美国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文通过生成相关图像提升零样本分类性能预测的准确性，并为用户提供反馈，帮助非专家用户评估视觉语言模型在特定任务上的有效性。

Journal ref 2025 IEEE International Conference on Data Mining Workshops (ICDMW), Washington, DC, USA, 12-15 November 2025

E0: Enhancing Generalization and Fine-Grained Control in VLA Models via Tweedie Discrete Diffusion

E0: 通过 Tweedie 离散扩散增强 VLA 模型的泛化能力与细粒度控制

Zhihao Zhan, Jiaying Zhou, Likui Zhang, Qinhan Lv, Hao Liu, Jusheng Zhang, Weizheng Li, Ziliang Chen, Tianshui Chen, Ruifeng Zhai, Keze Wang, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出 E0 框架，通过离散扩散方法提升 VLA 模型在多任务和多视角下的泛化能力，并实现精细可控的动作生成。

Language Models Can Explain Visual Features via Steering

语言模型可通过引导解释视觉特征

Javier Ferrando, Enrique Lopez-Cuena, Pablo Agustin Martin-Torres, Daniel Hinjos, Anna Arias-Duart, Dario Garcia-Gasulla

机构 * Barcelona Supercomputing Center（巴塞罗那超级计算中心） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过因果干预引导语言模型解释视觉特征，提供了一种可扩展的替代方法，提升视觉模型的可解释性。

Comments Accepted at CVPR 2026

Geometry-Guided Camera Motion Understanding in VideoLLMs

基于几何的视频LLMs中相机运动理解

Haoan Feng, Sri Harsha Musunuri, Guan-Ming Su

机构 * University of Maryland, College Park（马里兰大学College Park分校） ； Dolby Laboratories Inc.（杜比实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过基准测试、诊断和注入框架，解决视频LLMs中相机运动表示不足的问题，通过CameraMotionDataset和CameraMotionVQA基准，提升模型对相机运动的识别能力。

Comments 10 pages, 7 figures, supplementary included CVPR2026 PVUW

From Panel to Pixel: Zoom-In Vision-Language Pretraining from Biomedical Scientific Literature

从面板到像素：从生物医学科学文献中进行缩放视觉-语言预训练

Kun Yuan, Min Woo Sun, Zhen Chen, Alejandro Lozano, Xiangteng He, Shi Li, Nassir Navab, Xiaoxiao Sun, Nicolas Padoy, Serena Yeung-Levy

机构 * University of Strasbourg, CNRS, INSERM, ICube, UMR7357, Strasbourg, France（斯特拉斯堡大学、法国国家科学研究中心、法国国家医学研究院、ICube、UMR7357、斯特拉斯堡，法国） ； Technical University of Munich（慕尼黑技术大学） ； Stanford University（斯坦福大学） ； DSAI, The Hong Kong Polytechnic University（香港理工大学DSAI实验室） ； University of British Columbia（不列颠哥伦比亚大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； IHU Strasbourg, Strasbourg（斯特拉斯堡IHU医院，斯特拉斯堡） ； Vector Institute for AI（人工智能向量研究所） ； Yale University（耶鲁大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Panel2Patch方法，通过挖掘生物医学文献中的层次结构，生成多粒度监督，提升视觉-语言预训练效果。

Cross-Modal Prototype Alignment and Mixing for Training-Free Few-Shot Classification

跨模态原型对齐与混合用于无训练少样本分类

Dipam Goswami, Simone Magistri, Gido M. van de Ven, Bartłomiej Twardowski, Andrew D. Bagdanov, Tinne Tuytelaars, Joost van de Weijer

机构 * Department of Computer Science, Universitat Autònoma de Barcelona, Spain（巴塞罗那自治大学计算机科学系） ； Computer Vision Center, Barcelona, Spain（巴塞罗那计算机视觉中心） ； Media Integration and Communication Center, University of Florence, Italy（佛罗伦萨大学媒体整合与传播中心） ； Bernoulli Institute, University of Groningen, the Netherlands（格罗宁根大学伯努利学院） ； IDEAS Research Institute, Poland（波兰IDEAS研究所） ； ESAT-PSI, KU Leuven, Belgium（比利时KU莱顿大学ESAT-PSI） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文研究了直接混合图像与文本原型对少样本分类的影响，提出通过投影获取语义对齐的图像子空间，结合文本嵌入和图像特定LDA分类器提升性能。

Comments Preprint

Evaluating Image Editing with LLMs: A Comprehensive Benchmark and Intermediate-Layer Probing Approach

基于大语言模型的图像编辑评估：一个全面的基准和中间层探针方法

Shiqi Gao, Zitong Xu, Kang Fu, Huiyu Duan, Xiongkuo Min, Jia wang

机构 * Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（图像通信与网络工程研究所，上海交通大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出TIEdit基准和EditProbe方法，通过5120张编辑图像和专家评分，评估文本引导图像编辑方法的感知质量、对齐性和内容保真度，同时利用大语言模型中间层探针提升评估准确性。

Point Bridge: 3D Representations for Cross Domain Policy Learning

点桥：跨领域策略学习的3D表示

Siddhant Haldar, Lars Johannsmeier, Lerrel Pinto, Abhishek Gupta, Dieter Fox, Yashraj Narang, Ajay Mandlekar

机构 * NVIDIA ； New York University（纽约大学） ； University of Washington（华盛顿大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 点桥通过统一的点表示实现跨领域策略学习，利用视觉语言模型提取点表示，结合Transformer策略学习，无需显式视觉或物体对齐，提升仿真到现实的零样本迁移性能。