视觉大模型 / VLM

GhostPrompt: Cross-Image Adversarial Prompt for Vision-Language Models

GhostPrompt：视觉语言模型的跨图像对抗性提示

Li Zeng, Zeyu Ye, Meng Xie, Hangtao Zhang, Xianlong Wang, Yanchun Li, Zhetao Li

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 研究视觉语言模型对抗攻击问题，提出GhostPrompt方法，通过联合优化提炼图像不变对抗特征，跨图像引导模型输出，相比现有基线攻击成功率显著提高且计算时间大幅减少。

Comments Accepted to ACM MM 2026. Code: this https://github.com/Ye-ze-yu/GhostPrompt

Test-Time Training for Modality Order Consistency in Vision-Language Models

视觉语言模型中模态顺序一致性的测试时训练

Aditi Gupta, Yossi Gandelsman

机构 * University of Chicago（芝加哥大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究发现视觉语言模型对图像和问题呈现顺序敏感，利用此设计测试时训练方法，缩小模态顺序差距，使两种顺序相互一致，定位顺序失败区域，证明该方法可缓解故障并提升性能。

Comments 16 pages, 7 figures, preprint

When Visual Evidence is Ambiguous: Pareidolia as a Diagnostic Probe for Vision Models

当视觉证据模糊时： pareidolia 作为视觉模型的诊断探针

Qianpu Chen, Derya Soydaner, Rob Saunders

机构 * Leiden Institute of Advanced Computer Science (LIACS), Leiden University, Leiden, The Netherlands（莱顿高级计算机科学研究所（LIACS）、莱顿大学、莱顿、荷兰） 纠错

专题命中 幻觉与鲁棒性 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉模型在模糊证据下的行为，通过分析pareidolia现象揭示了不同模型在表示层面的差异，发现语义过激活和不确定性策略等机制，为提升视觉语言系统的语义鲁棒性提供诊断和改进方法。

Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment

PhysClaw-0：一种通过语言修正实现机器人自主的共生智能体系统

Boyuan Wang, Zhenyuan Zhang, Zhiqin Yang, Peijun Gu, Shuya Wang, Xiaofeng Wang, Xianghui Ze, Yifan Chang, Guosheng Zhao, Jiangnan Shao, Guan Huang, Hengyu Liu, Yonggang Zhang, Wei Xue, Chunyuan Guan, Chenglin Pu, Yike Guo, Xingang Wang, Zheng Zhu

机构 * GigaAI（字节跳动人工智能实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Leeds（利兹大学） ； Cornell University（康奈尔大学） ； Tsinghua University（清华大学） ； Nanjing University of Science and Technology（南京理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； FAWTD（一汽技术开发部） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)

AI总结 研究针对自主数据收集问题，提出PhysClaw-0共生智能体系统，通过跨轮保留和重用修正、自主收集验证等方式，在真实机器人测试中减少人力时间，提高成功率，并提升验证者与人类一致性。

Comments WebPage: https://open-gigaai.github.io/Zero2Skill

FedLSG: LLM-Enhanced Semantic Calibration for Federated Graph Backdoor Defense

FedLSG：用于联邦图后门防御的大语言模型增强语义校准

Chenyu Zhou, Yabin Peng, Wei Huang, Kunlin Li, Shuaishuai Zhang, Xinyuan Miao

机构 * Southeast University（东南大学） ； Purple Mountain Laboratories（紫金山实验室） ； Institute of AI for Industries（人工智能产业研究院） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 针对联邦图神经网络易受后门攻击问题，提出FedLSG框架，将大语言模型集成防御，通过图与行为到文本的转换及轻量级师生架构，在不损图完整性时显著提升对后门攻击的抵抗力。

BLUE: Semantics-Preserving Video Compression for Efficient Vision-Language Surveillance Analytics

BLUE：用于高效视觉语言监控分析的语义保留视频压缩

Shubham Baid, Akash James, Sahil Chachra, Nishant Sinha, Kunal Kislay

机构 * KGraph AI Solutions Pvt. Ltd.（KGraph AI解决方案私人有限公司） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究持续监控视频给企业视频分析系统带来的负担问题，提出BLUE固定摄像头监控压缩方法，在VIRAT和CHAD数据集上实验，结果表明该方法能在保留VLM语义性能时降低带宽和推理成本。

Comments 17 pages, 10 figures, 6 tables

ENTRAP-VL: A Taxonomic Probe for Dual Contextual Entrainment in Vision-Language Models

ENTRAP-VL：视觉语言模型中双上下文夹带的分类探测器

Karan Goyal, Afreen Hossain, Debojyoti Das, Vishal Bhutani

机构 * IIIT Delhi（德里信息技术学院） ； Dr. Ambedkar Institute of Technology（阿姆贝德卡尔技术学院） ； Heritage Institute of Technology（遗产技术学院） ； PwC（普华永道） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型中上下文夹带现象，提出需构建分类结构化双模态工具。引入ENTRAP-VL数据集，含1500个项目，跨八类，分文本和视觉夹带流，提供工具、分类法及评估协议，助力社区严格研究该现象。

SeededGrasp: Language-Guided Grasping in Complex Scenes with Multiple Embodiments

SeededGrasp：复杂场景中多实体语言引导抓取

Yang Xu, Gurpreet Singh Mukker, Raymond Wang, Jasper Gerigk, Maria Attarian, Igor Gilitschenski

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； University of British Columbia（英属哥伦比亚大学） ； Google Deepmind（谷歌DeepMind） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 针对复杂场景中机器人抓取问题，提出 SeededGrasp 框架，通过 VLM 预测种子点，结合轻量级抓取生成模型，解耦语义与几何执行，无需端到端训练，发布多实体数据集，实验证明该方法优于基线。

LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs

LatentLens: 揭示大语言模型中高度可解释的视觉标记

Benno Krojer, Shravan Nayak, Oscar Mañas, Vaibhav Adlakha, Desmond Elliott, Siva Reddy, Marius Mosbach

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出 LatentLens 方法，通过将视觉标记与文本语料库中的上下文标记表示进行最近邻匹配，实现视觉标记的可解释性，发现大多数视觉标记在各层均具有可解释性。

Comments ICML 2026 (Camera Ready)

LAVIFT: Latent-Action-Guided Vision Fine-Tuning for Surgical Interaction Recognition

LAVIFT：用于手术交互识别的潜在动作引导视觉微调

Jiajun Cheng, Subarna Tripathi, Sainan Liu, Xiaofan Yu, Shan Lin

机构 * Arizona State University（亚利桑那州立大学） ； University of California, Merced（加州大学默塞德分校） ； Intel Corporation（英特尔公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV

AI总结 研究针对手术交互识别中预训练模型适应细粒度交互的挑战，提出LAViFiT框架，通过逆动力学模型、前向世界模型及补丁级SIG正则化器，实现视觉语言微调，提升了识别率和图像-文本对齐，增强了特征基础和空间连贯性。

Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs

少看，快思考：多模态大语言模型的联合令牌-计算适配

Pengcheng Wang, Zhiquan Wang, Jayoung Lee, Zhuoyan Xu, Ran Xu, Saurabh Bagchi, Yin Li, Somali Chaterji

机构 * Purdue University（普渡大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； NVIDIA（英伟达） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型推理成本高的问题，提出SmartVL框架，通过视觉侧令牌控制器和LLM侧计算控制器联合控制视觉令牌数量和模型计算能力，实验证明该框架优于先前方法，实现更好的精度-效率平衡。

Comments Accepted at ECCV 2026

GeoTrace: Geometry-Aware Trajectory Token Compression for Video Large Language Models

GeoTrace：用于视频大语言模型的几何感知轨迹令牌压缩

Guohuan Xie, Mengqi Lei, Chuan Shi, Wei Bao, Yue Gao, Siqi Li

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV

AI总结 研究针对Video LLMs视觉令牌多致效率受限问题，提出GeoTrace框架，通过CFPA和TCRC分别处理骨架与残差令牌，经实验评估证明该框架在多模型架构和场景下有效，能在大幅减少计算量时保留高比例性能。

Comments Withdrawn by the authors due to an incomplete internal approval process

Show Me Examples: Inferring Visual Concepts from Image Sets

展示示例：从图像集合中推断视觉概念

Nick Stracke, Kolja Bauer, Stefan Andreas Baumann, Miguel Angel Bautista, Josh Susskind, Björn Ommer

机构 * Munich Center for Machine Learning（慕尼黑机器学习中心） ； Apple（苹果公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出VICIS任务评估视觉语言模型从图像集合中推断共享概念的能力，并设计训练框架与架构，使模型能提取概念嵌入并生成与查询一致的新图像。

Comments for code, view https://github.com/CompVis/set-learner

PRiSM: Prototype Regularization for Few-Shot VLMs

PRiSM：少样本视觉语言模型的原型正则化

Ghassen Baklouti, Omprakash Chakraborty, Jose Dolz, Ismail Ben Ayed

机构 * ÉTS Montreal（蒙特利尔高等商学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型少样本适应方法，质疑现有基准假设，引入新基准。提出PRiSM类原型正则化方法，优化多术语损失，结合有效优化器，提升性能，尤其在处理类不平衡和大量类时效果显著。

Using Hierarchical Controlled Vocabularies to Understand CLIP Retrieval Failures in Historical Photo Collections

使用分层控制词汇表理解历史照片集中CLIP检索失败的原因

Ratan Sebastian, Anett Hoppe, Christoph Rippe, Ralph Ewerth

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 研究探讨用AAT词汇表的根面类型和层次深度解释CLIP在历史照片集检索的成败及微调作用，通过三个标注集研究视觉连贯性等指标，发现两指标可区分失败模式，根面类型有区分作用，微调对层次浅的术语更有效。

Diverse-Intent Multi-Turn Fashion Image Retrieval

多样化意图的多轮时尚图像检索

Mingqiang Tang, Haokun Wen, Meng Liu, Yupeng Hu, Weili Guan, Xuemeng Song

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究现实世界时尚多轮图像检索问题，提出FashionAM框架直接对齐多模态对话查询与时尚图库嵌入空间，避免文本化，引入DIM-Fashion数据集，实验证明该框架优于现有方法，数据集和代码将公开。

Symbol and Footprint Database for Electronic Components by Agentic Recognition and Generation

基于智能识别与生成的电子元件符号与引脚封装数据库

Yichen Shi, Yuzhi Liu, Zhuofu Tao, Li Huang, Yuhao Gao, Ting-Jung Lin, Lei Hel

机构 * Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究院，东方理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； BTD Technology（BTD科技） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI

AI总结 研究利用多模态大语言模型开发电子元件符号和引脚封装智能识别与生成流程SFgen，其符号生成准确率86%，引脚封装生成准确率80%，并用此创建含1000个元件的SFnet数据库，为PCB设计自动生成奠定基础。

Comments Accepted by PRCV 2025

VizRAG: Enhancing Retrieval-Augmented Generation with Hypergraph Visualization

VizRAG：通过超图可视化增强检索增强生成

Yanbin Wei, Yang Chen, Renling Gan, Ziru Liu, Xinyu Fu, Chun Kang, Ning Lu, Rui Liu, Yu Zhang, James Kwok

机构 * Southern University of Science and Technology（南方科技大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Huawei Research（华为研究院） ； Beihang University（北京航空航天大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 研究旨在增强检索增强生成，核心方法是通过视觉线索将超图感知整合到RAG系统中，引入VizRAG支持视觉超图结构感知，实验证明该方法显著优于基线，验证了超图可视化用于RAG系统的潜力。