多模态大模型

"I See What You Did There": Can Large Vision-Language Models Understand Multimodal Puns?

我看出你在那儿：大型视觉-语言模型能否理解多模态双关语？

Naen Xu, Jiayi Sheng, Changjiang Li, Chunyi Zhou, Yuyuan Li, Tianyu Du, Jun Wang, Zhihui Fu, Jinbao Li, Shouling Ji

机构 * Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Palo Alto Networks ； Hangzhou Dianzi University（杭州电子科技大学） ； Ningbo Global Innovation Center, Zhejiang University（浙江大学宁波全球创新中心） ； OPPO Research Institute（OPPO研究院） ； Qilu University of Technology（齐鲁工业大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了大型视觉-语言模型理解多模态双关语的能力，提出多模态双关语生成流程和MultiPun数据集，通过评估发现模型在区分真实双关语与干扰项上表现不足，并提出提示级和模型级策略提升理解性能。

Comments ACL 2026 Main

Cattle-CLIP: A Multimodal Framework for Cattle Behaviour Recognition from Video

Cattle-CLIP：一种用于从视频中识别牛行为的多模态框架

Huimin Liu, Jing Gao, Daria Baran, AxelX Montout, Neill W Campbell, Andrew W Dowsey

机构 * Bristol Veterinary School, University of Bristol（布里斯托尔大学布里斯托尔兽医学院） ； School of Computer Science, University of Bristol（布里斯托尔大学计算机科学学院） ； Joint Institute of Qingdao Huanghai University and WeITec, Qingdao Huanghai University（青岛黄海学院与WeITec联合学院，青岛黄海学院） 纠错

专题命中 图文多模态 ：multimodal(title)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出Cattle-CLIP框架，通过跨模态语义对齐解决农场环境中的行为识别难题，构建了CattleBehaviors6数据集，实现了高准确率的行为识别。

Comments 16 pages, 10 figures, submitted to Information Processing in Agriculture

Sim-CLIP: Unsupervised Siamese Adversarial Fine-Tuning for Robust and Semantically-Rich Vision-Language Models

Sim-CLIP: 无监督的孪生对抗微调用于鲁棒且语义丰富的视觉-语言模型

Md Zarif Hossain, Ahmed Imteaj

机构 * Florida Atlantic University（佛罗里达大西洋大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Sim-CLIP通过无监督对抗微调提升CLIP视觉编码器的鲁棒性，同时保持语义表示。采用孪生架构和余弦相似度目标，避免大批次对比学习和额外动量编码器，实现低计算开销的鲁棒训练。

Comments Accepted at IJCNN 2026

DetailVerifyBench: A Benchmark for Dense Hallucination Localization in Long Image Captions

DetailVerifyBench：长图像描述中密集 hallucination 定位的基准

Xinran Wang, Yuxuan Zhang, Xiao Zhang, Haolong Yan, Muxi Diao, Songyu Xu, Zhonghao Yan, Hongbing Li, Kongming Liang, Zhanyu Ma

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 本文提出 DetailVerifyBench，通过1000张高质量图像和密集的token级注释，评估长图像描述中hallucination的精确定位能力。

Comments 8 pages, 5 figures. The dataset and code are available at https://zyx-hhnkh.github.io/DetailVerifyBench/

MedGemma Technical Report

MedGemma 技术报告

Andrew Sellergren, Sahar Kazemzadeh, Tiam Jaroensri, Atilla Kiraly, Madeleine Traverse, Timo Kohlberger, Shawn Xu, Fayaz Jamil, Cían Hughes, Charles Lau, Justin Chen, Fereshteh Mahvar, Liron Yatziv, Tiffany Chen, Bram Sterling, Stefanie Anna Baby, Susanna Maria Baby, Jeremy Lai, Samuel Schmidgall, Lu Yang, Kejia Chen, Per Bjornsson, Shashir Reddy, Ryan Brush, Kenneth Philbrick, Mercy Asiedu, Ines Mezerreg, Howard Hu, Howard Yang, Richa Tiwari, Sunny Jansen, Preeti Singh, Yun Liu, Shekoofeh Azizi, Aishwarya Kamath, Johan Ferret, Shreya Pathak, Nino Vieillard, Ramona Merhej, Sarah Perrin, Tatiana Matejovicova, Alexandre Ramé, Morgane Riviere, Louis Rouillard, Thomas Mesnard, Geoffrey Cideron, Jean-bastien Grill, Sabela Ramos, Edouard Yvinec, Michelle Casbon, Elena Buchatskaya, Jean-Baptiste Alayrac, Dmitry Lepikhin, Vlad Feinberg, Sebastian Borgeaud, Alek Andreev, Cassidy Hardin, Robert Dadashi, Léonard Hussenot, Armand Joulin, Olivier Bachem, Yossi Matias, Katherine Chou, Avinatan Hassidim, Kavi Goel, Clement Farabet, Joelle Barral, Tris Warkentin, Jonathon Shlens, David Fleet, Victor Cotruta, Omar Sanseviero, Gus Martins, Phoebe Kirk, Anand Rao, Shravya Shetty, David F. Steiner, Can Kirmizibayrak, Rory Pilgrim, Daniel Golden, Lin Yang

机构 * Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 MedGemma 是基于 Gemma 3 的医学视觉-语言基础模型，具备强大的医学理解和推理能力，在医疗多模态问答、胸部X光分类等任务中表现优异，同时保持通用能力，为医疗AI发展提供基础。

Comments Fix references

AICA-Bench: Holistically Examining the Capabilities of VLMs in Affective Image Content Analysis

AICA-Bench：全面评估VLMs在情感图像内容分析中的能力

Dong She, Xianrong Yao, Liqun Chen, Jinghe Yu, Yang Gao, Zhanpeng Jin

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出AICA-Bench基准，通过情感理解、推理和生成三个任务评估VLMs在情感图像分析中的能力，发现其在强度校准和描述深度方面存在不足，并提出GAT提示方法提升性能。

Comments Accepted by Findings of ACL 2026

Online In-Context Distillation for Low-Resource Vision Language Models

在线上下文蒸馏用于低资源视觉语言模型

Zhiqi Kang, Rahaf Aljundi, Vaggelis Dorovatas, Karteek Alahari

机构 * Inria（法国国家信息与自动化研究所） ； Toyota Motor Europe（丰田汽车欧洲公司） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出在线上下文蒸馏方法，通过小模型与强教师模型协作，利用稀疏演示高效缩小性能差距，提升小模型性能达33%，在低资源条件下实现与零样本性能相当的成果。

Firebolt-VL: Efficient Vision-Language Understanding with Cross-Modality Modulation

Firebolt-VL: 通过跨模态调制实现高效的视觉-语言理解

Quoc-Huy Trinh, Mustapha Abdullahi, Bo Zhao, Debesh Jha

机构 * Aalto University（阿尔托大学） ； University of South Dakota（南达科他大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Firebolt-VL模型，通过替换Transformer解码器为液态基础模型解码器，并引入Token-Grid相关模块，提升视觉语义理解效率与精度。

Comments arXiv admin note: substantial text overlap with arXiv:2511.11177

Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

扰动与恢复：用于从CLIP中有效移除后门的微调

Naman Deep Singh, Francesco Croce, Matthias Hein

机构 * University of Tübingen & Tübingen AI Center（蒂宾根大学 & 蒂宾根人工智能中心） ； EPFL（瑞士联邦理工学院洛桑） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出PAR机制，通过微调有效移除CLIP中的后门，实验表明其在不同编码器和攻击类型上均能保持良好性能，且无需真实训练数据。

Comments CVPR 2026 Findings

Multi-Agent Cooperative Learning for Robust Vision-Language Alignment under OOD Concepts

多智能体协作学习用于应对异常概念下的鲁棒视觉语言对齐

Philip Xu

专题命中 图文多模态 ：cross-modal(abstract)

AI总结 本文提出多智能体协作学习框架，通过结构化信息传递缓解模态不平衡，提升视觉语言模型在异常概念下的对齐性能，实验表明在少样本和零样本设置中精度提升1-5%。

Comments arXiv admin note: This submission has been withdrawn by arXiv administrators due to incorrect authorship. Author list truncated