视觉大模型 / VLM

Towards Autonomous Reinforcement Learning for Real-World Robotic Manipulation with Large Language Models

Niccolò Turcato, Matteo Iovino, Aris Synodinos, Alberto Dalla Libera, Ruggero Carli, Pietro Falco

机构 * Department of Information Engineering, University of Padova（帕多瓦大学信息工程系） ； ABB Corporate Research（ABB企业研究） 纠错

专题命中 其他VLM ：visual language model(abstract)；分类 cs.AI、cs.LG

MrM: Black-Box Membership Inference Attacks against Multimodal RAG Systems

Peiru Yang, Jinhua Yin, Haoran Zheng, Xueying Bai, Huili Wang, Yufei Sun, Xintian Li, Shangguang Wang, Yongfeng Huang, Tao Qi

机构 * Tsinghua University（清华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

MiniGPT-Reverse-Designing: Predicting Image Adjustments Utilizing MiniGPT-4

Vahid Azizi, Fatemeh Koochaki

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 8 pages, 7 figures

Towards LLM-Centric Multimodal Fusion: A Survey on Integration Strategies and Techniques

Jisu An, Junseok Lee, Jeoungeun Lee, Yongseok Son

机构 * Seoul National University（首尔国立大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

Comments 18 pages, 3 figures, 3 tables

Recent Advances in Medical Image Classification

Loan Dao, Ngoc Quoc Ly

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI

Journal ref International Journal of Advanced Computer Science and Applications(ijacsa), 15(7), 2024

Learning from True-False Labels via Multi-modal Prompt Retrieving

Zhongnian Li, Jinghao Xu, Peng Ying, Meng Wei, Xinzheng Xu

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

Comments 15 pages, 5 figures

CityBench: Evaluating the Capabilities of Large Language Models for Urban Tasks

Jie Feng, Jun Zhang, Tianhui Liu, Xin Zhang, Tianjian Ouyang, Junbo Yan, Yuwei Du, Siqi Guo, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系、北京理工大学、清华大学） ； School of Electronic and Information Engineering, Beijing Jiaotong University（电子信息工程学院、北京交通大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院、清华大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by KDD 2025 D&B Track, https://github.com/tsinghua-fib-lab/CityBench

Image Captioning Evaluation in the Age of Multimodal LLMs: Challenges and Future Perspectives

Sara Sarto, Marcella Cornia, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； IIT-CNR（意大利国家研究委员会IIT） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments IJCAI 2025. Repo GitHub: https://github.com/aimagelab/awesome-captioning-evaluation

Investigating Mechanisms for In-Context Vision Language Binding

Darshana Saravanan, Makarand Tapaswi, Vineet Gandhi

机构 * CVIT, IIIT Hyderabad, India（计算机视觉研究所，印度海得拉巴印度理工学院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted to MIV at CVPRW 2025 (Oral)

HumanAesExpert: Advancing a Multi-Modality Foundation Model for Human Image Aesthetic Assessment

Zhichao Liao, Xiaokun Liu, Wenyu Qin, Qingyu Li, Qiulin Wang, Pengfei Wan, Di Zhang, Long Zeng, Pingfa Feng

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI

LazyVLM: Neuro-Symbolic Approach to Video Analytics

Xiangru Jian, Wei Pang, Zhengyuan Dong, Chao Zhang, M. Tamer Özsu

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI

Comments 5 pages, 2 figures, Working paper

Dual-Path Stable Soft Prompt Generation for Domain Generalization

Yuedi Zhang, Shuanghao Bai, Wanqi Zhou, Zhirong Luan, Badong Chen

机构 * Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所） ； Xi’an Jiaotong University（西安交通大学） ； School of Electrical Engineering（电气工程学院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

Exploring Social Media Image Categorization Using Large Models with Different Adaptation Methods: A Case Study on Cultural Nature's Contributions to People

Rohaifa Khaldi, Domingo Alcaraz-Segura, Ignacio Sánchez-Herrera, Javier Martinez-Lopez, Carlos Javier Navarro, Siham Tabik

机构 * Dept. of Computer Science and Artificial Intelligence, DaSCI, University of Granada（计算机科学与人工智能系，DaSCI，格拉纳达大学） ； Interuniversity Institute of Earth System Research in Andalusia (IISTA), University of Granada（安达卢西亚地球系统研究中心（IISTA），格拉纳达大学） ； Dept. of Botany, University of Granada（植物学系，格拉纳达大学） ； Andalusian Center for Global Change (ENGLOBA), University of Almería（安达卢西亚全球变化中心（ENGLOBA），阿尔梅里亚大学） ； Dept. of Ecology, University of Granada（生态学系，格拉纳达大学） ； EDUCA EDTECH Group, Camino de la Torrecilla, 30, 18220, Granada, Spain（EDUCA EDTECH集团，Torrecilla路30号，格拉纳达，西班牙） 纠错

专题命中 其他VLM ：visual language model(abstract)；分类 cs.CV、cs.AI

Comments 23 pages, 7 figures

Enhancing Cross-Modal Contextual Congruence for Crowdfunding Success using Knowledge-infused Learning

Trilok Padhi, Ugur Kursuncu, Yaman Kumar, Valerie L. Shalin, Lane Peterson Fronczek

机构 * Georgia State University（佐治亚州立大学） ； Adobe MDSR ； Wright State University（怀特州立大学） ； California Polytechnic State University（加州州立大学帕克校区） 纠错

专题命中 其他VLM ：visual language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted at IEEE International Conference on Big Data 2024 (IEEE BigData 2024)

Journal ref IEEE International Conference on Big Data 2024 (IEEE BigData 2024)

Incomplete In-context Learning

Wenqiang Wang, Yangshijie Zhang

机构 * Sun Yat-sen University（中山大学） ； Lanzhou University（兰州大学） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI

Fill the Gap: Quantifying and Reducing the Modality Gap in Image-Text Representation Learning

François Role, Sébastien Meyer, Victor Amblard

机构 * Université Paris-Cité（巴黎-cite大学） ； Pôle d’Expertise de la Régulation Numérique (PEReN)（数字监管专家中心） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

BrushEdit: All-In-One Image Inpainting and Editing

Yaowei Li, Yuxuan Bian, Xuan Ju, Zhaoyang Zhang, Junhao Zhuang, Ying Shan, Yuexian Zou, Qiang Xu

机构 * Peking University（北京大学） ； ARC Lab, Tencent PCG（腾讯PCG ARC实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments WebPage available at https://liyaowei-stu.github.io/project/BrushEdit/

Generalization Capability for Imitation Learning

Yixiao Wang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models

Chen Wang, Fei Xia, Wenhao Yu, Tingnan Zhang, Ruohan Zhang, C. Karen Liu, Li Fei-Fei, Jie Tan, Jacky Liang

机构 * Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.AI、cs.LG

Comments ICRA 2025

Imagery as Inquiry: Exploring A Multimodal Dataset for Conversational Recommendation

Se-eun Yoon, Hyunsik Jeon, Julian McAuley

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

COMBO: Compositional World Models for Embodied Multi-Agent Cooperation

Hongxin Zhang, Zeyuan Wang, Qiushi Lyu, Zheyuan Zhang, Sunli Chen, Tianmin Shu, Behzad Dariush, Kwonjoon Lee, Yilun Du, Chuang Gan

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI

Comments Published at ICLR 2025. 24 pages. The first three authors contributed equally

Measuring Déjà vu Memorization Efficiently

Narine Kokhlikyan, Bargav Jayaraman, Florian Bordes, Chuan Guo, Kamalika Chaudhuri

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.LG

Evaluating Compositional Scene Understanding in Multimodal Generative Models

Shuhao Fu, Andrew Jun Lee, Anna Wang, Ida Momennejad, Trevor Bihl, Hongjing Lu, Taylor W. Webb

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

Identifying Multi-modal Knowledge Neurons in Pretrained Transformers via Two-stage Filtering

Yugen Sato, Tomohiro Takagi

专题命中 其他VLM ：MLLM(abstract)；分类 cs.AI、cs.LG

Evaluating Multimodal Language Models as Visual Assistants for Visually Impaired Users

Antonia Karamolegkou, Malvina Nikandrou, Georgios Pantazopoulos, Danae Sanchez Villegas, Phillip Rust, Ruchira Dhar, Daniel Hershcovich, Anders Søgaard

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

FLIP: Towards Comprehensive and Reliable Evaluation of Federated Prompt Learning

Dongping Liao, Xitong Gao, Yabo Xu, Chengzhong Xu

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

Comments https://github.com/0-ml/flip

Mitigating Hallucinations in Multimodal Spatial Relations through Constraint-Aware Prompting

Jiarui Wu, Zhuo Liu, Hangfeng He

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 19 pages

Multi-Modal Foundation Models for Computational Pathology: A Survey

Dong Li, Guihong Wan, Xintao Wu, Xinyu Wu, Xiaohui Chen, Yi He, Christine G. Lian, Peter K. Sorger, Yevgeniy R. Semenov, Chen Zhao

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

FAVOR-Bench: A Comprehensive Benchmark for Fine-Grained Video Motion Understanding

Chongjun Tu, Lin Zhang, Pengtao Chen, Peng Ye, Xianfang Zeng, Wei Cheng, Gang Yu, Tao Chen

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments FAVOR-Bench project page: https://favor-bench.github.io/

Mitigating Object Hallucinations in MLLMs via Multi-Frequency Perturbations

Shuo Li, Jiajun Sun, Guodong Zheng, Xiaoran Fan, Yujiong Shen, Yi Lu, Zhiheng Xi, Yuming Yang, Wenming Tan, Tao Ji, Tao Gui, Qi Zhang, Xuanjing Huang

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI