多模态大模型

DeepEyeNet: Generating Medical Report for Retinal Images

Jia-Hong Huang

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

Comments The paper is accepted by the Conference on Information and Knowledge Management (CIKM), 2025

DTGen: Generative Diffusion-Based Few-Shot Data Augmentation for Fine-Grained Dirty Tableware Recognition

Lifei Hao, Yue Cheng, Baoqi Huang, Bing Jia, Xuandong Zhao

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI

Text2Sign Diffusion: A Generative Approach for Gloss-Free Sign Language Production

Liqian Feng, Lintao Wang, Kun Hu, Dehui Kong, Zhiyong Wang

机构 * School of Computer Science（计算机科学学院） ； School of Science（科学学院） ； Faculty of Information Technology（信息技术学院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CL、cs.MM

Towards Understanding Visual Grounding in Visual Language Models

Georgios Pantazopoulos, Eda B. Özyiğit

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； Heriot-Watt University（赫瑞-沃德大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

STRICT: Stress Test of Rendering Images Containing Text

Tianyu Zhang, Xinyu Wang, Lu Li, Zhenghan Tai, Jijun Chi, Jingrui Tian, Hailin He, Suyuchen Wang

机构 * Mila, University of Montreal（蒙特利尔大学Mila） ； McGill University（麦吉尔大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Toronto（多伦多大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Southwestern University of Finance and Economics（西南财经大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

Comments Accepted as a main conference paper at EMNLP 2025

Spherical Brownian Bridge Diffusion Models for Conditional Cortical Thickness Forecasting

Ivan Stoyanov, Fabian Bongratz, Christian Wachinger

机构 * Lab for AI in Medical Imaging, Technical University of Munich, Munich, Germany（人工智能医学影像实验室，慕尼黑技术大学，慕尼黑，德国） ； Munich Center for Machine Learning, Munich, Germany（慕尼黑机器学习中心，慕尼黑，德国） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

RT-VLM: Re-Thinking Vision Language Model with 4-Clues for Real-World Object Recognition Robustness

Junghyun Park, Tuan Anh Nguyen, Dugki Min

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

A Dataset Generation Scheme Based on Video2EEG-SPGN-Diffusion for SEED-VD

Yunfei Guo, Tao Zhang, Wu Huang, Yao Song

机构 * Chengdu Techman Software Co., Ltd.（成都技漫软件有限公司） ； Sichuan University（四川大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Think2Sing: Orchestrating Structured Motion Subtitles for Singing-Driven 3D Head Animation

Zikai Huang, Yihan Zhou, Xuemiao Xu, Cheng Xu, Xiaofen Xing, Jing Qin, Shengfeng He

机构 * School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院） ； South China University of Technology（华南理工大学） ； Guangdong Engineering Center for Large Model and GenAI Technology（广东省大模型与生成式人工智能技术工程中心） ； Guangdong Provincial Key Lab of Computational Intelligence and Cyberspace Information（广东省计算智能与网络信息重点实验室） ； Centre for Smart Health, Hong Kong Polytechnic University（香港理工大学智能健康研究中心） ； CAS-Hong Kong Joint Laboratory for Multimodal Medical Molecular Imaging（中国科学院-香港联合多模态医学分子成像联合实验室） ； School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院） ； Pazhou Lab, Guangzhou, Guangdong, China（广州琶洲实验室） ； School of Computing and Information Systems, Singapore Management University（新加坡国立大学计算机与信息系统学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI、cs.MM

Reinforced Visual Perception with Tools

Zetong Zhou, Dongping Chen, Zixian Ma, Zhihan Hu, Mingyang Fu, Sinan Wang, Yao Wan, Zhou Zhao, Ranjay Krishna

机构 * ONE Lab, HUST（华中科技大学 ONE 实验室） ； ONE Lab, HUST University of Maryland（华中科技大学 与 马里兰大学 ONE 实验室） ； University of Washington（华盛顿大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.CL

Comments Technical Report

DanceEditor: Towards Iterative Editable Music-driven Dance Generation with Open-Vocabulary Descriptions

Hengyuan Zhang, Zhe Li, Xingqun Qi, Mengze Li, Muyi Sun, Man Zhang, Sirui Han

机构 * Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.MM

Journal ref ICCV 2025

SSG-Dit: A Spatial Signal Guided Framework for Controllable Video Generation

Peng Hu, Yu Gu, Liang Luo, Fuji Ren

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科技大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

Quantitative Comparison of Fine-Tuning Techniques for Pretrained Latent Diffusion Models in the Generation of Unseen SAR Images

Solène Debuysère, Nicolas Trouvé, Nathan Letheule, Olivier Lévêque, Elise Colin

机构 * Paris-Saclay University（巴黎-萨克雷大学） ； ONERA - The French Aerospace Lab（法国航空航天实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Yan: Foundational Interactive Video Generation

Deheng Ye, Fangyun Zhou, Jiacheng Lv, Jianqi Ma, Jun Zhang, Junyan Lv, Junyou Li, Minwen Deng, Mingyu Yang, Qiang Fu, Wei Yang, Wenkai Lv, Yangbin Yu, Yewen Wang, Yonghang Guan, Zhihao Hu, Zhongbin Fang, Zhongqian Sun

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation

Joonwoo Kwon, Heehwan Wang, Jinwoo Lee, Sooyoung Kim, Shinjae Yoo, Yuewei Lin, Jiook Cha

机构 * Michigan State University（密歇根州立大学） ； Seoul National University（首尔国立大学） ； Rutgers University（罗格斯大学） ； Brookhaven National Laboratory（布鲁赫斯国家实验室） 纠错

专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.AI、eess.AS

Comments Accepted at the ACM MM 2025 - The 1st CogMAEC Workshop (Oral)

Gen-AFFECT: Generation of Avatar Fine-grained Facial Expressions with Consistent identiTy

Hao Yu, Rupayan Mallick, Margrit Betke, Sarah Adel Bargal

机构 * Boston University（波士顿大学） ； Georgetown University（乔治城大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AMRG: Extend Vision Language Models for Automatic Mammography Report Generation

Nak-Jun Sung, Donghyun Lee, Bo Hwa Choi, Chae Jung Park

机构 * Research Institute, National Cancer Center Korea（韩国国家癌症中心研究所） ； Department of Radiology, National Cancer Center Korea（韩国国家癌症中心放射科） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Generative Artificial Intelligence in Medical Imaging: Foundations, Progress, and Clinical Translation

Xuanru Zhou, Cheng Li, Shuqiang Wang, Ye Li, Tao Tan, Hairong Zheng, Shanshan Wang

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Intention-Aware Diffusion Model for Pedestrian Trajectory Prediction

Yu Liu, Zhijie Liu, Xiao Ren, You-Fu Li, He Kong

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo

Qianli Ma, Yaowei Zheng, Zhelun Shi, Zhongkai Zhao, Bin Jia, Ziyue Huang, Zhiqi Lin, Youjie Li, Jiacheng Yang, Yanghua Peng, Zhi Zhang, Xin Liu

机构 * ByteDance（字节跳动） 纠错

专题命中 多模态生成 ：omni-modal(abstract)；分类 cs.CL、cs.AI

PromptDresser: Improving the Quality and Controllability of Virtual Try-On via Generative Textual Prompt and Prompt-aware Mask

Jeongho Kim, Hoiyeong Jin, Sunghyun Park, Jaegul Choo

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments 20 pages

PLA: Prompt Learning Attack against Text-to-Image Generative Models

Xinqi Lyu, Yihao Liu, Yanjie Li, Bin Xiao

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments 10 pages, 3 figures, and published to ICCV2025

Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering

Xu Wang, Shengeng Tang, Fei Wang, Lechao Cheng, Dan Guo, Feng Xue, Richang Hong

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI

JWB-DH-V1: Benchmark for Joint Whole-Body Talking Avatar and Speech Generation Version 1

Xinhan Di, Kristin Qi, Pengqian Yu

机构 * Computer Science, University of Massachusetts Boston（马萨诸塞大学波士顿分校计算机科学系） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

Comments WiCV @ ICCV 2025

T2I-Copilot: A Training-Free Multi-Agent Text-to-Image System for Enhanced Prompt Interpretation and Interactive Generation

Chieh-Yun Chen, Min Shi, Gong Zhang, Humphrey Shi

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025

ChartGen: Scaling Chart Understanding Via Code-Guided Synthetic Chart Generation

Jovana Kondic, Pengyuan Li, Dhiraj Joshi, Zexue He, Shafiq Abedin, Jennifer Sun, Ben Wiesel, Eli Schwartz, Ahmed Nassar, Bo Wu, Assaf Arbelle, Aude Oliva, Dan Gutfreund, Leonid Karlinsky, Rogerio Feris

机构 * MIT（麻省理工学院） ； MIT-IBM Watson AI Labs（麻省理工-IBM沃森人工智能实验室） ； IBM Research（IBM研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Detecting Multimedia Generated by Large AI Models: A Survey

Li Lin, Neeraj Gupta, Yue Zhang, Hainan Ren, Chun-Hao Liu, Feng Ding, Xin Wang, Xin Li, Luisa Verdoliva, Shu Hu

机构 * Department of Computer and Information Technology, Purdue University（普渡大学计算机与信息科技系） ； School of Software, Nanchang University（南昌大学软件学院） ； Amazon Prime Video（亚马逊Prime视频） ； Department of Epidemiology and Biostatistics, School of Public Health（公共卫生学院流行病学与生物统计学系） ； Department of Computer Science, College of Nanotechnology, Science, and Engineering（纳米技术、科学与工程学院计算机科学系） ； University at Albany, SUNY（阿尔巴尼大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI、cs.MM

Gen-AI Police Sketches with Stable Diffusion

Nicholas Fidalgo, Aaron Contreras, Katherine Harvey, Johnny Ni

机构 * Harvard College（哈佛学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Benchmarking GANs, Diffusion Models, and Flow Matching for T1w-to-T2w MRI Translation

Andrea Moschetto, Lemuel Puglisi, Alec Sargood, Pierluigi Dell'Acqua, Francesco Guarnera, Sebastiano Battiato, Daniele Ravì

机构 * Università degli Studi di Catania（卡塔尼亚大学） ； Università degli Studi di Messina（梅斯纳大学） ； University College London（伦敦大学学院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI

LLM-driven Medical Report Generation via Communication-efficient Heterogeneous Federated Learning

Haoxuan Che, Haibo Jin, Zhengrui Guo, Yi Lin, Cheng Jin, Hao Chen

机构 * Department of Computer Science and Engineering, Department of Chemical and Biological Engineering and Division of Life Science, Hong Kong University of Science and Technology（计算机科学与工程系、化学与生物工程系及生命科学分校，香港科学与技术大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.CL

Comments Accepted by IEEE TMI