多模态大模型

Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces

Kevin Rojas, Yuchen Zhu, Sichen Zhu, Felix X. -F. Ye, Molei Tao

机构 * Machine Learning Center, Georgia Institute of Technology, Atlanta, GA ； School of Mathematics, Georgia Institute of Technology, Atlanta, GA ； Department of Mathematics \& Statistics, SUNY Albany, NY 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to ICML 2025. Code available at https://github.com/KevinRojas1499/Diffuse-Everything

Towards Scalable SOAP Note Generation: A Weakly Supervised Multimodal Framework

Sadia Kamal, Tim Oates, Joy Wan

机构 * Department of Computer Science, University of Maryland, Baltimore County（计算机科学系，马里兰大学巴尔的摩县分校） ； Department of Dermatology, Johns Hopkins University School of Medicine（皮肤科系，约翰霍普金斯大学医学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted at IEEE/CVF Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)

SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs

Xin Su, Man Luo, Kris W Pan, Tien Pei Chou, Vasudev Lal, Phillip Howard

机构 * Intel Labs（英特尔实验室） ； Amazon（亚马逊） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments ICML 2025 Spotlight Oral

PolyVivid: Vivid Multi-Subject Video Generation with Cross-Modal Interaction and Enhancement

Teng Hu, Zhentao Yu, Zhengguang Zhou, Jiangning Zhang, Yuan Zhou, Qinglin Lu, Ran Yi

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Hunyuan（腾讯文英） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：cross-modal(title)；MLLM(abstract)；分类 cs.CV、cs.AI

Object Navigation with Structure-Semantic Reasoning-Based Multi-level Map and Multimodal Decision-Making LLM

Chongshang Yan, Jiaxuan He, Delun Li, Yi Yang, Wenjie Song

机构 * School of Automation（自动化学院） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态生成 ：multimodal(title)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 16 pages, 11 figures

ARMOR: Empowering Multimodal Understanding Model with Interleaved Multimodal Generation Capability

Jianwen Sun, Yukang Feng, Chuanhao Li, Fanrui Zhang, Zizhen Li, Jiaxin Ai, Sizhuo Zhou, Yu Dai, Shenglin Zhang, Kaipeng Zhang

机构 * Nankai University（南开大学） ； Shanghai Innovation Institute（上海创新研究院） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Generative AI with Autoregressive LLMs for Human Motion Understanding and Generation: A Way Forward

Muhammad Islam, Tao Huang, Euijoon Ahn, Usman Naseem

机构 * College of Science and Engineering（科学与工程学院） ； James Cook University（詹姆斯库克大学） ； School of Computing（计算学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Look & Mark: Leveraging Radiologist Eye Fixations and Bounding boxes in Multimodal Large Language Models for Chest X-ray Report Generation

Yunsoo Kim, Jinge Wu, Su-Hwan Kim, Pardeep Vasudev, Jiashu Shen, Honghan Wu

机构 * UCL（伦敦大学学院） ； Technical University of Munich（慕尼黑技术大学） ； University of Oxford（牛津大学） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Privacy-Preserving Chest X-ray Report Generation via Multimodal Federated Learning with ViT and GPT-2

Md. Zahid Hossain, Mustofa Ahmed, Most. Sharmin Sultana Samu, Md. Rakibul Islam

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Preprint, manuscript under-review

REGen: Multimodal Retrieval-Embedded Generation for Long-to-Short Video Editing

Weihan Xu, Yimeng Ma, Jingyue Huang, Yang Li, Wenye Ma, Taylor Berg-Kirkpatrick, Julian McAuley, Paul Pu Liang, Hao-Wen Dong

机构 * Duke University（杜克大学） ； University of California, San Diego（加州大学圣迭戈分校） ； MBZUAI（马克斯·普朗克人工智能研究所） ； MIT（麻省理工学院） ； University of Michigan（密歇根大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

OmniGenBench: A Benchmark for Omnipotent Multimodal Generation across 50+ Tasks

Jiayu Wang, Yang Jiao, Yue Yu, Tianwen Qian, Shaoxiang Chen, Jingjing Chen, Yu-Gang Jiang

机构 * Shanghai Key Lab of Intell. Info. Processing, Fudan University（上海智能信息处理关键实验室，复旦大学） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

RoHyDR: Robust Hybrid Diffusion Recovery for Incomplete Multimodal Emotion Recognition

Yuehan Jin, Xiaoqing Liu, Yiyuan Yang, Zhiwen Yu, Tong Zhang, Kaixiang Yang

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； South China University of Technology（华南理工大学） ； School of Future Technology（未来技术学院） ； University of Oxford（牛津大学） ； Pengcheng Laboratory（鹏城实验室） ； Department of Computer Science（计算机科学系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

VLM-KG: Multimodal Radiology Knowledge Graph Generation

Abdullah Abdullah, Seong Tae Kim

机构 * Department of Computer Science and Engineering, Kyung Hee University（计算机科学与工程系，庆熙大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments 10 pages, 2 figures

AutoGEEval: A Multimodal and Automated Framework for Geospatial Code Generation on GEE with Large Language Models

Shuyang Hou, Zhangxiao Shen, Huayi Wu, Jianyuan Liang, Haoyue Jiao, Yaxian Qing, Xiaopu Zhang, Xu Li, Zhipeng Gui, Xuefeng Guan, Longgang Xiang

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

UniCMs: A Unified Consistency Model For Efficient Multimodal Generation and Understanding

Chenkai Xu, Xu Wang, Zhenyi Liao, Yishun Li, Tianqi Hou, Zhijie Deng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei（华为） ； Tongji University（同济大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

CreativeSynth: Cross-Art-Attention for Artistic Image Synthesis with Multimodal Diffusion

Nisha Huang, Weiming Dong, Yuxin Zhang, Fan Tang, Ronghui Li, Chongyang Ma, Xiu Li, Tong-Yee Lee, Changsheng Xu

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Pengcheng Laboratory（鹏城实验室） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化所MAIS部） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； ByteDance Inc.（字节跳动公司） ； National Cheng Kung University（国立成功大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

PhytoSynth: Leveraging Multi-modal Generative Models for Crop Disease Data Generation with Novel Benchmarking and Prompt Engineering Approach

Nitin Rai, Arnold W. Schumann, Nathan Boyd

机构 * Gulf Coast Research and Education Center (GCREC), University of Florida（佛罗里达大学 Gulf Coast Research and Education Center） ； Citrus Research and Education Center (CREC), University of Florida（佛罗里达大学 Citrus Research and Education Center） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Seeing Heat with Color -- RGB-Only Wildfire Temperature Inference from SAM-Guided Multimodal Distillation using Radiometric Ground Truth

Michael Marinaccio, Fatemeh Afghah

机构 * Dept. of Electrical and Computer Engineering, Clemson University（电子与计算机工程系，克莱姆森大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 7 pages, 4 figures, 4 tables

CapsFake: A Multimodal Capsule Network for Detecting Instruction-Guided Deepfakes

Tuan Nguyen, Naseem Khan, Issa Khalil

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） ； Hamad Bin Khalifa University（哈马德·本·卡尔法大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 20 pages

Towards Safe Synthetic Image Generation On the Web: A Multimodal Robust NSFW Defense and Million Scale Dataset

Muhammad Shahid Muneer, Simon S. Woo

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Short Paper The Web Conference

Can GPT tell us why these images are synthesized? Empowering Multimodal Large Language Models for Forensics

Yiran He, Yun Cao, Bowen Yang, Zeyu Zhang

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 12 pages, 11 figures, 13IHMMSec2025

FakeShield: Explainable Image Forgery Detection and Localization via Multi-modal Large Language Models

Zhipei Xu, Xuanyu Zhang, Runyi Li, Zecheng Tang, Qing Huang, Jian Zhang

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted by ICLR 2025

Phantom: Subject-consistent video generation via cross-modal alignment

Lijie Liu, Tianxiang Ma, Bingchuan Li, Zhuowei Chen, Jiawei Liu, Gen Li, Siyu Zhou, Qian He, Xinglong Wu

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Quantitative Language for Generative Recommendation

Jianyang Zhai, Zi-Feng Mai, Chang-Dong Wang, Feidiao Yang, Xiawu Zheng, Hui Li, Yonghong Tian

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Stance-Driven Multimodal Controlled Statement Generation: New Dataset and Task

Bingqian Wang, Quan Fang, Jiachen Sun, Xiaoxiao Ma

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

OmniCam: Unified Multimodal Video Generation via Camera Control

Xiaoda Yang, Jiayang Xu, Kaixuan Luan, Xinyu Zhan, Hongshun Qiu, Shijun Shi, Hao Li, Shuai Yang, Li Zhang, Checheng Yu, Cewu Lu, Lixin Yang

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Evaluating Compositional Scene Understanding in Multimodal Generative Models

Shuhao Fu, Andrew Jun Lee, Anna Wang, Ida Momennejad, Trevor Bihl, Hongjing Lu, Taylor W. Webb

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

UGen: Unified Autoregressive Multimodal Model with Progressive Vocabulary Learning

Hongxuan Tang, Hao Liu, Xinyan Xiao

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Unified Multimodal Discrete Diffusion

Alexander Swerdlow, Mihir Prabhudesai, Siddharth Gandhi, Deepak Pathak, Katerina Fragkiadaki

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Project Website: https://unidisc.github.io

Zero-Shot Human-Object Interaction Synthesis with Multimodal Priors

Yuke Lou, Yiming Wang, Zhen Wu, Rui Zhao, Wenjia Wang, Mingyi Shi, Taku Komura

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI