多模态大模型

High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting

Haoyu Zhao, Cheng Zeng, Linghao Zhuang, Yaxi Zhao, Shengke Xue, Hao Wang, Xingyue Zhao, Zhongyu Li, Kehan Li, Siteng Huang, Mingxiu Chen, Xin Li, Deli Zhao, Hua Zou

机构 * Wuhan University（武汉大学） ； DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（虎扑实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)

Comments 13 pages, 6 figures

A path towards AI-scale, interoperable biological data

Brian Aevermann, Andrea Califano, Chi-Li Chiu, Nathan Clack, William M. Clemons, Jonah Cool Florence D. D'Orazi, Joseph L. DeRisi, Joshua E. Elias, Elizabeth Fahsbender, Scott E. Fraser, Carlos G. Gonzalez, Matthias Haury, Theofanis Karaletsos, Shana O. Kelley, Aly A. Khan, Alan R. Lowe, Emma Lundberg, Ryan A. McClure, Stephani Otte, Evan O. Paull, Loïc A. Royer, Dana Sadgat, Sandra L. Schmid, Samantha Scovanner, Cathy Stolitzka, Jason R. Swedlow, Joan Wong, Garabet Yeretssian, Patricia Brennan, Ambrose J. Carr

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)

Comments 8 pages, 2 images

Improving Chain-of-Thought Efficiency for Autoregressive Image Generation

Zeqi Gu, Markos Georgopoulos, Xiaoliang Dai, Marjan Ghazvininejad, Chu Wang, Felix Juefei-Xu, Kunpeng Li, Yujun Shi, Zecheng He, Zijian He, Jiawei Zhou, Abe Davis, Jialiang Wang

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Meta FAIR ； Cornell University（康奈尔大学） ； Stony Brook University（石溪大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

STIV: Scalable Text and Image Conditioned Video Generation

Zongyu Lin, Wei Liu, Chen Chen, Jiasen Lu, Wenze Hu, Tsu-Jui Fu, Jesse Allardice, Zhengfeng Lai, Liangchen Song, Bowen Zhang, Cha Chen, Yiran Fei, Lezhi Li, Yizhou Sun, Kai-Wei Chang, Yinfei Yang

机构 * Apple（苹果公司） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV、cs.AI、cs.MM

RIV: Recursive Introspection Mask Diffusion Vision Language Model

YuQian Li, Limeng Qiao, Lin Ma

机构 * Meituan（美团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Citrus-V: Advancing Medical Foundation Models with Unified Medical Image Grounding for Clinical Reasoning

Guoxin Wang, Jun Zhao, Xinyi Liu, Yanbo Liu, Xuyang Cao, Chao Li, Zhuoyun Liu, Qintian Sun, Fangru Zhou, Haoqiang Xing, Zhenhong Yang

机构 * JDH Algo（京东健康算法） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Zero-Shot Visual Deepfake Detection: Can AI Predict and Prevent Fake Content Before It's Created?

Ayan Sar, Sampurna Roy, Tanupriya Choudhury, Ajith Abraham

机构 * School of Computer Sciences, University of Petroleum and Energy Studies (UPES), Dehradun（计算机科学学院，石油与能源研究大学（UPES），德里加恩） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

Comments Published in Foundations and Trends in Signal Processing (#1 in Signal Processing, #3 in Computer Science)

Journal ref Foundations and Trends in Signal Processing (2025)

AToken: A Unified Tokenizer for Vision

Jiasen Lu, Liangchen Song, Mingze Xu, Byeongjoo Ahn, Yanjun Wang, Chen Chen, Afshin Dehghan, Yinfei Yang

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

Comments 30 pages, 14 figures

CoachMe: Decoding Sport Elements with a Reference-Based Coaching Instruction Generation Model

Wei-Hsin Yeh, Yu-An Su, Chih-Ning Chen, Yi-Hsueh Lin, Calvin Ku, Wen-Hsin Chiu, Min-Chun Hu, Lun-Wei Ku

机构 * Institute of Information Science, Academia Sinica（学术院信息研究所） ； National Tsing Hua University（国立清华大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Published in Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2025. Official version: https://doi.org/10.18653/v1/2025.acl-long.1413

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics Volume 1: Long Papers (2025) 29126-29151

Interleaving Reasoning for Better Text-to-Image Generation

Wenxuan Huang, Shuang Chen, Zheyong Xie, Shaosheng Cao, Shixiang Tang, Yufan Shen, Qingyu Yin, Wenbo Hu, Xiaoman Wang, Yuntian Tang, Junbo Qiao, Yue Guo, Yao Hu, Zhenfei Yin, Philip Torr, Yu Cheng, Wanli Ouyang, Shaohui Lin

机构 * East China Normal University（华东师范大学） ； The Chinese University of Hong Kong（香港中文大学） ； Xiaohongshu Inc.（小红书公司） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Zhejiang University（浙江大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

LLM4SG: Adapting Large Language Model for Scatterer Generation via Synesthesia of Machines

Zengrui Han, Lu Bai, Ziwei Huang, Xiang Cheng

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)

Natural Language Generation from Visual Events: State-of-the-Art and Key Open Questions

Aditya K Surikuchi, Raquel Fernández, Sandro Pezzelle

机构 * Institute for Logic, Language and Computation (ILLC), University of Amsterdam（逻辑、语言与计算研究所（ILLC），阿姆斯特丹大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Echo-4o: Harnessing the Power of GPT-4o Synthetic Images for Improved Image Generation

Junyan Ye, Dongzhi Jiang, Zihao Wang, Leqi Zhu, Zhenghao Hu, Zilong Huang, Jun He, Zhiyuan Yan, Jinghua Yu, Hongsheng Li, Conghui He, Weijia Li

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Sun Yat-sen University（中山大学） ； CUHK MMLab（香港中文大学多模态实验室） ； Peking University（北京大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 19 pages, 8 figures

Speed Always Wins: A Survey on Efficient Architectures for Large Language Models

Weigao Sun, Jiaxi Hu, Yucheng Zhou, Jusen Du, Disen Lan, Kexin Wang, Tong Zhu, Xiaoye Qu, Yu Zhang, Xiaoyu Mo, Daizong Liu, Yuxuan Liang, Wenliang Chen, Guoqi Li, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； HKUST (GZ)（香港科技大学） ； University of Macau（澳门大学） ； Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所） ； Soochow University（苏州大学） ； KTH Royal Institute of Technology（皇家理工学院） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Survey, 82 pages, GitHub: https://github.com/weigao266/Awesome-Efficient-Arch

CrossWordBench: Evaluating the Reasoning Capabilities of LLMs and LVLMs with Controllable Puzzle Generation

Jixuan Leng, Chengsong Huang, Langlin Huang, Bill Yuchen Lin, William W. Cohen, Haohan Wang, Jiaxin Huang

机构 * CMU（卡内基梅隆大学） ； WUSTL（华盛顿大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

DreamStory: Open-Domain Story Visualization by LLM-Guided Multi-Subject Consistent Diffusion

Huiguo He, Huan Yang, Zixi Tuo, Yuan Zhou, Qiuyue Wang, Yuhang Zhang, Zeyu Liu, Wenhao Huang, Hongyang Chao, Jian Yin

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

Comments Accepted by TPAMI

DanceChat: Large Language Model-Guided Music-to-Dance Generation

Qing Wang, Xiaohang Yang, Yilan Dong, Naveen Raj Govindaraj, Gregory Slabaugh, Shanxin Yuan

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.MM、eess.AS

Test-time Prompt Refinement for Text-to-Image Models

Mohammad Abdul Hafeez Khan, Yash Jain, Siddhartha Bhattacharyya, Vibhav Vineet

机构 * Florida Institute of Technology（佛罗里达理工学院） ； Microsoft Research（微软研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)

Comments Accepted to ICCV 2025, MARS2 Workshop. Total 14 pages, 12 figures and 3 tables

UniWorld-V1: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

机构 * Peking University（北京大学） ； Shenzhen Graduate School（深圳研究生院） ； Peng Cheng Laboratory（鹏城实验室） ； Rabbitpre AI 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

How Much To Guide: Revisiting Adaptive Guidance in Classifier-Free Guidance Text-to-Vision Diffusion Models

Huixuan Zhang, Junzhe Zhang, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王玄计算技术研究所） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

Interpretable and Reliable Detection of AI-Generated Images via Grounded Reasoning in MLLMs

Yikun Ji, Hong Yan, Jun Lan, Huijia Zhu, Weiqiang Wang, Qi Fan, Liqing Zhang, Jianfu Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Thinking with Generated Images

Ethan Chern, Zhulin Hu, Steffi Chern, Siqi Kou, Jiadi Su, Yan Ma, Zhijie Deng, Pengfei Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； SII ； Fudan University（复旦大学） ； Generative AI Research Lab (GAIR)（生成式人工智能研究实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Preference Adaptive and Sequential Text-to-Image Generation

Ofir Nabati, Guy Tennenholtz, ChihWei Hsu, Moonkyung Ryu, Deepak Ramachandran, Yinlam Chow, Xiang Li, Craig Boutilier

机构 * International Conference on Machine Learning (ICML 2025)（国际机器学习会议） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Accepted to ICML 2025 Link to PASTA dataset: https://www.kaggle.com/datasets/googleai/pasta-data

CompAlign: Improving Compositional Text-to-Image Generation with a Complex Benchmark and Fine-Grained Feedback

Yixin Wan, Kai-Wei Chang

机构 * Department of Computer Science University of California, Los Angeles（计算机科学系，加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Do Vision & Language Decoders use Images and Text equally? How Self-consistent are their Explanations?

Letitia Parcalabescu, Anette Frank

机构 * Computational Linguistics Department（计算语言学系） ； Heidelberg University（海德堡大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 30 pages, 8 figures, 11 tables

ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion

Rana Muhammad Shahroz Khan, Dongwen Tang, Pingzhi Li, Kai Wang, Tianlong Chen

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

MMGenBench: Fully Automatically Evaluating LMMs from the Text-to-Image Generation Perspective

Hailang Huang, Yong Wang, Zixuan Huang, Huaqiu Li, Tongwen Huang, Xiangxiang Chu, Richong Zhang

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments This project is available at: https://github.com/lerogo/MMGenBench

Human-Centric Foundation Models: Perception, Generation and Agentic Modeling

Shixiang Tang, Yizhou Wang, Lu Chen, Yuan Wang, Sida Peng, Dan Xu, Wanli Ouyang

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

Comments 9 pages

Secure & Personalized Music-to-Video Generation via CHARCHA

Mehul Agarwal, Gauri Agarwal, Santiago Benoit, Andrew Lippman, Jean Oh

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

Comments NeurIPS 2024 Creative AI Track

LMM-enhanced Safety-Critical Scenario Generation for Autonomous Driving System Testing From Non-Accident Traffic Videos

Haoxiang Tian, Xingshuo Han, Yuan Zhou, Guoquan Wu, An Guo, Mingfei Cheng, Shuo Li, Jun Wei, Tianwei Zhang

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)

Comments 17 pages