多模态大模型

Taming Hallucinations: Boosting MLLMs' Video Understanding via Counterfactual Video Generation

驯服幻觉：通过反事实视频生成提升MLLMs的视频理解

Zhe Huang, Hao Wen, Aiming Hao, Bingze Song, Meiqi Wu, Jiahong Wu, Xiangxiang Chu, Sheng Lu, Haoqian Wang

机构 * Tsinghua University（清华大学） ； Beihang University（北航） ； AMAP, Alibaba Group（阿里妈妈实验室，阿里巴巴集团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 通过反事实视频生成和对比训练，提升MLLMs对视频的理解能力并减少幻觉。

Comments 18 pages

TextEditBench: Evaluating Reasoning-aware Text Editing Beyond Rendering

TextEditBench: 评估超出渲染的推理-aware文本编辑

Rui Gui, Yang Wan, Haochen Han, Dongxing Mao, Fangming Liu, Min Li, Alex Jinpeng Wang

机构 * Central South University（中南大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 TextEditBench 旨在评估文本编辑中超出渲染的推理能力，通过引入语义期望维度，推动多模态生成中的文本引导编辑技术发展。

MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens

MiniGPT-5：通过生成性vokens实现交错的视觉-语言生成

Kaizhi Zheng, Xuehai He, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 MiniGPT-5通过生成性vokens实现交错的视觉-语言生成，显著提升多模态生成任务的性能。

Unlocking the Forgery Detection Potential of Vanilla MLLMs: A Novel Training-Free Pipeline

Rui Zuo, Qinyue Tong, Zhe-Ming Lu, Ziqian Lu

机构 * Zhejiang University（浙江大学） ； Zhejiang Sci-Tech University（浙江科技学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

ProAV-DiT: A Projected Latent Diffusion Transformer for Efficient Synchronized Audio-Video Generation

Jiahui Sun, Weining Wang, Mingzhen Sun, Yirong Yang, Xinxin Zhu, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beihang University（北航大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI、cs.MM

Abn-BLIP: Abnormality-aligned Bootstrapping Language-Image Pre-training for Pulmonary Embolism Diagnosis and Report Generation from CTPA

Zhusi Zhong, Yuli Wang, Lulu Bi, Zhuoqi Ma, Sun Ho Ahn, Christopher J. Mullin, Colin F. Greineder, Michael K. Atalay, Scott Collins, Grayson L. Baird, Cheng Ting Lin, Webster Stayman, Todd M. Kolb, Ihab Kamel, Harrison X. Bai, Zhicheng Jiao

机构 * Department of Diagnostic Imaging, Brown University Health（布朗大学健康中心诊断影像科） ； Warren Alpert Medical School of Brown University（布朗大学沃伦·阿尔珀特医学院） ； Department of Biomedical Engineering, Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院生物医学工程系） ； Department of Radiology and Radiological Sciences, Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院放射科） ； Johns Hopkins University Division of Pulmonary and Critical Care Medicine（约翰霍普金斯大学肺科与重症医学科） ； Department of Radiology, University of Colorado School of Medicine（科罗拉多大学医学院放射科） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Automatización de Informes Geotécnicos para Macizos Rocosos con IA

Christofer Valencia, Alexis Llumigusín, Silvia Alvarez, Abrahan Arias, Christian Mejia-Escobar

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CL、cs.MM

Comments 17 pages, in Spanish language

MotionGPT3: Human Motion as a Second Modality

Bingfan Zhu, Biao Jiang, Sunyi Wang, Shixiang Tang, Tao Chen, Linjie Luo, Youyi Zheng, Xin Chen

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； ByteDance（字节跳动） ； The Chinese University of HongKong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

Comments 26 pages, 11 figures

SmartFreeEdit: Mask-Free Spatial-Aware Image Editing with Complex Instruction Understanding

Qianqian Sun, Jixiang Luo, Dell Zhang, Xuelong Li

机构 * Institute of Artificial Intelligence(TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） ； The University of Hongkong（香港大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.MM

MemEIC: A Step Toward Continual and Compositional Knowledge Editing

Jin Seong, Jiyun Park, Wencke Liermann, Hongseok Choi, Yoonji Nam, Hyun Kim, Soojong Lim, Namhoon Lee

机构 * Electronics and Telecommunications Research Institute, Republic of Korea（韩国电子电信研究院） ； POSTECH ； Sungkyunkwan University（全南大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2025, 38 pages, 8 figures

Pico-Banana-400K: A Large-Scale Dataset for Text-Guided Image Editing

Yusu Qian, Eli Bocek-Rivele, Liangchen Song, Jialing Tong, Yinfei Yang, Jiasen Lu, Wenze Hu, Zhe Gan

机构 * Apple（苹果公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

GACO-CAD: Geometry-Augmented and Conciseness-Optimized CAD Model Generation from Single Image

Yinghui Wang, Xinyu Zhang, Peng Du

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

UniFusion: Vision-Language Model as Unified Encoder in Image Generation

Kevin Li, Manuel Brack, Sudeep Katakol, Hareesh Ravi, Ajinkya Kale

机构 * Adobe Applied Research（Adobe应用研究） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments Project page at https://thekevinli.github.io/unifusion/

Hunyuan3D-Omni: A Unified Framework for Controllable Generation of 3D Assets

Team Hunyuan3D, :, Bowen Zhang, Chunchao Guo, Haolin Liu, Hongyu Yan, Huiwen Shi, Jingwei Huang, Junlin Yu, Kunhong Li, Linus, Penghao Wang, Qingxiang Lin, Sicong Liu, Xianghui Yang, Yixuan Tang, Yunfei Zhao, Zeqiang Lai, Zhihao Liang, Zibo Zhao

机构 * Tencent（腾讯） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments Technical Report; 3D Generation

Discrete Diffusion for Reflective Vision-Language-Action Models in Autonomous Driving

Pengxiang Li, Yinan Zheng, Yue Wang, Huimin Wang, Hang Zhao, Jingjing Liu, Xianyuan Zhan, Kun Zhan, Xianpeng Lang

机构 * LiAuto ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI

Maestro: Self-Improving Text-to-Image Generation via Agent Orchestration

Xingchen Wan, Han Zhou, Ruoxi Sun, Hootan Nakhost, Ke Jiang, Rajarishi Sinha, Sercan Ö. Arık

机构 * Google（谷歌） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 15 pages, 7 figures, 2 tables (22 pages, 9 figures and 3 tables including references and appendices)

Instant Preference Alignment for Text-to-Image Diffusion Models

Yang Li, Songlin Yang, Xiaoxuan Han, Wei Wang, Jing Dong, Yueming Lyu, Ziyu Xue

机构 * New Laboratory of Pattern Recognition, CASIA（模式识别新实验室，中国科学院自动化研究所） ； The Hong Kong University of Science and Technology（香港科技大学） ； Nanjing university（南京大学） ； Academy of Broadcasting Science, NRTA（广播科学研究院，国家广播电视总局） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 17 figures

LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation

Donald Shenaj, Ondrej Bohdal, Mete Ozay, Pietro Zanuttigh, Umberto Michieli

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025. Project page: https://donaldssh.github.io/LoRA.rar

CatchPhrase: EXPrompt-Guided Encoder Adaptation for Audio-to-Image Generation

Hyunwoo Oh, SeungJu Cha, Kwanyoung Lee, Si-Woo Kim, Dong-Jin Kim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.MM、eess.AS

Nexus-Gen: Unified Image Understanding, Generation, and Editing via Prefilled Autoregression in Shared Embedding Space

Hong Zhang, Zhongjie Duan, Xingjun Wang, Yuze Zhao, Weiyi Lu, Zhipeng Di, Yixuan Xu, Yingda Chen, Yu Zhang

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Pisces: An Auto-regressive Foundation Model for Image Understanding and Generation

Zhiyang Xu, Jiuhai Chen, Zhaojiang Lin, Xichen Pan, Lifu Huang, Tianyi Zhou, Madian Khabsa, Qifan Wang, Di Jin, Michihiro Yasunaga, Lili Yu, Xi Victoria Lin, Shaoliang Nie

机构 * Meta ； University of Maryland（马里兰大学） ； New York University（纽约大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

Comments Unified image understanding and generation model

Historical Report Guided Bi-modal Concurrent Learning for Pathology Report Generation

Ling Zhang, Boxiang Yun, Qingli Li, Yan Wang

机构 * Shanghai Key Laboratory of Multidimensional Information Processing, \ China Normal University, Shanghai, China 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Chem42: a Family of chemical Language Models for Target-aware Ligand Generation

Aahan Singh, Engin Tekin, Maryam Nadeem, Nancy A. ElNaker, Mohammad Amaan Sayeed, Natalia Vassilieva, Boulbaba Ben Amor

机构 * Inception Institute of Artificial Intelligence（Inception人工智能研究院） ； Cerebras Systems（Cerebras系统） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

ReactDiff: Latent Diffusion for Facial Reaction Generation

Jiaming Li, Sheng Wang, Xin Wang, Yitao Zhu, Honglin Xiong, Zixu Zhuang, Qian Wang

机构 * School of Biomedical Engineering & State Key Laboratory of Advanced Medical Materials and Devices, ShanghaiTech University（生物医学工程学院及先进医学材料与器件国家重点实验室，上海科技大学） ； School of Biomedical Engineering, Shanghai Jiao Tong University（生物医学工程学院，上海交通大学） ； Shanghai Clinical Research and Trial Center（上海临床研究与试验中心） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM

Comments Accepted by Neural Networks

Theorem-Validated Reverse Chain-of-Thought Problem Generation for Geometric Reasoning

Linger Deng, Linghao Zhu, Yuliang Liu, Yu Wang, Qunyi Xie, Jingjing Wu, Gang Zhang, Yingying Zhu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Department of Computer Vision Technology, Baidu Inc（百度公司计算机视觉技术部门） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

In-Context Brush: Zero-shot Customized Subject Insertion with Context-Aware Latent Space Manipulation

Yu Xu, Fan Tang, You Wu, Lin Gao, Oliver Deussen, Hongbin Yan, Jintao Li, Juan Cao, Tong-Yee Lee

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

MultiActor-Audiobook: Zero-Shot Audiobook Generation with Faces and Voices of Multiple Speakers

Kyeongman Park, Seongho Joo, Kyomin Jung

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI、eess.AS

SCA: Improve Semantic Consistent in Unrestricted Adversarial Attacks via DDPM Inversion

Zihao Pan, Lifeng Chen, Weibin Wu, Yuhang Cao, Zibin Zheng

机构 * School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院） ； Computer Science, Beijing Jiaotong University（北京交通大学计算机科学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Tokenization of Gaze Data

Tim Rolff, Jurik Karimian, Niklas Hypki, Susanne Schmidt, Markus Lappe, Frank Steinicke

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

Enhancing Dance-to-Music Generation via Negative Conditioning Latent Diffusion Model

Changchang Sun, Gaowen Liu, Charles Fleming, Yan Yan

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、eess.AS