多模态大模型

VEGGIE: Instructional Editing and Reasoning Video Concepts with Grounded Generation

Shoubin Yu, Difan Liu, Ziqiao Ma, Yicong Hong, Yang Zhou, Hao Tan, Joyce Chai, Mohit Bansal

机构 * Adobe Research（Adobe研究机构） ； University of Michigan（密歇根大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments ICCV 2025; First three authors contributed equally. Project page: https://veggie-gen.github.io/

METAL: A Multi-Agent Framework for Chart Generation with Test-Time Scaling

Bingxuan Li, Yiwei Wang, Jiuxiang Gu, Kai-Wei Chang, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of California, Merced（加州大学默塞德分校） ； Adobe Research（Adobe研究） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments ACL2025 Main

A Versatile Diffusion Transformer with Mixture of Noise Levels for Audiovisual Generation

Gwanghyun Kim, Alonso Martinez, Yu-Chuan Su, Brendan Jou, José Lezama, Agrim Gupta, Lijun Yu, Lu Jiang, Aren Jansen, Jacob Walker, Krishna Somandepalli

机构 * Seoul National University（首尔国立大学） ； Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM、eess.AS

Journal ref In Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS 2024)

RICO: Improving Accuracy and Completeness in Image Recaptioning via Visual Reconstruction

Yuchi Wang, Yishuo Cai, Shuhuai Ren, Sihan Yang, Linli Yao, Yuanxin Liu, Yuanxing Zhang, Pengfei Wan, Xu Sun

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments code: https://github.com/wangyuchi369/RICO

LLMs can see and hear without any training

Kumar Ashutosh, Yossi Gandelsman, Xinlei Chen, Ishan Misra, Rohit Girdhar

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Code: https://github.com/facebookresearch/MILS

Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark

Rong-Cheng Tu, Zi-Ao Ma, Tian Lan, Yuehao Zhao, Heyan Huang, Xian-Ling Mao

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Assessing GPT4-V on Structured Reasoning Tasks

Mukul Singh, José Cambronero, Sumit Gulwani, Vu Le, Gust Verbruggen

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 9 pages, 9 figures

DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generation Models

Jaemin Cho, Abhay Zala, Mohit Bansal

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments ICCV 2023 (34 pages; see appendix for version changelog)

Sounding Video Generator: A Unified Framework for Text-guided Sounding Video Generation

Jiawei Liu, Weining Wang, Sihan Chen, Xinxin Zhu, Jing Liu

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

Journal ref IEEE Transactions on Multimedia 2023

From Pixels to Feelings: Aligning MLLMs with Human Cognitive Perception of Images

从像素到感受：将MLLMs对齐于人类对图像的认知感知

Yiming Chen, Junlin Han, Tianyi Bai, Shengbang Tong, Filippos Kokkinos, Philip Torr

机构 * Oxford University（牛津大学） ； HKUST（香港科技大学） ； University College London（伦敦大学学院） ； New York University（纽约大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,comments)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出CogIP-Bench基准，通过后训练提升MLLMs对图像认知属性的对齐能力，并展示其在图像生成中的应用。

Comments Project page with codes/datasets/models: https://follen-cry.github.io/MLLM-Cognition-project-page/

D$^{3}$ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs

Shuochen Chang, Xiaofeng Zhang, Qingyang Liu, Li Niu

机构 * Project leader（项目负责人） 纠错

专题命中 多模态生成 ：MLLM(abstract,comments)；multimodal(abstract)；分类 cs.CV、cs.CL

Comments Accepted by AAAI Conference on Artificial Intelligence (AAAI) 2026. Code available at https://github.com/bcmi/D3ToM-Diffusion-MLLM

ControlRadio: Prompt-Driven Controllable Diffusion for Cross-Modal Radio Map Generation

ControlRadio：用于跨模态无线电地图生成的提示驱动可控扩散模型

Kangjun Liu, Xiying Pan, Shuhang Zhang, Xiang Xiang, Ke Chen, Yaowei Wang

机构 * Pengcheng Laboratory（鹏城实验室） ； South China University of Technology（华南理工大学） ； Peking University（北京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：cross-modal(title)；分类 cs.CV

AI总结 ControlRadio是一种可控生成框架，可根据自然语言描述和环境布局生成无线电地图，在不同城市场景中精度和泛化能力领先，计算时间较传统方法减少四个数量级以上，为无线环境建模提供新范式。

Comments 17 pages, 9 figures, 8 tables

KVAE: Family of Tokenizers for Multimodal Generative Models

KVAE：用于多模态生成模型的分词器家族

Andrey Shutkin, Denis Parkhomenko, Ivan Kirillov, Kirill Chernyshev, Kirill Malakhov, Ilia Vasiliev, Ilia Trushkin, Valeriya Kobenko, David Chikovani, Alexander Ivanov, Azat Saginbaev, Egor Silvestrov, Ivan Mikheev, Konstantin Zakharov

机构 * Kandinsky Lab（坎丁斯基实验室） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 本研究提出用于多模态生成模型的KVAE分词器家族，含音频、图像、视频专用型号，性能优于多款前沿开源分词器，公开了训练细节与代码。

Trojan Horse Prompting: Jailbreaking Conversational Multimodal Models by Forging Assistant Message

木马提示：通过伪造助手消息来破解对话式多模态模型

Wei Duan, Li Qian

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 研究针对对话式多模态模型的安全漏洞，提出木马提示越狱技术，通过伪造对话历史绕过安全机制，在谷歌Gemini-2.0上实验显示其攻击成功率高于现有方法，揭示对话AI安全缺陷，呼吁转变验证范式。

Comments We stopped working on this idea because we realized that there was a paper submitted before it that took almost identical approach

REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles

REVIVE：一种用于自动驾驶车辆中破坏行为检测与恢复的多模态框架

Abdullah Tariq Choudhry, Tapadhir Das

机构 * University of the Pacific（太平洋大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV

AI总结 研究自动驾驶车辆中破坏行为导致的遮挡攻击问题，提出REVIVE多模态框架，集成多种检测与恢复方法，如二进制VOA检测、多类VOA模式识别等，实验表明该框架能有效恢复图像，提升目标检测指标，提供结构化恢复方案。

PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation

PairCoder++：结对编程作为验证代码驱动的多模态与结构化工件生成的通用范式

Junhao Chen, Xiang Li, Mingjin Chen, Boran Zhang, Henghaofan Zhang, Yibin Xu, Yuehan Cui, Fangsheng Weng, Fei Ma, Qi Tian, Ruqi Huang, Hao Zhao

机构 * THU（清华大学） ； PKU（北京大学） ； PolyU, Hong Kong（香港理工大学） ； USTC（中国科学技术大学） ； UESTC（电子科技大学） ； Tongji University（同济大学） ； Tianjin University（天津大学） ； Independent Researcher（独立研究者） ； Guangming Lab（光明实验室） ； BAAI（北京智源人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CL

AI总结 提出PairCoder框架，通过驱动者和导航者两个智能体结对编程，利用工具链反馈验证代码生成，在17个基准测试中显著提升可验证工件的生成质量。

Comments Accepted by ACL 2026. Project Page: https://yisuanwang.github.io/PairCoder/

TF-TI2I: Training-Free Text-and-Image-to-Image Generation via Multi-Modal Implicit-Context Learning in Text-to-Image Models

TF-TI2I：通过文本到图像模型中的多模态隐式上下文学习实现无需训练的文本与图像到图像生成

Teng-Fang Hsiao, Bo-Kai Ruan, Yi-Lun Wu, Tzu-Ling Lin, Hong-Han Shuai

机构 * National Yang Ming Chiao Tung University 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV

AI总结 提出无需训练的TF-TI2I方法，利用MM-DiT架构中文本标记隐式学习视觉信息，通过参考上下文掩码和胜者全取模块实现选择性信息共享，并引入FG-TI2I基准，在复杂图像生成任务中表现稳健。

Navigating User Behavior toward Personalized Multimodal Generation

导航用户行为以实现个性化多模态生成

Hengji Zhou, Yufeng Liu, Ye Liu, Yong Xu, Lianghao Xia, Liqiang Nie

机构 * South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 提出NaviGen，通过双标识符编码用户行为并采用两阶段SFT+RL训练，将交互历史转化为可执行指令，提升个性化图像和视频生成质量。

Comments 16 pages, 15 figures, 5 tables. Code is available at https://github.com/iLearn-Lab/NaviGen

Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility

驾驶，快或慢？多模态地面移动中运动预测的神经符号引导

Simon Kohaut, Felix Divo, Julius Hahnewald, Benedict Flade, Julian Eggert, Kristian Kersting, Devendra Singh Dhami

机构 * Artificial Intelligence and Machine Learning Lab, TU Darmstadt（达姆施塔特工业大学人工智能与机器学习实验室） ； Honda Research Institute（本田研究所） ； Hessian Center for AI (hessian.AI)（黑森州人工智能中心） ； Centre for Cognitive Science（认知科学中心） ； German Center for AI (DFKI)（德国人工智能研究中心） ； Uncertainty in Artificial Intelligence Lab, TU Eindhoven（埃因霍温理工大学人工智能不确定性实验室） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.AI

AI总结 提出TraCS框架，通过神经符号方法将交通规则编码为概率一阶逻辑，增强黑盒运动预测模型的可解释性和合规性，在Argoverse 2上持续提升SOTA性能。

Synthetic Homes: A Multimodal Generative AI Pipeline for Residential Building Data Generation under Data Scarcity

合成住宅：数据稀缺下用于住宅建筑数据生成的多模态生成式AI管道

Jackson Eshbaugh, Chetan Tiwari, Jorge Silveyra

机构 * Lafayette University（拉法叶大学） ； Georgia State University（佐治亚州立大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 提出一个多模态生成式AI框架，整合图像、表格和模拟组件，从公开记录和图像生成合成住宅建筑数据集，以解决建筑参数数据稀缺问题。

Comments 33 pages; 2 appendices; 6 figures; 4 tables. Code available at https://github.com/Lafayette-EshbaughSilveyra-Group/synthetic-homes

Journal ref Machine Learning with Applications, 25 (2026), 100959

SalsaAgent: A multimodal embodied language model for interactive dance generation

SalsaAgent: 一种用于交互式舞蹈生成的多模态具身语言模型

Payam Jome Yazdian, Zoe Stanley, Angelica Lim

机构 * Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 提出SalsaAgent语言模型，通过非语言运动令牌传递和两阶段令牌到扩散管道，生成与人类领舞者及音乐背景交互的全身萨尔萨舞蹈动作。

Comments Project page: https://pjyazdian.github.io/Salsa-Agent

Multi-Modal Graph Neural Network with Transformer-Guided Adaptive Diffusion for Preclinical Alzheimer Classification

多模态图神经网络与Transformer引导的自适应扩散用于临床前阿尔茨海默病分类

Jaeyoon Sim, Minjae Lee, Guorong Wu, Won Hwa Kim

机构 * Pohang University of Science and Technology（浦项科学技术大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.AI

AI总结 提出一种结合扩散核与多头注意力的图神经网络框架，通过Transformer引导自适应扩散过程，有效融合多模态特征，提升临床前阿尔茨海默病分类性能并识别关键脑区。

Comments 10 pages, Accepted to MICCAI 2024

Deep Interest Mining for Intent-Enriched Semantic IDs in Multimodal Generative Recommendation

面向多模态生成式推荐中意图增强语义ID的深度兴趣挖掘

Yangchen Zeng, Jinze Wang

机构 * Amazon（亚马逊） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 提出DeepInterestGR框架，通过视觉线索和意图描述符丰富量化前的物品表示，并结合相关性门控语义奖励，提升基于语义ID的生成式推荐性能。

Cross-Modal Clinical Knowledge Integration for Mammography Report Generation

跨模态临床知识整合用于乳腺X线报告生成

Jiayi Zhu, Fuxiang Huang, Yu Xie, Xi Wang, Zhixuan Chen, Yuan Guo, Qingcong Kong, Zhenhui Li, Qiong Luo, Hao Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Lingnan University（岭南大学） ； The Third Affiliated Hospital of Kunming Medical University, Yunnan Cancer Hospital, Peking University Cancer Hospital Yunnan（昆明医科大学第三附属医院、云南癌症医院、北京大学肿瘤医院云南分院） ； Guangzhou First People's Hospital, South China University of Technology（广州第一人民医院、华南理工大学） ； The Third Affiliated Hospital, Sun Yat-Sen University（中山大学第三附属医院） ； HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院） 纠错

专题命中 多模态生成 ：cross-modal(title)；分类 cs.CV

AI总结 提出MammoRG框架，通过两阶段训练模拟临床报告流程，整合BI-RADS指南和先验知识，提升报告生成的临床一致性。

Comments 16 pages, 5 figures

Animalbooth: multimodal feature enhancement for animal subject personalization

Animalbooth：多模态特征增强用于动物主体个性化

Chen Liu, Haitao Wu, Kafeng Wang, Weiran Huang

机构 * College of Intelligence and Computing（智能与计算学院） ； Department of Computer Science and Technology（计算机科学与技术系） ； School of Computer Science（计算机科学学院） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 针对动物图像生成中丰富的外观线索和形态多样性带来的挑战，AnimalBooth通过Animal Net和自适应注意力模块增强身份保持，结合频域控制特征整合模块提升扩散过程的全局结构到细节纹理的逐步生成，同时构建AnimalBench数据集验证了其在多个基准上的优越性能。

neuralCAD-Edit: An Expert Benchmark for Multimodal-Instructed 3D CAD Model Editing

neuralCAD-Edit：一个多模态指令引导的3D CAD模型编辑专家基准

Toby Perrett, Matthew Bouchard, William McCarthy

机构 * Autodesk Research（Autodesk研究院） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 本文提出neuralCAD-Edit，首个基于专家CAD工程师采集的3D CAD模型编辑基准。通过捕捉专业设计师与CAD模型交互的视频，收集真实编辑请求，发现基础模型在自动指标和人工评估中均显著落后于CAD专家。

Comments Project page: https://autodeskailab.github.io/neuralCAD-Edit

ContractSkill: Repairable Contract-Based Skills for Multimodal Web Agents

ContractSkill：可修复的基于合同的多模态网络代理技能

Zijian Lu, Yiping Zuo, Yupeng Nie, Xin He, Weibei Fan, Lianyong Qi, Shi Jin

机构 * Nanjing University of Posts and Telecommunications（南京邮电大学） ； China University of Petroleum (East China)（中国石油大学（华东）） ； Southeast University（东南大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 本文提出ContractSkill框架，通过将草案技能转换为可执行的显式过程结构，解决网络代理技能隐含导致无法检查和局部修复的问题，实验证明其在真实网络环境中的有效性。

Comments 10 pages, 4 figures, 6 tables

Degradation-Robust Fusion: An Efficient Degradation-Aware Diffusion Framework for Multimodal Image Fusion in Arbitrary Degradation Scenarios

抗退化融合：一种高效的抗退化扩散框架，用于任意退化场景下的多模态图像融合

Yu Shi, Yu Liu, Zhong-Cheng Wu, Juan Cheng, Huafeng Li, Xun Chen

机构 * Department of Biomedical Engineering, Hefei University of Technology（合肥工业大学生物医学工程系） ； Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院） ； School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 本文提出一种高效的抗退化扩散框架，用于处理多模态图像融合中的复杂退化场景。该框架通过隐式去噪和联合观测模型校正机制，提升了在复杂退化下的融合性能。

Comments Accepted by CVPR 2026

Analyzing Multimodal Interaction Strategies for LLM-Assisted Manipulation of 3D Scenes

分析用于LLM辅助3D场景操作的多模态交互策略

Junlong Chen, Jens Grubert, Per Ola Kristensson

机构 * University of Cambridge（剑桥大学） ； Coburg University of Applied Sciences（科堡应用科学大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 本文通过实证研究揭示LLM辅助3D场景编辑系统中的交互模式与关键障碍，提出改进自然语言界面的设计建议，证明LLM辅助交互系统在沉浸环境中的有效性。

Comments Published in the IEEE VR (IEEE Conference on Virtual Reality and 3D User Interfaces) 2025 Proceedings

Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers

门控条件注入无需多模态注意：迈向可控的线性注意变换器

Yuhe Liu, Zhenxiong Tan, Yujia Hu, Songhua Liu, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 本文提出基于线性注意架构的可控扩散模型，解决现有方法在多类型条件输入灵活性和收敛速度上的不足，通过统一门控条件模块实现高效可控生成。