多模态大模型

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

ASRU：激活引导与强化遗忘融合用于多模态大语言模型

Jiahui Guang, Haiyan Wang, Yingjie Zhu, Cuiyun Gao, Jing Li, Di Shao, Zhaoquan Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。

ARGUS: Stacked Multi-View Identity Mosaic Injection for Subject-Preserving Video Generation

ARGUS: 堆叠多视角身份马赛克注入用于主体保持的视频生成

Zijie Meng, Jiwen Liu, Yufei Liu, Chengzhuo Tong, Xiaoqiang Liu, Yuanxing Zhang, Yulong Xu, Pengfei Wan

机构 * Peking University（北京大学） ； Kuaishou Technology（快手科技） ； Xiamen University（厦门大学） 纠错

专题命中 多模态生成 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 提出ARGUS框架，通过堆叠多视角身份马赛克注入（SMII）将身份表示为紧凑动态分布，结合MLLM身份导演、无交叉对反事实训练等模块，在主体保持视频生成中达到SOTA。

Comments 13 pages, 3 figures

EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

EvoLMM：具有连续奖励的自进化大型多模态模型

Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

机构 * Mohamed bin Zayed University of AI（Mohamed bin Zayed人工智能大学） ； Aalto University（阿alto大学） ； Australian National University（澳大利亚国立大学） ； Linköping University（林肯大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出EvoLMM框架，通过单个骨干模型实例化提议者和求解者两个协作智能体，利用连续自奖励过程无监督地提升LMM推理能力，在ChartQA等基准上取得约3%的提升。

Comments 9 pages, 6 figures

Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models

基于扩散的多模态大语言模型的视觉冗余控制并行解码

Yulin Yuan, Hongshuo Zhao, Xiangming Meng

机构 * Zhejiang University（浙江大学） ； ZJUI-UIUC Institute（ZJUI-UIUC研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 针对扩散型多模态大语言模型并行解码中视觉冗余问题，提出视觉冗余指数（VRI）和无需训练的视觉冗余控制解码（VRCD）方法，通过令牌到图像的注意力优先选择视觉互补位置，在多个基准上提升准确率。

Comments 18 pages, 5 figures, preprint. Code is available at https://github.com/infiniteYuanyl/VRCD

Synthetic Homes: A Multimodal Generative AI Pipeline for Residential Building Data Generation under Data Scarcity

合成住宅：数据稀缺下用于住宅建筑数据生成的多模态生成式AI管道

Jackson Eshbaugh, Chetan Tiwari, Jorge Silveyra

机构 * Lafayette University（拉法叶大学） ； Georgia State University（佐治亚州立大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 提出一个多模态生成式AI框架，整合图像、表格和模拟组件，从公开记录和图像生成合成住宅建筑数据集，以解决建筑参数数据稀缺问题。

Comments 33 pages; 2 appendices; 6 figures; 4 tables. Code available at https://github.com/Lafayette-EshbaughSilveyra-Group/synthetic-homes

Journal ref Machine Learning with Applications, 25 (2026), 100959

Physics-informed generative AI for semiconductor manufacturing: Enforcing hard physical constraints in generative models by construction

物理信息驱动的生成式AI在半导体制造中的应用：通过构造强制生成模型中的硬物理约束

Yaser Mike Banad, Sarah Sharif

机构 * School of Electrical and Computer Engineering, University of Oklahoma（俄克拉荷马大学电气与计算机工程学院） ； Center for Quantum Research and Technology, University of Oklahoma（俄克拉荷马大学量子研究与技术中心） ； Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Laboratory（创新研究与工程智能神经形态与量子理解实验室） ； Material Science and Engineering Program, University of Oklahoma, Norman, OK 73019 USA（俄克拉荷马大学材料科学与工程项目，Norman, OK 73019 USA） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 针对半导体制造中生成模型必须满足硬物理约束的问题，本文提出通过构造集成物理信息（如物理信息扩散、PDE约束变分模型等）来强制约束，而非事后过滤，并给出四种集成模式和未来研究方向。

T2MM: An LLM Supported Architecture For Inquiry-Based Modeling

T2MM：一种支持基于探究建模的LLM架构

John Kos, Rudra Singh, Ashok Goel

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 提出T2MM架构，利用LLM在生态建模软件VERA中生成交互式模型，优于全代码生成基线。

Comments 16 pages, 4 figures

MentisOculi: Revealing the Limits of Reasoning with Mental Imagery

MentisOculi: 揭示心智图像推理的局限性

Jana Zeller, Thaddäus Wiedemer, Fanfei Li, Thomas Klein, Prasanna Mayilvahanan, Matthias Bethge, Felix Wichmann, Ryan Cotterell, Wieland Brendel

机构 * Max Planck Institute for Informatics（马克斯·普朗克信息研究所） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MentisOculi基准，通过多步推理问题测试前沿模型利用视觉表示辅助推理的能力，发现视觉策略普遍无法提升性能，且统一多模态模型存在生成错误累积和无法利用真实可视化的问题。

Comments 9 pages, 8 figures, Accepted at ICML 2026

Diffusion-based Cumulative Adversarial Purification for Vision Language Models

基于扩散的累积对抗净化方法用于视觉语言模型

Jia Fu, Yongtao Wu, Yihang Chen, Kunyu Peng, Xiao Zhang, Volkan Cevher, Sepideh Pashami, Anders Holst

机构 * KTH Royal Institute of Technology（皇家理工学院） ； Swiss Federal Institute of Technology Lausanne（洛桑联邦理工学院） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍兹中心） ； RISE Research Institutes of Sweden（瑞典RISE研究机构） ； Halmstad University（哈马碧大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出DiffCAP，一种基于扩散的对抗净化策略，通过理论证明对抗效应随扩散单调衰减，并利用噪声注入与VLM嵌入相似度阈值自适应净化，显著提升防御效果并加速去噪。

Comments Accepted to Transactions on Machine Learning Research (TMLR 2026)

A Comprehensive Ecosystem for Open-Domain Customized Video Generation

开放域定制视频生成的综合生态系统

Jingxu Zhang, Yuqian Hong, Daneul Kim, Kai Qiu, Qi Dai, Jianmin Bao, Yifan Yang, Xiaoyan Sun, Chong Luo

机构 * University of Science and Technology of China（科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） ； Seoul National University（首尔国立大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出百万级数据集PexelsCustom-1M和参数高效框架CustoMDiT，仅用8%额外参数实现定制视频生成，并构建千类基准OpenCustom，开源整个生态系统。

Comments 5 pages, 3 figures, 4 tables. Accepted by ICASSP 2026

P3D-Bench: Benchmarking MLLMs for Parametric 3D Generation and Structural Reasoning

P3D-Bench：用于参数化3D生成与结构推理的多模态大语言模型基准

Yikang Yang, Zhanpeng Hu, Youtian Lin, Mengqi Zhou, Jingxi Xu, Feihu Zhang, Jiaheng Liu, Yao Yao

机构 * Nanjing University（南京大学） ； Envision 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出P3D-Bench基准，通过参数化3D程序评估多模态大语言模型在几何精度、语义对齐和装配一致性上的表现，涵盖文本到3D、图像到3D和装配3D三类任务。

Comments Project page: https://spatiaos.github.io/projects/P3D-Bench

Geometric Erasure by Contrastive Velocity Matching in Rectified Flows

整流流中对比速度匹配的几何擦除

Jonas Henry Grebe, Tobias Braun, Anna Rohrbach, Marcus Rohrbach

机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出GEM框架，通过对比速度匹配实现整流流模型中的概念擦除，结合生成流网络与教师引导的流匹配，有效抑制有害内容生成。

What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

什么语义能经受住连接器的考验？视频编辑中VLM到DiT对齐的诊断

Hangyu Lin, Chao Wen, Chengming Xu, Jianxiong Gao, Jiangning Zhang, Xiaobin Hu, Yanwei Fu

机构 * HKUST（香港理工大学） ； FDU（福建大学） ； ZJU（浙江大学） ； NUS（新加坡国立大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 本研究探讨了视频生成模型中VLM与DiT对齐过程中的语义瓶颈问题，通过提出TRACE-Edit数据集和诊断协议，发现连接器模块会导致细粒度结构语义的严重退化，挑战了原有假设。

Diffusing to Coordinate: Efficient Online Multi-Agent Diffusion Policies

扩散以协调：高效在线多智能体扩散策略

Zhuoran Li, Hai Zhong, Xun Wang, Qingxin Xia, Lihua Zhang, Longbo Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出首个在线离线策略多智能体强化学习框架OMAD，利用扩散策略和松弛策略目标最大化缩放联合熵，实现高效探索与协调，在MPE和MAMuJoCo上样本效率提升2.5至5倍。