多模态大模型

VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA

VinQA：面向真实世界多模态文档问答的交错视觉元素长文本答案生成

Young Rok Jang, Hyesoo Kong, Kyunghwan An, Jae Sub Huh, Gyeonghun Kim, Stanley Jungkyu Choi

机构 * LG AI Research（LG AI研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出VinQA数据集和两种编码方法（页面编码与模态编码），用于生成交错引用视觉元素的长文本答案；通过M-GroSE评估框架和微调Qwen2.5-VL模型，显著缩小与专有模型的性能差距。

Comments Accepted to CVPR 2026. Main paper: 5 figures, 4 tables; includes supplementary material

Generation Quality-Latency Tradeoff-Aware Inference Offloading for Multimodal LLMs in Cloud-Edge Continuum

云边连续体中多模态大模型的生成质量-延迟权衡感知推理卸载

Zhongxiao Wang, Yueshen Xu, Xinkui Zhao, Wei Shao, Rui Li

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 针对云边协同多模态大模型推理，提出QLMIO框架以优化生成质量与响应延迟的权衡，并构建MIOBench基准，实验表明延迟降低58.14%且任务完成率不变。

Comments This manuscript was submitted to IEEE Transactions on Mobile Computing on June 3, 2026

UniDDT: Unifying Multimodal Understanding and Generation with Decoupled Diffusion Transformer

UniDDT: 使用解耦扩散变换器统一多模态理解与生成

Shuai Wang, Liang Li, Yang Chen, Ruopeng Gao, Yao Teng, Limin Wang

机构 * Nanjing University（南京大学） ； ByteDance Seed（字节跳动Seed） ； University of Hong Kong（香港大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出UniDDT模型，通过噪声ViT编码器统一视觉语义表示，并采用解耦扩散解码器分离扩散与文本解码，平衡多模态理解与生成任务，在多个基准上取得优异性能。

Comments This work was completed in \textbf{November 2025}

Transformation-driven generation of comparable projection images from multimodal anatomical scenes

从多模态解剖场景生成可比较投影图像的变换驱动方法

Dariusz Pojda, Krzysztof Domino, Michał Tarnawski, Agnieszka Anna Tomaka

机构 * Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息学研究所） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出变换驱动框架，从多模态解剖数据生成可重复的投影空间观测，通过下颌运动场景验证，实现不同解剖配置下直接可比的虚拟X光投影生成。

Comments 36 pages, 11 figures

Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility

驾驶，快或慢？多模态地面移动中运动预测的神经符号引导

Simon Kohaut, Felix Divo, Julius Hahnewald, Benedict Flade, Julian Eggert, Kristian Kersting, Devendra Singh Dhami

机构 * Artificial Intelligence and Machine Learning Lab, TU Darmstadt（达姆施塔特工业大学人工智能与机器学习实验室） ； Honda Research Institute（本田研究所） ； Hessian Center for AI (hessian.AI)（黑森州人工智能中心） ； Centre for Cognitive Science（认知科学中心） ； German Center for AI (DFKI)（德国人工智能研究中心） ； Uncertainty in Artificial Intelligence Lab, TU Eindhoven（埃因霍温理工大学人工智能不确定性实验室） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.AI

AI总结 提出TraCS框架，通过神经符号方法将交通规则编码为概率一阶逻辑，增强黑盒运动预测模型的可解释性和合规性，在Argoverse 2上持续提升SOTA性能。

Efficient Reinforcement for Visual-Textual Thinking with Discrete Diffusion Model

基于离散扩散模型的视觉-文本思维高效强化学习

Yoonjeon Kim, Yuhta Takida, Chieh-Hsin Lai, Eunho Yang, Yuki Mitsufuji

机构 * KAIST（韩国科学技术院） ； Sony AI（索尼AI） ； AITRICS ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出用离散扩散模型替代自回归模型进行多模态强化学习，通过局部视觉编辑减少计算量，并设计分解奖励分配策略解决跨模态干扰问题。

Acoustic, VOC, and Multimodal Stress Source Localization in the Internet of Plants

植物物联网中的声学、VOC和多模态胁迫源定位

Ahmet B. Kilic, Ozgur B. Akan

专题命中 多模态生成 ：multimodal(title)

AI总结 提出一种两阶段粗到细定位流程，结合声学到达时间差多边定位和VOC弥散格林函数模型，实现植物网络中胁迫源的空间定位。

Text-Vision Co-Instructed Image Editing

文本-视觉协同指导的图像编辑

Chenxi Xie, Yuhui Wu, Qiaosi Yi, Lei Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出TV-Edit框架，联合文本指令的语义表达与稀疏视觉指令的空间引导，实现精确且忠实于意图的图像编辑，显著优于现有方法。

Mind the Gap: Diagnosing Constraint Discovery Failures in Text-in-Image Editing

注意差距：诊断图像内文本编辑中的约束发现失败

Rui Gui

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 通过图像内文本编辑的受控诊断，研究多模态模型在发现未明确指定的视觉依赖约束时的失败，发现模型仅能自行发现46%的约束，而明确提供时可达94%。

Gen-VCoT: Generative Visual Chain-of-Thought Reasoning via Diffusion-Based RGB Intermediate Representations

Gen-VCoT: 基于扩散的RGB中间表示的生成式视觉思维链推理

Zhiqiang Zhou, Junliang Dai, Xu ling

机构 * Hunan Chemical Industry Vocational and Technical College（湖南化工职业技术学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出Gen-VCoT框架，利用专家视觉模型生成RGB图像作为推理中间步骤，通过自适应路由器选择推理深度，在空间和深度问题上分别提升25%和50%，但简单事实查询性能下降，表明最优表示依赖于任务。

Comments 12 pages, 5 figures

DifFRACT: Diffusion Feature Reconstruction and Attribution for Circuit Tracing

DifFRACT：用于电路追踪的扩散特征重构与归因

Artyom Mazur, Nina Konovalova, Aibek Alanov

机构 * HSE University（高等经济学院） ； FusionBrain Lab（FusionBrain实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文扩展了基于转码器的电路追踪方法到多模态扩散Transformer，通过训练时间步条件转码器近似MLP子层，实现精确的特征级归因并恢复可解释电路，揭示了属性绑定和跨流语义传播机制。

Efficient Flow Matching using Latent Variables

使用潜在变量的高效流匹配

Anirban Samaddar, Yixuan Sun, Viktor Nilsson, Sandeep Madireddy

机构 * Argonne National Laboratory（阿贡国家实验室） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出Latent-CFM方法，利用预训练深度潜在变量模型提取数据特征作为条件，提升流匹配模型的训练效率和生成质量，在图像和物理场生成任务中优于现有方法。

REFLEX: Reflective Evolution from LLM Experience

REFLEX: 基于大语言模型经验的反思进化

Pan Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL

AI总结 提出REFLEX框架，通过解耦视觉诊断与代码生成实现可审计的高效策略进化，在控制任务和天线阵列合成中展现优异样本效率。

CogCanvas: A Benchmark for Evaluating Multi-Subject Reference-Based Image Generation

CogCanvas: 用于评估多主体参考图像生成的基准

Long-Bao Nguyen, Quang-Khai Tran, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

机构 * University of Science, Ho Chi Minh City, Vietnam（胡志明市理科大学） ； University of Dayton, Ohio, United States（代顿大学） ； Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CogCanvas基准，包含1952张参考图像和1361个组合提示，评估多身份、对象绑定和背景场景的生成，引入BG-Sim和Attr-VQA指标，发现现有模型在超过3个主体时性能严重下降。

PPDM: Pixel Puzzling Diffusion Model for Speed and Memory Efficient Volumetric Medical Image Translation

PPDM: 像素拼图扩散模型用于速度和内存高效的体积医学图像翻译

Tianqi Chen, Jun Hou, Yinchi Zhou, James S. Duncan, Chi Liu, Bo Zhou

机构 * Department of Radiology, Northwestern University（西北大学放射学系） ； Department of Biomedical Engineering, Yale University（耶鲁大学生物医学工程系） ； Department of Radiology and Biomedical Imaging, Yale School of Medicine（耶鲁医学院放射学与生物医学影像系） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出像素拼图扩散模型（PPDM），通过可逆像素拼图操作和直接桥接扩散公式，在降低内存和加速推理的同时保持全局一致性，用于3D医学图像翻译。

Comments 12 pages, 5 figures, 5 tables

Inference-time Policy Steering via Vision and Touch

通过视觉和触觉进行推理时策略引导

Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出ViTaL框架，通过视觉采样验证和触觉引导扩散编辑的双层优化，在推理时引导机器人策略，显著提升接触丰富操作任务的成功率。

Sample from What You See: Visuomotor Policy Learning via Diffusion Bridge with Observation-Embedded Stochastic Differential Equation

从所见中采样：基于观测嵌入随机微分方程的扩散桥视觉运动策略学习

Zhaoyang Liu, Mokai Pan, Zhongyi Wang, Kaizhen Zhu, Haotao Lu, Haipeng Zhang, Jingya Wang, Ye Shi

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出BridgePolicy，通过扩散桥公式将观测直接集成到随机动力学中，利用语义对齐器处理异构观测，在模拟和真实任务中超越现有生成式策略。

Comments Accepted by ICML 2026

Mosaic: Data-Free Knowledge Distillation via Mixture-of-Experts for Heterogeneous Distributed Environments

Mosaic: 面向异构分布式环境的无数据知识蒸馏与混合专家模型

Junming Liu, Yanting Gao, Yuqi Li, Siyuan Meng, Yifei Sun, Aoqi Wu, Yirong Chen, Ding Wang, Shiping Wen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The City University of New York（纽约城市大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 针对联邦学习中模型与数据异构性问题，提出Mosaic框架，通过本地生成模型合成隐私保护数据，并利用混合专家模型蒸馏全局模型，在图像和多模态基准上超越现有方法。

Comments 23 pages, 5 figures, 24 tables; Accepted by Knowledge-Based Systems, 2026

ExoTraj: A General Lower-limb Exoskeleton Assistance Policy for Complex Environments

ExoTraj：面向复杂环境的通用下肢外骨骼辅助策略

Xiao-Yin Liu, Guotao Li, Long Sun, Xu Liang, Zeng-Guang Hou

机构 * The State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； The School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； CASIA-MUST Joint Laboratory of Intelligence Science and Technology, Institute of Systems Engineering, Macau University of Science and Technology（澳门科技大学系统工程研究所中科院自动化所-澳门科技大学智能科学与技术联合实验室） ； The School of Automation and Intelligence, Beijing Jiaotong University（北京交通大学自动化与智能学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 提出ExoTraj统一策略，通过快速流匹配实现多模态特征到轨迹的精确预测，并利用模型预测控制优化力矩，在复杂户外场景中实现自适应辅助，无需昂贵运动捕捉系统。

Comments 28 pages, 19 figures, project page: https://xiaoyinliu0714.github.io/Home_ExoTraj/

PHINN: Persistent Homology Inspired Neural Network for Rare-Event Time Series Generation

PHINN: 基于持久同构的稀有事件时间序列生成神经网络

Emre Yusuf, Ren Takahashi, Jayabrata Bhaduri

机构 * Defense.Codes (a DBA of CapaCloud Corp)（Defense.Codes（CapaCloud Corp 的商用名）） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 提出PHINN框架，利用动态Betti曲线作为条件信号和持久景观损失保持同调一致性，在金融、流行病和多模态基准上拓扑保真度优于统计和扩散基线。

Comments 15 pages, 4 figures

DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising

DiRecT：基于滚动去噪的安全扩散规划

Paolo Giaretta, Zeyang Li, Navid Azizan

机构 * MIT（麻省理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出DiRecT算法，通过随机最优控制仅在最终干净轨迹上施加约束，避免中间去噪步骤过度约束，实现安全扩散规划，提升安全性和任务性能。

Branching Flows: Discrete, Continuous, and Manifold Flow Matching with Splits and Deletions

分支流：带有分裂和删除的离散、连续和流形流匹配

Lukas Billera, Hedwig Nora Nordlinder, Jack Collier Ryder, Anton Oresten, Aron Stålmarck, Theodor Mosetti Björk, Ben Murrell

机构 * Department of Microbiology, Tumor and Cell Biology, Karolinska Institutet（卡罗林斯卡研究所微生物学、肿瘤和细胞生物学系） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出分支流框架，通过随机分支和死亡过程控制序列元素数量，适用于变长数据生成，并在小分子、抗体序列和蛋白质骨架生成中验证效果。

Comments 39 pages, 16 figures

Manifold-Orthogonal Dual-spectrum Extrapolation for Parameterized Physics-Informed Neural Networks

流形正交双谱外推法用于参数化物理信息神经网络

Zhangyong Liang, Huanhuan Gao

机构 * National Center for Applied Mathematics, Tianjin University（天津大学应用数学中心） ； School of Mechanical and Aerospace Engineering, Jilin University（吉林大学机械与 aerospace 工程学院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)

AI总结 提出流形正交双谱外推法（MODE），通过主谱密集混合、残谱激活和平移解锁三种机制，在保持SVD参数效率的同时实现参数化PINN的强分布外泛化。

Unsupervised Learning for Missing Modalities in Multimodal Learning

多模态学习中缺失模态的无监督学习

Hassan Ismkhan, Hamid Bouchahcia

机构 * Bournemouth University（伯恩茅斯大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)

AI总结 提出UL4M4框架，通过无监督聚类和迭代插补处理任意缺失模态，实现跨模态结构保持和尺度不变性，在超过50%模态缺失时仍稳定达到F1-Micro>0.7。

On the Adversarial Robustness of Multimodal LLM Judges

多模态大语言模型评判器的对抗鲁棒性

Zihan Wang, Guansong Pang, Zelin Liu, Wenjun Miao, Jin Zheng, Xiao Bai

机构 * School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； State Key Laboratory of Virtual Reality Technology and System, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； State Key Laboratory of Software Development Environment, Jiangxi Research Institute, Beihang University（北京航空航天大学江西研究院软件开发环境国家重点实验室） ； School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算机与信息系统学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出RobustMLLMJudge框架评估多模态大语言模型作为评判器时的对抗鲁棒性，并设计MGSIA攻击方法，通过语义诱导和高分流形对齐生成可迁移的分数膨胀扰动，揭示其脆弱性。

OmniTraffic: A Controllable Generation Pipeline and Benchmark for Spatio-Temporal Traffic Reasoning

OmniTraffic：面向时空交通推理的可控生成流水线与基准

Maonan Wang, Zhengyan Huang, Kemou Jiang, Yuhang Fu, Jiayue Zhu, Yuxin Cai, Xingchen Zou, Qiaosheng Zhang, Yi Yu, Ding Wang, Xi Chen, Ben M. Chen, Yuxuan Liang, Zhiyong Cui, Man On Pun, Yirong Chen

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shanghai AI Lab（上海人工智能实验室） ； Beihang University（北京航空航天大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出OmniTraffic，一个基于12个真实路口3D重建的可控生成流水线与基准，通过8M VQA样本和3K人工验证测试集评估11个前沿MLLM，揭示拓扑与时空推理中的显著人机差距，并证明仿真数据微调可提升真实场景性能。

Comments 34 pages, 28 figures

DifferAD-R1: A Difference-Guided IndustrialAnomaly Localization with Multimodal LargeLanguage Models

DifferAD-R1: 基于差异引导的多模态大语言模型工业异常定位

Dingrong Wang, Xian Tao, Zhen Qu, Hengliang Luo, Xinyi Gong, Fei Shen, Zhengtao Zhang, Guiguang Ding

机构 * Institute of Automation, Chinese Academy of Sciences (CAS)（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； CASI Vision Technology Co., Ltd.（中科慧远视觉技术有限公司） ； Shandong Laboratory of Aluminum Advanced Manufacturing in Binzhou (SLAAMB), Binzhou Institute of Technology, Weiqiao-UCAS Science and Technology Park（山东省滨州市铝先进制造实验室（SLAAMB），滨州技术学院，魏桥国科科技园） ； Space Information Research Institute, Hangzhou Dianzi University（杭州电子科技大学空间信息研究院） ； School of Software, Tsinghua University（清华大学软件学院） 纠错

专题命中 多模态评测 ：multimodal(title)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出DifferAD-R1框架，通过差异引导双图像范式将异常定位转化为一次性差异定位问题，并设计双一致性定位奖励和难度感知策略，在AD-DualDiff数据集上优于现有方法。

Comments Submitted to IEEE Transactions on Circuits and Systems for Video Technology

YTClickbait21K: Human-Annotated Multimodal Dataset for YouTube Clickbait Detection Across Diverse Channels and Content Categories

YTClickbait21K：面向YouTube点击诱饵检测的多模态人工标注数据集，覆盖多样频道与内容类别

Md. Minhazul Islam, Md. Tanbeer Jubaer, Amith Khandakar, Shovon Sarker, Sumaiya Rahman, Md. Masum Mia, Mohamed Arselene Ayari, Hamed Noori

机构 * Department of Computer Science and Engineering, Rajshahi University of Engineering & Technology（拉贾沙希工程与技术大学计算机科学与工程系） ； Department of Electrical Engineering, Qatar University（卡塔尔大学电气工程系） ； Department of Civil and Environmental Engineering, Qatar University（卡塔尔大学土木与环境工程系） ； SenseNet Inc.（SenseNet公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 为应对视频平台点击诱饵检测缺乏大规模高质量多模态数据的问题，构建了包含21,238个视频、来自29国40频道、覆盖新闻/娱乐/教育/游戏等类别的人工标注数据集YTClickbait21K，通过三人独立标注与多数投票确保质量，为多模态语义理解和自动内容审核提供基准。

GridVQA-X: A Framework for Evaluating Multimodal Explainability Methods

GridVQA-X: 评估多模态可解释性方法的框架

Sujay Belsare, Sudarshan Nikhil, Sushant Kumar, Ponnurangam Kumaraguru, Chirag Agarwal

机构 * IIIT Hyderabad（印度海得拉巴国际信息技术学院） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出GridVQA-X诊断框架，通过合成数据生成数学保证的解释，并训练纯推理与捷径依赖的配对模型，揭示现有可解释性方法无法区分真实跨模态推理与浅层捷径。

Comments 23 pages, 15 Figures, Accepted for poster presentation at CVPR 2026 TRUE-V Workshop

A Surface-based Multimodal Framework for Multitask Analysis in Alzheimer's Disease

基于表面的多模态框架用于阿尔茨海默病的多任务分析

Shuo Huang, Jianwei Zhang, Lujia Zhong, Jiaxin Yue, Yihao Xia, Xinkai Wang, Yonggang Shi

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出一种增强的球形数据驱动多模态框架，通过球形扩散模型生成配对皮层厚度和Tau PET SUVR数据，结合对比学习和上下文学习，实现多任务分类与回归，在ADNI数据集上优于六种基线模型。

Comments 11 pages, 3 figures