多模态大模型

Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation

超人：统一骨骼与视觉用于人体运动感知与生成

Xinshun Wang, Peiming Li, Ziyi Wang, Zhongbin Fang, Zhichao Deng, Songtao Wu, Jason Li, Mengyuan Liu

机构 * State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（通用人工智能国家重点实验室，北京大学深圳研究生院） ； Sony R&D Center（索尼研发中心） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：MLLM(summary_cn,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对人体运动分析范式碎片化问题，提出Superman统一框架，通过视觉引导运动分词器创建跨模态运动词汇，训练单一MLLM架构处理多任务，实验表明该方法在运动任务中性能领先或具竞争力，为运动分析提供高效可扩展路径。

UniICL: Systematizing Unified Multimodal In-context Learning through a Capability-Oriented Taxonomy

UniICL：通过能力导向的分类系统化统一多模态上下文学习

Yicheng Xu, Jiangning Zhang, Zhucun Xue, Teng Hu, Ran Yi, Xiaobin Hu, Yong Liu, Dacheng Tao

机构 * Zhejiang University（浙江大学） ； Shanghai Jiaotong University（上海交通大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出能力导向的分类系统，通过构建UniICL-760K语料库和UniICL-Bench评估体系，提出Context-Adaptive Prototype Modulator模块，提升多模态少样本学习效果。

Transferability Between Understanding and Generation in Unified Multimodal Models

统一多模态模型中理解与生成之间的可迁移性

Jiwon Kang, Heeji Yoon, Jaewoo Jung, Jaewon Min, Minkyeong Jeon, Biyeon Hwang, Sangwon Jung, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Blynx（布林克斯公司） ； Trillionlabs（万亿实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究统一多模态模型中理解与生成任务间的可迁移性，通过实验发现其依赖架构，据此提出实用训练策略，训练对应理解任务迁移至生成可提升性能并减少分布偏移。

Comments Accepted at ECCV 2026. Project Page: https://cvlab-kaist.github.io/UMM_Transferability/

Vision as Unified Multimodal Generation

视觉作为统一的多模态生成

Xiaoyang Han, Jianhua Li, Kewang Deng, Zukai Chen, Xuanke Shi, Sihan Wang, Boxuan Li, Linyan Wang, Siyi Xie, Xin You, Jinsheng Quan, Zhongang Cai, Haiwen Diao, Ziwei Liu, Lei Yang, Dahua Lin, Quan Wang

机构 * SenseTime Research（商汤科技研究院） ； Nanyang Technological University（南洋理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究将计算机视觉表述为统一多模态生成，SenseNova-Vision用自然语言指令等指定任务并生成多种输出。通过转换注释形成语料库训练模型，其涵盖多种视觉任务，实验显示统一模型能匹配专用系统，为集成视觉能力到通用模型提供可扩展途径。

Comments 48 pages,22 figures

NAMD: Virtual Follow-up Computed Tomography Synthesis via Nodule-Aligned Multimodal Diffusion Models for Early Lung Cancer Diagnosis

基于LLM驱动多模态扩散的结节对齐潜在空间学习：用于肺结节进展预测

James Song, Yifan Wang, Chuan Zhou, Liyue Shen

机构 * Department of EECS, University of Michigan（电子工程与计算机科学系，密歇根大学） ； University of Michigan Medical School（密歇根大学医学学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出NAMD框架，通过生成1年随访CT图像预测肺结节进展，利用结节对齐潜在空间和LLM驱动控制机制，在NLST数据集上实现优于基线和现有方法的性能。

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1：推进统一多模态扩散语言模型的推理

Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

机构 * Adobe ； UCLA（加州大学洛杉矶分校） ； Georgia Tech（佐治亚理工学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究提出多模态通用推理dLLM LaViDa-R1，不同于现有工作，它以统一方式整合多任务，采用新颖统一训练后框架，集成监督微调与多任务强化学习，并运用多种训练技术，在多模态任务上展现强大性能。

Comments 28 pages, 11 figures

SuperVoxelGPT: Adaptive and Ordered 3D Tokenization for Autoregressive Shape Generation

SuperVoxelGPT: 自适应有序3D令牌化用于自回归形状生成

Yuan Li, Congyi Zhang, Xifeng Gao, Xiaohu Guo

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Tencent America（腾讯美国） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出SuperVoxelGPT框架，通过自适应且有序的超体素令牌化解决自回归3D生成中序列长度与空间顺序的矛盾，实现高质量、高效率的形状生成。

REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles

REVIVE：一种用于自动驾驶车辆中破坏行为检测与恢复的多模态框架

Abdullah Tariq Choudhry, Tapadhir Das

机构 * University of the Pacific（太平洋大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV

AI总结 研究自动驾驶车辆中破坏行为导致的遮挡攻击问题，提出REVIVE多模态框架，集成多种检测与恢复方法，如二进制VOA检测、多类VOA模式识别等，实验表明该框架能有效恢复图像，提升目标检测指标，提供结构化恢复方案。

ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation

ELSA3D：用于统一3D理解与生成的弹性语义锚定

Tianjiao Yu, Xinzhuo Li, Yifan Shen, Onkar Susladkar, Yuanzhe Liu, Xiaona Zhou, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究统一3D基础模型文本-3D交互隐式问题，提出ELSA3D模型，通过弹性语义锚定联合构建语言和几何推理，用尺度感知八叉树令牌化器和锚定令牌表示几何，轻量级路由器使计算和推理弹性化，性能领先且减少计算量和延迟。

Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders

代理分析：作为条件编码器的视觉语言模型中的定位信号

Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

机构 * Tel Aviv University, Tel Aviv, Israel（特拉维夫大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型（VLMs）作条件编码器时编辑管道定位性能差的问题，引入代理分析框架，通过训练代理模型分析VLM中间表示来揭示编码定位信息的表示，发现现有条件提取策略缺陷，为条件架构设计提供新思路。

Comments Accepted as a Spotlight at the ICML 2026 Mechanistic Interpretability Workshop

Straight-Path Flow Matching for Incomplete Multi-View Clustering

用于不完整多视图聚类的直线路径流匹配

Yiteng Yuan, Junyan Wang, Zheyuan Liu, Hong Jia, Lei Fan, Zhulin Tao, Lianbo Guo

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学） ； University of Auckland（奥克兰大学） ； University of New South Wales（新南威尔士大学） ； Communication University of China（中国通信大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究不完整多视图聚类问题，提出基于直线路径流匹配的框架，通过线性插值路径用概率流替代扩散，集成视图完成与聚类对齐，实验证明该框架在标准基准上达最优性能。

Comments Accepted to ECCV 2026. 28 pages, 6 figures, 4 tables

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

Aura：通过基于VLM的语义对齐实现一致的多主体视频生成

Zixiang Zhou, Zhentao Yu, Yifeng Ma, Hongmei Wang, Wenqing Yu, Cong Wang, Zilin Yang, Rui Chen, Jiarong Ou, Yezhou Liu, Yuan Zhou, Qinglin Lu

机构 * Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Aura框架用于高保真和身份一致的视频生成，引入AI导演级字幕、利用VLM提取多模态语义特征，设计对齐策略，采用多种机制减少伪影，在多主体视频生成上达先进性能。

Comments Project page: https://aura-project-page.github.io/ Code: https://github.com/Camellia997/Aura

Optimal Transport Q-Learning for Flow Policy Steering and Acceleration

用于流策略引导和加速的最优传输Q学习

Andreas Sochopoulos, Esmeralda S. Whitammer, Nikolaos Tsagkas, João Moura, Michael Gienger, Sethu Vijayakumar

机构 * University of Edinburgh（爱丁堡大学） ； Honda Research Institute Europe（本田欧洲研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 针对流策略性能优化难题，提出最优传输Q学习（OTQL），利用机器人经验，通过优势加权条件最优传输流匹配微调加速流策略，提升单任务和VLA策略成功率，减少推理步骤数。