多模态大模型

Shape of Thought: Progressive Object Assembly via Visual Chain-of-Thought

思维形状：通过视觉思维链进行渐进式物体组装

Yu Huo, Siyu Zhang, Kun Zeng, Haoyue Liu, Owen Lee, Junlin Chen, Yuquan Lu, Yifu Guo, Yaodong Liang, Xiaoying Tang

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； Sun Yat-sen University（中山大学） ； The Hong Kong University of Science and Technology, Guangzhou（香港科学与技术大学（广州）） ； Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)（深圳未来网络智能研究所（FNii-Shenzhen）） ； Guangdong Provincial Key Laboratory of Future Networks of Intelligence, CUHK(SZ)（广东省未来网络智能重点实验室，CUHK(SZ)） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Shape-of-Thought (SoT)框架，通过视觉思维链在渲染2D域中逐步组装形状，解决文本到图像生成中的组合结构约束问题，在组件计数和结构拓扑上显著优于直接生成。

Comments ICML2026

Med-R2: Perception and Reflection-driven Complex Reasoning for Medical Report Generation

Med-R2：面向医学报告生成的感知与反思驱动复杂推理

Hao Wang, Shuchang Ye, Jinghao Lin, Usman Naseem, Jinman Kim

机构 * The School of Computer Science, The University of Sydney（悉尼大学计算机科学学院） ； The School of Computing, Macquarie University（麦考瑞大学计算机学院） ； Doubao Medical Group, ByteDance（字节跳动 doubao 医疗集团） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CL

AI总结 提出Med-R2微调策略，通过引入感知驱动的长推理过程和放射学知识指导，并加入反思机制修正感知错误，提升LVLMs在医学报告生成中的病理特征感知和诊断准确性。

Comments 28 pages, 3 figures, 1 table

S3OD: Towards Generalizable Salient Object Detection with Synthetic Data

S3OD：基于合成数据的通用显著目标检测

Orest Kupyn, Hirokatsu Kataoka, Christian Rupprecht

机构 * University of Oxford, VGG（牛津大学，视觉信息集团） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出S3OD方法，通过大规模合成数据生成和歧义感知架构，显著提升显著目标检测的跨数据集泛化能力，仅用合成数据训练即可降低20-50%误差。

DPRM: A Plug-in Doob h transform-induced Token-Ordering Module for Diffusion Language Models

DPRM: 一种用于扩散语言模型的即插即用Doob h变换诱导的令牌排序模块

Dake Bu, Wei Huang, Andi Han, Hau-San Wong, Qingfu Zhang, Taiji Suzuki, Atsushi Nitanda

机构 * City University of Hong Kong（香港城市大学） ； The Institute of Statistical Mathematics（统计数学研究所） ； University of Sydney（悉尼大学） ； Nanyang Technological University（南洋理工大学） ； The University of Tokyo（东京大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出DPRM模块，通过在线估计从置信度驱动排序逐步过渡到过程奖励引导排序，改进扩散语言模型的令牌排序策略，在九种任务中提升性能。

Sample from What You See: Visuomotor Policy Learning via Diffusion Bridge with Observation-Embedded Stochastic Differential Equation

从所见中采样：基于观测嵌入随机微分方程的扩散桥视觉运动策略学习

Zhaoyang Liu, Mokai Pan, Zhongyi Wang, Kaizhen Zhu, Haotao Lu, Haipeng Zhang, Jingya Wang, Ye Shi

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出BridgePolicy，通过扩散桥公式将观测直接集成到随机动力学中，利用语义对齐器处理异构观测，在模拟和真实任务中超越现有生成式策略。

Comments Accepted by ICML 2026

Mosaic: Data-Free Knowledge Distillation via Mixture-of-Experts for Heterogeneous Distributed Environments

Mosaic: 面向异构分布式环境的无数据知识蒸馏与混合专家模型

Junming Liu, Yanting Gao, Yuqi Li, Siyuan Meng, Yifei Sun, Aoqi Wu, Yirong Chen, Ding Wang, Shiping Wen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The City University of New York（纽约城市大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 针对联邦学习中模型与数据异构性问题，提出Mosaic框架，通过本地生成模型合成隐私保护数据，并利用混合专家模型蒸馏全局模型，在图像和多模态基准上超越现有方法。

Comments 23 pages, 5 figures, 24 tables; Accepted by Knowledge-Based Systems, 2026

TVIR: Building Deep Research Agents Towards Text-Visual Interleaved Report Generation

TVIR：构建面向文本-视觉交错报告生成的深度研究智能体

Xinkai Ma, Zhiqi Bai, Dingling Zhang, Pei Liu, Yishuo Yuan, He Zhu, Jiakai Wang, Qianqian Xie, Yifan Zhao, Xinlong Yang, Hao Cong, Zhiheng Yao, Fengxia Xie, Zihao Xu, Haoran Xu, Zhaohui Wang, Minghao Liu, Shirong Lin, Yingshui Tan, Yuchi Xu, Wenbo Su, Zhaoxiang Zhang, Bo Zheng, Jiaheng Liu

机构 * Nanjing University Alibaba Group（南京大学阿里集团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL

AI总结 提出TVIR基准和层次化多智能体框架，解决深度研究报告中视觉元素的事实可靠性与对齐问题。

HD-Prot: A Protein Language Model for Joint Sequence-Structure Modeling with Continuous Structure Tokens

HD-Prot：一种使用连续结构令牌进行联合序列-结构建模的蛋白质语言模型

Yi Zhou, Haohao Qu, Yunqing Liu, Shanru Lin, Le Song, Wenqi Fan

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出HD-Prot，一种混合扩散蛋白质语言模型，通过连续结构令牌将序列pLM扩展为多模态，实现联合序列-结构建模，在多种任务上取得竞争性能。

Comments This is the long version of the corresponding paper to appear at KDD 2026

Decentralized Autoregressive Generation

分散自回归生成

Stepan Maschan, Haoxuan Qu, Jun Liu

机构 * Lancaster University（兰卡斯特大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 本文通过离散流匹配框架证明分散训练与集中训练在理论上等价，实验验证其在多模态基准上保持竞争力。

Comments Work in progress

P3D-Bench: Benchmarking MLLMs for Parametric 3D Generation and Structural Reasoning

P3D-Bench：用于参数化3D生成与结构推理的多模态大语言模型基准

Yikang Yang, Zhanpeng Hu, Youtian Lin, Mengqi Zhou, Jingxi Xu, Feihu Zhang, Jiaheng Liu, Yao Yao

机构 * Nanjing University（南京大学） ； Envision 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出P3D-Bench基准，通过参数化3D程序评估多模态大语言模型在几何精度、语义对齐和装配一致性上的表现，涵盖文本到3D、图像到3D和装配3D三类任务。

Comments Project page: https://spatiaos.github.io/projects/P3D-Bench

Geometric Erasure by Contrastive Velocity Matching in Rectified Flows

整流流中对比速度匹配的几何擦除

Jonas Henry Grebe, Tobias Braun, Anna Rohrbach, Marcus Rohrbach

机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出GEM框架，通过对比速度匹配实现整流流模型中的概念擦除，结合生成流网络与教师引导的流匹配，有效抑制有害内容生成。

What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

什么语义能经受住连接器的考验？视频编辑中VLM到DiT对齐的诊断

Hangyu Lin, Chao Wen, Chengming Xu, Jianxiong Gao, Jiangning Zhang, Xiaobin Hu, Yanwei Fu

机构 * HKUST（香港理工大学） ； FDU（福建大学） ； ZJU（浙江大学） ； NUS（新加坡国立大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 本研究探讨了视频生成模型中VLM与DiT对齐过程中的语义瓶颈问题，通过提出TRACE-Edit数据集和诊断协议，发现连接器模块会导致细粒度结构语义的严重退化，挑战了原有假设。

Diffusing to Coordinate: Efficient Online Multi-Agent Diffusion Policies

扩散以协调：高效在线多智能体扩散策略

Zhuoran Li, Hai Zhong, Xun Wang, Qingxin Xia, Lihua Zhang, Longbo Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出首个在线离线策略多智能体强化学习框架OMAD，利用扩散策略和松弛策略目标最大化缩放联合熵，实现高效探索与协调，在MPE和MAMuJoCo上样本效率提升2.5至5倍。

AgenticRL: Self-Refining Agentic Reinforcement Learning for Vision-Conditioned UAV Navigation

面向视觉条件的无人机导航的自优化智能体强化学习

Roohan Ahmed Khan, Yasheerah Yaqoot, Amir Atef Habel, Muhammad Ahsan Mustafa, Dzmitry Tsetserukou

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出AgenticRL框架，利用多模态GPT智能体自动设计奖励函数、通过闭环自改进优化策略，在多种无人机导航任务中提升性能并实现高成功率。

CharTide: Data-Centric Chart-to-Code Generation via Tri-Perspective Tuning and Inquiry-Driven Evolution

CharTide: 数据中心的图表到代码生成通过三视角微调和查询驱动进化

Xiangxi Zheng, Kuang He, Jiayi Hu, Ping Yu, Rui Yan, Yuan Yao, Peng Hou, Anxiang Zeng, Alex Jinpeng Wang

机构 * Nanjing University（南京大学） ； LLM Team, Shopee Pte. Ltd.（Shopee 联邦学习团队） ； East China Normal University（华东师范大学） ； Nanjing University of Science and Technology（南京理工大学） ； Central South University（中南大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CharTide框架，通过三视角微调解耦视觉感知与代码逻辑，并引入基于信息不变性的查询驱动强化学习进行数据验证，在多个基准上超越GPT-4o。

Comments Accepted to ACL 2026 Main

MedSyn2: Flexible Control of 3D CT Generation via Text and Semantically-Defined Segmentation Prompts

通过文本和语义定义的分割提示灵活控制3D CT生成

Weicheng Dai, Chenyu Wang, Binxu Li, Shantanu Ghosh, Afrooz Zandifar, Christina LeBedis, Kayhan Batmanghelich

机构 * Boston University School of Engineering（波士顿大学工程学院） ； Stanford University（斯坦福大学） ； University of Pittsburgh Medical Center（匹兹堡大学医学中心） ； Boston University School of Medicine（波士顿大学医学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种灵活的多模态框架，通过文本和可选分割提示控制3D CT生成，实现高分辨率、解剖一致且可控的体数据生成。

CADFit: Precise Mesh-to-CAD Program Generation with Hybrid Optimization

CADFit：基于混合优化的精确网格到CAD程序生成

Ghadi Nehme, Eamon Whalen, Faez Ahmed

机构 * Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA（麻省理工学院机械工程系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CADFit框架，通过基于几何反馈的增量拟合和验证参数化操作，从网格中恢复复杂可编辑的CAD构造序列，在多个基准上优于现有方法，并显著降低无效比率。

MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding

MotionGPT-2：用于运动生成与理解的通用运动-语言模型

Yuan Wang, Di Huang, Yaqi Zhang, Wanli Ouyang, Jile Jiao, Xuetao Feng, Dan Xu, Shixiang Tang

机构 * Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Intime Department Store（Intime百货） ； Deepeleph ； HKUST（香港科技大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MotionGPT-2，一种统一的大规模运动-语言模型，通过预训练大语言模型支持多模态控制条件，实现运动生成、描述和补全等多种任务，并引入Part-Aware VQVAE实现细粒度身体和手部运动表示。

LLM-Conditioned Synthesis of Pathological Gaits via Structured Gait-Language Representations

基于结构化步态-语言表示的LLM条件病理步态合成

Mritula Chandrasekaran, Sanket Kachole, Jarek Francik, Dimitrios Makris

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） ； MIT Media Lab（麻省理工学院媒体实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种多模态LLM引导框架，通过结构化文本描述合成病理步态3D数据，利用运动标记化、病理感知语言条件、LLM语义增强和语言到步态生成，改善下游分类性能。

Comments Accepted at CVPR MOMA Workshop 2026 and selected for spotlight presentation at the workshop

Physics Guided Conditional Diffusion Framework for Generative Inverse Design of Manufacturable Metasurface based Absorbers

基于物理引导的条件扩散模型的超材料吸收体逆向设计

Vineetha Joy, Jamshed Palai, Satwik Sahu, Anshuman Kumar, Amit Sethi, Hema Singh

机构 * Centre for Electromagnetics, CSIR-National Aerospace Laboratories（电磁研究中心，国家航空航天实验室） ； Birla Institute of Technology and Science, Pilani（比拉理工学院，皮兰） ； Indian Institute of Technology, Bombay（孟买印度理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种基于物理引导的条件扩散框架，用于设计具有特定电磁响应的超材料吸收体，通过特征线性调制和预训练的替代电磁模拟器，提高了设计效率和条件准确性，实验表明该方法在2-18GHz频率范围内能够快速生成实用的超材料结构。

Real-World Cooperative Bimanual Dexterous Grasp of Large Objects from Single-View Observations

基于单视图观测的真实场景中大型物体的双臂协同灵巧抓取

Ziming Li, Mingxuan Wu, Jiaqi Zhang, Hongfei Li, Yan Gan, Deqiang Ouyang, Ning Wang

机构 * The University of Auckland（奥克兰大学） ； Chongqing University（重庆大学） ； Southwest University（西南大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文针对机器人双臂抓取大型物体的挑战，提出含多模态数据集、DDPM模块及执行策略的真实场景双臂抓取框架，实验表明其对未见物体抓取成功率高。

Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

Scale-CDA: A Scalable Retrofit Platform for Cooperative Driving Automation in Production Vehicles

Scale-CDA：一款用于量产车的、可扩展的原型，旨在普及AI辅助的协同驾驶自动化（CDA）

Hao Zhou, Shengming Yuan, Yuhang Wang, Alina Hagen, Haibin Wen

专题命中 多模态生成 ：MLLM(abstract_cn)

AI总结 本研究提出Scale-CDA这一开源工具链，基于OpenDBC与Openpilot构建，成本低于1000美元，可实现AI辅助CDA的即插即用改装，通过多车辆测试验证了其低时延与数据隐私保护能力，为普及协同自动驾驶提供了实用方案。

Efficient and scalable inter-module switching for distributed quantum computing architectures

分布式量子计算架构的高效可扩展模块间交换

Kamil Bradler

专题命中 多模态生成 ：any-to-any(abstract)

AI总结 针对分布式量子计算模块间的高效可扩展交换需求，基于广义马赫-曾德尔干涉仪构建去中心化交换方案，实现主动光深度随逻辑块数对数缩放且不损失连通性。

Comments v2: an example showing asymptotic scaling of resources and active optical depth added

Text2Villa: Hierarchical Generation of 3D Indoor Environments with Physics-Aware Analysis-by-Synthesis

Text2Villa：通过物理感知的合成分析进行3D室内环境的分层生成

Xiang Tang, Ruotong Li, Xiaopeng Fan

专题命中 多模态生成 ：multimodal(abstract)

AI总结 研究旨在解决从自然语言生成3D室内场景的问题，提出Text2Villa框架。宏观构建数据集微调布局生成器，微观引入A-PSSG并结合碰撞检测与语义推理，有效解决相关问题，性能优于以往方法，为下游应用提供3D内容基础。

Comments 17 pages, 12 figures, Project page: https://xdlbw.github.io/Text2Villa/

A Reverse-BSDE Diffusion Sampler

反向倒向随机微分方程扩散采样器

Jairon H. N. Batista, Flávio B. Gonçalves, Yuri F. Saporito, Rodrigo S. Targino

机构 * FGV EMAp 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 该研究将反向时间扩散采样器重新表述为前向-后向随机微分方程，证明其与原方法等价并分解近似误差，经合成目标实验验证，该方法对复杂全局结构目标的采样具有良好前景。

Provable Diffusion Posterior Sampling for Bayesian Inversion

可证明的扩散后验采样用于贝叶斯反问题

Jinyuan Chang, Chenguang Duan, Yuling Jiao, Ruoxuan Li, Jerry Zhijian Yang, Cheng Yuan

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出了一种基于扩散的可证明后验采样方法，通过数据学习分数以捕捉先验分布结构，并提供非渐近误差界以确保复杂多模态后验分布的收敛性。

Heat-Kernel Entropy Profiles and Geometric Effective Sample Size for Weighted Measures on Manifolds

流形上加权测度的热核熵剖面与几何有效样本量

Kisung You, Boram Cho

机构 * Baruch College（巴克尔学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 研究紧致流形上加权测度，引入热核熵剖面这一多尺度总结方法，通过内在热流扩散加权原子并跟踪尺度不均匀性，可计算二阶Rényi熵的几何有效样本量，实验表明其能揭示传统总结遗漏的结构。

SeedPolicy: Horizon Scaling via Self-Evolving Diffusion Policy for Robot Manipulation

SeedPolicy: 通过自进化扩散策略实现机器人操控的水平扩展

Youqiang Gui, Yuxuan Zhou, Shen Cheng, Xinyang Yuan, Haoqiang Fan, Peng Cheng, Shuaicheng Liu

机构 * Sichuan University（四川大学） ； Dexmal Inc.（Dexmal公司） ； Independent Researcher（独立研究员） ； UESTC 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 本文提出SEGA模块，通过门控注意力机制提升扩散策略在长时域操控中的表现，实验表明其在RoboTwin 2.0基准上优于现有方法，具有更高的效率和性能。

Comments 17 pages, 13 figures

CSI Prediction Using Diffusion Models

基于扩散模型的信道状态信息（CSI）预测

Mehdi Sattari, Javad Aliakbari, Alexandre Graell i Amat, Tommy Svensson

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出一种基于扩散模型的新型概率CSI预测框架，分解任务为时间编码器与扩散生成器，研究多种推理方案与骨干，仿真显示其性能优于现有最先进基线模型。

Comments Accepted, IEEE Transactions on Wireless Communications

Diffusion-based Annealed Boltzmann Generators : benefits, pitfalls and hopes

基于退火的玻尔兹曼生成器：益处、陷阱与希望

Louis Grenioux, Maxence Noble

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 本文研究了基于退火蒙特卡洛的玻尔兹曼生成器，探讨了扩散模型在其中的应用及其在高维多模态目标中的性能表现。

Comments TMLR camera ready version