多模态大模型

Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation

超越文本条件：面向视频生成的MLLM-DiT融合系统研究

Yanbo Ding, Yijia Fan, Caihua Shan, Yifan Yang, Yifei Shen, Weijie Wang, Xirui Hu, Dongsheng Li, Lili Qiu, Yuqing Yang, Yali Wang

机构 * Chinese Academy of Sciences（中国科学院） ； Microsoft Research（微软研究院） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；分类 cs.CV

AI总结 该研究针对视频生成中MLLM与DiT融合问题，提出BiVidGen框架，通过MLLM生成语义视觉标记辅助DiT渲染，提升了视频的语义对齐度与时间一致性。

Strand-based Hairstyle Generation via Large Reconstruction and Multimodal Models

基于 strand 的发型生成：结合大型重建模型与多模态模型

Conghui Hao, Tao Huang, Yuefan Shen, Tongtong Wang, Zhongtian Zheng, Kui Wu

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 该研究提出一种结合 LRMs、LMMs 与经典几何处理的自动流程，可从单视图图像快速生成高质量、适配生产的各类基于 strand 的发型，适用于现代数字人工作流。

SPARGen: Unifying Spatial Perception and Reasoning through Native Multimodal Generation

SPARGen：通过原生多模态生成统一空间感知与推理

Jinsheng Quan, Jianhua Li, Siyi Xie, Xuanke Shi, Kewang Deng, Zukai Chen, Feifei Shao, Lei Yang, Quan Wang, Yawei Luo

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SPARGen是统一多模态框架，将3D重建等空间任务转为指令条件生成任务，在单一框架内实现异构空间任务的竞争力性能，突破现有方法的知识迁移限制。

Debiasing Text-to-Image Evaluation via Implicit Cultural Alignment Reward Modeling

通过隐式文化对齐奖励建模消除文本到图像评估中的偏差

Bo-An Chang, Yu-Chih Chen

机构 * National Tsing Hua University（国立清华大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 研究文本到图像评估中文化真实性问题，提出基于轻量级多模态大语言模型构建的隐式文化对齐奖励模型，集成隐式文化探测器与跳跃连接交叉注意力机制，实验证明该模型准确率高、速度快，能为偏好优化管道提供有效信号。

Comments 16 pages, 2 figures, ECCV 2026 Workshop FAILED

Wyvern: An Agentic Framework for Generating Grounded Multimodal Reports

Wyvern：用于生成基于事实的多模态报告的智能体框架

Beatrice Alessandra Motetti, Emilien Guandalino, Daniele Jahier Pagliari, Alessio Burrello, Lorenz K. Müller, Konstantin Berestizshevsky, Lukas Cavigelli

机构 * Politecnico di Torino（都灵理工大学） ； Huawei Research（华为研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对生成式模型内容缺乏事实依据的问题，提出Wyvern多智能体框架生成多模态技术报告，经评估其图像信息量、报告实用性及引用指标均优于基准方法。

HAM-RAG: Hierarchy-Aware Multimodal RAG for Structure-Faithful Interleaved Generation

HAM-RAG：面向结构保真交错生成的层级感知多模态检索增强生成

Yin Li, Ziyang Hu, Zhiyu Guo, Xiangyu Liu, Wenbin Li, Boo-Ho Yang, Rav Lawana, Ziyue Li, Wei Zeng, Fugee Tsung

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文针对现有多模态RAG方法丢失结构化文档层级信息的问题，提出HAM-RAG框架，引入HAM-Bench基准验证，使多模态平均性能提升17.3%，为可靠多模态助手提供了层级感知的基础信号。

RankT2I: A Submodular Framework for Discovering Interpretable and Diverse Semantics in Text-to-Image Models

RankT2I：一种用于发现文本到图像模型中可解释且多样化语义的子模框架

Ritika Allada, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出无训练、模型无关的RankT2I框架，通过子模方法自动发现T2I模型的可编辑语义，性能优于现有方法，可高效获取多领域文本到图像编辑所需的多样化语义。

Comments ECCV 2026

MMUSV-Sim: A Perception-Oriented Simulation and Data-Generation Platform for Multi-USV Cooperative Perception

MMUSV-Sim：面向多无人水面艇协同感知的感知导向型仿真与数据生成平台

Ziao Li, Jianxiong Ye, Biao Tang, Leping Zhang, Kun Zuo, Siyu Huang, Chenqiang Gao

机构 * School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能工程学院） ； School of Intelligent Imagery Engineering, Beijing Film Academy（北京电影学院智能影像工程学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究提出基于Unreal Engine 5和Project AirSim的MMUSV-Sim仿真与数据生成平台，用于多USV协同感知，实验表明其生成的数据集可使激光雷达协同BEV船舶检测的AP@0.5达72.74，显著优于单USV方案。

EchoChange: A Diffusion Language Model with Dual Pass Remasking for Factual Remote Sensing Disaster Change Captioning

EchoChange：用于事实性遥感灾害变化描述的双遍重掩蔽扩散语言模型

Dongwei Sun, Bowen Yao, Yujie Zhang, Pei Liu, Jing Yao, Xiangyong Cao

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 针对现有遥感灾害变化描述方法的级联事实错误问题，提出EchoChange扩散语言模型，经实验在RSCC基准上优于各类基线

InfiniVerse: Occupancy Guided Unbounded Scene Generation for Autonomous Driving

InfiniVerse: 面向自动驾驶的占用引导无界场景生成

Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nanyang Technological University（南洋理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出InfiniVerse统一框架，通过3D占用表示和视频扩散模型实现从单帧到长距离、2D-3D对齐的动态城市场景可控生成，在Waymo和nuScenes上达到SOTA。

Comments Paper accepted as poster at ECCV workshop SPAD