多模态大模型

What the Reranker Sees: Multi-Aspect Page Annotation for Long-Document Multimodal Question Answering

重排序器所见：面向长文档多模态问答的多方面页面标注

Guanchen Wu, Jiayuan Ding, Subhabrata Mukherjee, Carl Yang

机构 * Emory University（埃默里大学） ； Hippocratic AI（希波克拉底人工智能公司） 纠错

专题命中 跨模态检索 ：multimodal(title)；分类 cs.AI

AI总结 本文针对长文档多模态问答的重排序瓶颈，提出含Trident-R与Trident-S组件的Trident模型，通过多方面页面标注提升检索与生成性能，在多数据集上取得显著效果。

DSPrompt: Dynamic Soft Prompt Defense Against M-RAG Corruption

DSPrompt：针对M-RAG污染的动态软提示防御

Chang Liu, Yuni Lai, Mingyue Cui, Cong Tian, Yunyan Zhang, Xian Wu, Kai Zhou, Bin Xiao

专题命中 跨模态检索 ：multimodal(abstract,abstract_cn)；分类 cs.CL

AI总结 本文针对M-RAG面临的对抗攻击问题，提出DSPrompt动态软提示防御框架，通过在冻结检索器编码器插入可学习软提示，以低开销实现了优于现有方法的防御效果，同时维持检索与生成性能。

FusionBERT: Multi-View Image--3D Retrieval via Cross-Attention Visual Fusion and Normal-Aware 3D Encoder

FusionBERT: 多视角图像-3D检索 via 跨注意力视觉融合与正常感知3D编码器

Wei Li, Yufan Ren, Hanqing Jiang, Jianhui Ding, Zhen Peng, Leman Feng, Yichun Shentu, Guoqiang Xu, Baigui Sun

机构 * IROOTECH TECHNOLOGY ； Wolf 1069 b Lab, Sany Group（三一集团Wolf 1069 b实验室） ； Zhejiang University（浙江大学） ； School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院） ； BPIT, Sany Group（三一集团BPIT） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 FusionBERT通过跨注意力视觉融合和正常感知3D编码器，实现多视角图像-3D多模态检索，提升跨模态检索性能。

Comments 9 pages, 5 figures, 3 tables

EgoCITE: Context-Augmented Indexing and Time-Aware Retrieval for Long-Horizon Egocentric Memory

EgoCITE：面向长时程自我中心记忆的上下文增强索引与时序感知检索

Le Zhang, Ke Sun

机构 * University of Michigan（密歇根大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本研究针对长时程自我中心记忆系统的索引不可靠、忽略时序意图的问题，提出EgoCITE框架，经多数据集评估，其准确率优于基线且成本显著低于长上下文LLM智能体。

Open Vocabulary Panoptic Segmentation With Retrieval Augmentation

开放词汇全景分割与检索增强

Nafis Sadeq, Qingfeng Liu, Mostafa El-Khamy

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出RetCLIP方法，通过检索增强提升开放词汇全景分割的性能，实现对未见类别的有效分割。

Journal ref IEEE International Workshop on Machine Learning for Signal Processing (MLSP 2026)

D2-ScaleAgent: Dual-Dimensional Scaling for Long Document Understanding

D2-ScaleAgent：面向长文档理解的双维度缩放方法

Hao Zhang, Longrong Yang, Lunhao Duan, Ziyang Wang, Qing-Guo Chen, Shanshan Zhao

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL

AI总结 针对现有多模态RAG长文档理解方法缺乏动态计算缩放能力的问题，提出D2-ScaleAgent双维度缩放智能体框架，在相关基准上取得良好效果。

Toward AI-Friendly Cartography: Understanding How Color Design Influences Foundation Model Spatial Reasoning on Sequential Choropleth Maps

面向AI友好的制图学：理解颜色设计如何影响基础模型在顺序 choropleth 地图上的空间推理

Yonghe Sun, Zhenjia Liu, Hua Liao, Wenjia Xu, Nai Yang, Weihua Dong, Zhiwei Wei

机构 * School of Geographic Sciences, Hunan Normal University（湖南师范大学地理科学学院） ； Hunan Key Laboratory of Geospatial Big Data Mining and Application（湖南省地理空间大数据挖掘与应用重点实验室） ； School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（北京邮电大学信息与通信工程学院） ； School of Geography and Information Engineering, China University of Geosciences（中国地质大学（武汉）地理与信息工程学院） ； Advanced Interdisciplinary Institute of Satellite Applications, State Key Laboratory of Earth Surface Processes and Resource Ecology, Faculty of Geographical Science, Beijing Normal University（北京师范大学地理科学学部卫星应用先进交叉研究院、地表过程与资源生态国家重点实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究探究颜色设计对基础模型空间推理的影响，构建基准评估多模态模型，发现顺序颜色排序和足够对比度对机器地图理解关键，为AI友好制图提供实证指导。

Comments 42 pages, 12 figures, 13 tables

Cross-Domain Industrial Fault Detection by Causal Mechanism Monitoring

基于因果机制监测的跨域工业故障检测

Dhiraj Neupane, Mohamed Reda Bouadjenek, Richard Dazeley, Sunil Aryal

机构 * Deakin University（迪肯大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 该研究针对工业系统的耦合故障检测问题，提出CMR-Mamba方法，通过因果正则化的Mamba编码器与kNN流形评分实现跨域故障检测，在多类耦合故障域上优于基准模型。

AI-Native 6G for Distributed Intelligence: Traffic Characteristics, Awareness, and AI Grid

面向分布式智能的AI原生6G：流量特性、感知与AI网格

Lopamudra Kundu, Xingqin Lin, Shuvo Chowdhury, Sree Sankar

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 该研究针对AI原生6G的流量特性等问题，提出AI Grid分布式AI基础设施平台，结合AI感知连接使6G成为分布式智能平台。

Comments 8 pages, 5 figures, 1 table

POI Recommendation with LLM-Augmented Multi-Graph Learning and Contrastive Alignment

结合大语言模型增强多图学习与对比对齐的兴趣点推荐

Burak Tamer, Wolfram Höpken, Zehui Wang

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 该研究针对POI推荐的物品冷启动问题，提出LLM-MGCL模型，结合语义、地理与交互多图及对比学习，在Yelp数据集上显著优于基线模型，缓解了冷启动问题。

Some Modifications to Our End-to-End UAV Planner

对我们的端到端无人机规划器的若干改进

Junjie Lu, Bailing Tian

机构 * TJU-Aerial-Robotics（TJU空中机器人实验室） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 该研究针对端到端无人机规划器YOPO的缺陷，通过采用MINCO参数化、扩展多模态预测、添加动态约束及替换损失函数等改进，提升了轨迹质量与避障安全性。

Can Retrievers Find the Same Paper from Different Aspects? A Multi-Aspect Full-Paper Scientific Retrieval Benchmark

检索器能否从不同方面找到同一篇论文？一个多方面全论文科学检索基准

Yiyang Wei, Fang Guo, Qiji Zhou, Zhizhang Fu, Mengru Ding, Kai Yang, Yue Zhang

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 该研究推出多方面全论文科学检索基准MAPLE及查询生成流程MAPLE-Synth，发现现有检索器在从单一方面与多方面检索论文间存在显著差距，为相关检索器研发提供测试平台。

MLLM-Guided Semantic Correction for Text-to-Video Generation

基于多模态大语言模型（MLLM）的文本到视频生成语义修正

Junhao Chen, Zheqi Lv, Keting Yin, Shengyu Zhang, Zhou Zhao, Feiyang Chen, Xinyu Duan, Baoxing Huai, Fei Wu

机构 * Zhejiang University（浙江大学） ； Huawei Cloud Computing Technology Co., Ltd.（华为云计算技术有限公司） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出一种无需训练的MLLM引导文本到视频生成语义修正框架，通过两个关键模块在生成中修正语义偏差，提升了生成内容的语义对齐度等性能，经多基准实验验证有效。

Remote-Sensing City Layout Extraction with MLLM

基于多模态大语言模型（MLLM）的遥感城市布局提取

Zigan Zhou, Kai Li, Yupeng Deng

机构 * City University of Hong Kong（香港城市大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Aerospace Information Research Institute（空天信息创新研究院） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本研究提出Code-as-City方法，利用MLLM将遥感顶视图图像转化为含平面与3D输出的可编辑城市布局，在CityLayout-100数据集上取得41.1%、48.3%的交并比，验证了视觉观测转城市代码的可行性。

Comments 4 pages, 2 figures, 4 tables. Accepted to IEEE APGARSS 2026

Multi-Modal Generative Fuzzy System: Fuzzy Inference Guided Large Model Interactive Question Answering Framework

多模态生成模糊系统：模糊推理引导的大模型交互式问答框架

Hailong Yang, Jianqi Wang, Guanjin Wang, Zhaohong Deng

专题命中 多模态生成 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对多模态问答的模态偏差、知识不确定性与推理深度不足问题，提出多模态生成模糊系统（MMGFS），通过多模态协同沉思机制与模糊规则多跳推理实现性能提升，在多数据集上优于现有方法。

Comments 13 pages, 8 figures

EchoCache: Energy-Guided Cross-Modal Caching for Efficient Audio-Driven Video Generation

EchoCache：面向高效音频驱动视频生成的能量引导跨模态缓存

Jiayu Chen, Xiaoyu Wu, Rongshan Gao, Maoliang Li, Zihao Zheng, Xinhao Sun, Hailong Zou, Guojie Luo, Xiang Chen

机构 * Peking University（北京大学） ； Taiyuan University of Technology（太原理工大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 EchoCache是一种能量引导跨模态缓存框架，通过利用音频时频能量锚点与动态缓存机制，在保持音频驱动视频生成质量的同时，实现了2.46倍的推理加速，优化了延迟-质量权衡。

Comments EchoCache is honored to be accepted by ACM MM 2026

Path2ST: Hierarchical Cell-Tissue Grounded Cross-Modal Translation for Spatial Transcriptomics

Path2ST：面向空间转录组学的基于细胞-组织层级的跨模态转换方法

Ruochen Liu, Wei Lou

机构 * University of Liverpool（利物浦大学） ； Zhejiang Normal University（浙江师范大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Path2ST是一种基于细胞-组织层级的跨模态转换框架，通过融合层级条件机制、尺度自适应生成与全谱损失函数，实现从H&E图像精准预测空间转录组，在三个数据集上达到最优性能。

Where did the ambiguity go? Examining how multimodal models interpret polysemous words

歧义去了哪里？探究多模态模型如何解释多义词

Jasin Cekinmez, Addison J. Wu, Raja Marjieh, Thomas L. Griffiths

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 该研究对比17个文本到图像模型和15个文本生成模型，发现多模态模型生成图像的词义多样性低于文本，揭示了基础模型在不同模态间意义表达的迁移 gap。

Comments Oral Presentation, Sci-FM Workshop @ COLM 2026

GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation

GaussianDWM++：用于统一场景理解、编辑与多模态生成的语言接地3D高斯驾驶世界模型

Tianchen Deng, Xuefeng Chen, Shuang Wu, Qu Chen, Jiajun Zhu, Bo Dai, Jianfei Yang, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） ； Tsinghua University（清华大学） ； Chongqing Afari Intelligent Drive Co., Ltd.（重庆阿法瑞智能驾驶有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 该研究提出GaussianDWM++，通过基础特征高斯分词器等模块构建统一框架，在多类驾驶任务中实现场景理解、编辑与多模态生成，性能达当前最优。

GLaQ: Grounding Latent Queries in Visual Evidence for Multimodal Reasoning

GLaQ：基于视觉证据的潜在查询定位用于多模态推理

Zesheng Yang, Lingling Zhang, Xinyu Zhang, Cheng Zhang, Pengyu Li, Heng Wang, Lin Wu

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出GLaQ框架，用定位的上下文条件查询替代顺序潜在展开，经训练后在五个视觉理解基准上优于基础模型及其他视觉潜在方法，可高效恢复局部视觉证据。

DECO: Decoupled Multimodal Diffusion Transformer for Bimanual Dexterous Manipulation with a Plugin Tactile Adapter

DECO：解耦多模态扩散变压器用于配备插件触觉适配器的双臂灵巧操作

Xukun Li, Yu Sun, Lei Zhang, Bosheng Huang, Yibo Peng, Yuan Meng, Haojun Jiang, Shaoxuan Xie, Guocai Yao, Alois Knoll, Zhenshan Bing, Xinlong Wang, Zhenguo Sun

机构 * Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院） ； School of Computation, Information and Technology, Technical University of Munich, Garching, Germany（慕尼黑技术大学计算与信息学院） ； Department of Shenyang Institute of Computing Technology, University of Chinese Academy of Sciences, Beijing, China（中国科学院沈阳计算技术研究所部门） ； State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家重点实验室） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 DECO通过解耦多模态输入和触觉适配器，实现了双臂灵巧操作的高效整合与高成功率

Comments 25 pages, 8 figures. Project Page: https://baai-humanoid.github.io/DECO-webpage/

UrbanWorld2.0: A Multimodal Agentic Framework for Reality-Aligned 3D World Generation at City-Scale

RAISECity: 一种用于城市级现实对齐3D世界生成的多模态代理框架

Shengyuan Wang, Zhiheng Zheng, Yu Shang, Lixuan He, Yangcheng Yu, Fan Hangyu, Jie Feng, Qingmin Liao, Yong Li

机构 * College of AI, Tsinghua University（人工智能学院，清华大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学） ； Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系，北京研究院，清华大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 RAISECity通过多模态代理框架实现城市级3D世界生成，提升现实对齐、精度和性能，适用于沉浸媒体和具身智能应用。

Comments Accepted by ACM MM 2026, the code is available at: https://github.com/tsinghua-fib-lab/UrbanWorld2.0

Represent, Then Generate: Multimodal-Conditioned Time-Series Generation under Irregular Missingness

先表征，再生成：不规则缺失下的多模态条件时间序列生成

Haochen Zhang, Jiaheng Guo, Yu-Chao Huang, Nicholas Konz, Tianlong Chen

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 提出ReCoGen两阶段框架，将多模态条件表征与生成分离，在三个生理基准的16项任务中超越6种生成器，可合成缺失生理信号以实现低侵入性临床监测。

Comments 17 pages, 5 figures

Defake-o3: From Speculative Rationales to Verifiable Evidence for Explainable AIGI Detection

Defake-o3：从推测性理由到可验证证据的可解释AIGI检测

Bowen Deng, Jiahui Zhan, Yikun Ji, Haozhen Yan, Jianfu Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 Defake-o3是结合交互式视觉搜索与证据验证器的可解释AIGI检测器，构建了GroundFake数据集和FakeFrontier基准，在多基准上同时提升了AIGI检测准确率与解释质量。

Comments Accepted by ACMMM 2026

Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

当前谁主导？用于图表转代码生成的令牌级模态仲裁

Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

专题命中 多模态生成 ：cross-modal(abstract,abstract_cn)；分类 cs.AI

AI总结 提出MoCA模型，通过CAB分离视觉与编码能力并动态仲裁贡献，经两阶段训练后在三个基准测试中取得与同类模型相当的图表转代码性能。

TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation

TRACE-Bench：多参考图像生成的分解与诊断

Haoran Wang, Chaofan Ma, Ran Yi, Lizhuang Ma

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多参考图像生成基准的缺陷，构建TRACE-Bench基准，采用算子分解方法评估9个主流模型，发现解耦与属性绑定是核心瓶颈，最优模型属性保真度仅0.74

Comments Accepted to ACM Multimedia 2026 (ACM MM 2026)

Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Video Avatar Generation

Omni-LiveAvatar：分钟级实时流式视听联动数字人生成

Lunjie Zhu, Xingtong Ge, Fangyu Lin, Yi Zhang, Zhening Liu, Mengfei Li, Yumeng Zhang, Guanglu Song, Yu Liu, Jun Zhang

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本研究提出Omni-LiveAvatar框架，通过渐进式自回归蒸馏等技术，实现分钟级实时流式视听联动数字人生成，速度较LTX-2提升33倍且性能优于基线模型。

G-MAD: A Game-Based Data Generation Framework for Multi-View RGB-T Aerial Object Detection

G-MAD：用于多视图RGB-T航空目标检测的基于游戏的数据生成框架

Yechan Kim, JongHyun Park, Dongho Yoon, Namhoon Jung, Moongu Jeon

机构 * LIG Defense&Aerospace（LIG国防与航空航天公司） ； GIST（韩国科学技术院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对航空目标检测中数据集构建的问题，提出基于游戏的G-MAD数据生成框架，可解决视点控制、数据对齐及标注成本等问题，支持多视图相机放置等功能，还构建并发布了AMOD基准。

Comments ACM Multimedia 2026 (Supplementary Material Included)

AgentMV: A State-Guided Multi-Agent Framework for Budget-Aware Music Video Generation

AllocMV：通过结构化持久状态实现音乐视频生成的最优资源分配

Huimin Wang, Chang Xia, Leilei Ouyang, Yongqi Kang, Yu Fu, Yuqi Ouyang

机构 * College of Computer Science, Sichuan University（四川大学计算机学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 AllocMV提出了一种分层框架，将音乐视频合成建模为多重选择背包问题，通过动态规划优化资源分配，确保跨镜头一致性并降低生成成本。

Comments ECCV 2026 AI4VA

OpenGPT-4o-Image: A Comprehensive Dataset for Advanced Image Generation and Editing

OpenGPT-4o-Image：用于高级图像生成与编辑的综合数据集

Zhihong Chen, Xuehai Bai, Yang Shi, Chaoyou Fu, Huanyu Zhang, Haotian Wang, Xiaoyan Sun, Zhang Zhang, Liang Wang, Yuanxing Zhang, Pengfei Wan, Yi-Fan Zhang

机构 * USTC（中国科学技术大学） ； Kling Team（Kling团队） ； HDU（华中科技大学） ； PKU（北京大学） ； NJU（南京大学） ； CASIA（中国科学院自动化研究所） ； THU（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究构建了涵盖11个领域51个子任务的OpenGPT-4o-Image数据集，经其微调主流模型后，图像编辑任务性能最高提升18%、生成任务最高提升13%，证实系统化数据构建对多模态AI的重要性。