多模态大模型

3rd Place at CVPR 2026 CASTLE Challenge: Agentic Multi-View Long-Context Video Understanding via Hierarchical Knowledge Graph Retrieval

CVPR 2026 CASTLE挑战赛第三名：基于层次化知识图谱检索的智能多视角长视频理解

Raghad Albusayes, Munirah Alyahya

机构 * TAHAKOM（塔哈科姆） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种免训练的智能框架，通过视频知识图谱和层次化检索索引，解决大规模多视角视频中的复杂时空推理问题，在CASTLE挑战赛中获得第三名。

FlowTime: Towards Continuous Generative Watch Time Prediction via Flow-based Personalized Priors

FlowTime: 基于流的个性化先验实现连续生成式观看时间预测

Hongxu Ma, Han Zhou, Chenghou Jin, Jie Zhang, Xiaoyu Yang, Chunjie Chen, Jihong Guan, Shuigeng Zhou

机构 * Fudan University（复旦大学） ； Shanghai University of Finance and Economics（上海财经大学） ； Kuaishou Technology（快手科技） ； Tongji University（同济大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对现有观看时间预测方法在范式上的局限性，提出连续生成式回归范式及FlowTime方法，利用一步生成变分自编码器和基于流的个性化先验，有效建模多模态用户-物品交互模式，显著提升预测性能。

Comments Accepted by KDD'26

Temporal Evidence Routing with Structured Visual Evidence for TimeLogicQA

基于结构化视觉证据的时间证据路由用于TimeLogicQA

Yuyang Sun, Yongliang Wu, Xingyu Zhu, Yuxia Chen, Zhenxiang Jiang, Yangguang Ji, Wenbo Zhu, Yanxi Shi, Jay Wu, Shuo Wang, Xu Yang

机构 * Southeast University（东南大学） ； National University of Singapore（新加坡国立大学） ； Independent Researcher（独立研究员） ； Opus AI Research（Opus AI研究院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出视觉证据路由流水线，分离感知与符号时间推理，通过结构化视觉证据和确定性时间规则在TimeLogicQA上达到81.8 AvgAcc。

The Right Inference Strategy Is All You Need: Nearly Training-Free Domain-Wise Inference for EgoCross Challenge

正确的推理策略即是一切：面向EgoCross挑战的近乎无需训练的领域感知推理

Leyi Wu, Yifan Zhao, Jinjie Zhang, Yinchuan Li, Ying-Cong Chen

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； Knowin 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对EgoCross挑战中源受限场景下多模态大模型在领域偏移严重的自我中心视频问答任务上表现不佳的问题，提出一种领域感知推理策略，通过为四个目标领域分别设计不同的输入、提示和答案映射流程，在不进行额外训练的情况下显著提升基线模型性能。

FlowNar: Scalable Streaming Narration for Long-Form Videos

FlowNar: 面向长视频的可扩展流式叙述

Zeyun Zhong, Manuel Martin, Chengzhi Wu, David Schneider, Frederik Diederichs, Juergen Gall, Juergen Beyerer

机构 * Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） ； Lamarr Institute for Machine Learning（拉马尔机器学习研究所） ； University of Bonn（波恩大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出FlowNar框架，通过动态上下文管理和CLAM模块实现有界视觉记忆与计算复杂度，在流式视频叙述中兼顾高质量与高效率。

Comments Accepted to ICML 2026

PropLLM: Propagation-Aware Scene Reconstruction for Network Fault Diagnosis

PropLLM：面向网络故障诊断的传播感知场景重建

Zongzong Wu, Ming Zhao, Fengxiao Tang, Nei Kato

机构 * National Natural Science Foundation of China（国家自然科学基金委员会） ； High Performance Computing Center of Central South University（中南大学高性能计算中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出PropLLM，首次将逐跳场景重建范式与LLM生成推理能力结合，通过双知识图谱和时序因果传播注意力机制，从端点告警回溯定位根因并确定故障类型，在真实Wi-Fi多模态故障数据集上诊断准确率提升3.9%，根因定位准确率提升4.7%，幻觉率降低50.8%。

Seq-DeepIPC: Sequential Sensing for End-to-End Control in Legged Robot Navigation

Seq-DeepIPC：足式机器人导航中用于端到端控制的顺序感知

Oskar Natan, Jun Miura

机构 * Department of Computer Science and Electronics, Universitas Gadjah Mada（计算机科学与电子系，加查马达大学） ； Department of Computer Science and Engineering, Toyohashi University of Technology（计算机科学与工程系，东福冈技术大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出Seq-DeepIPC模型，通过融合多模态感知（RGB-D+GNSS）与时间序列，实现足式机器人在真实环境中的端到端导航控制，并在机器人狗上验证了其有效性。

Comments This work has been accepted for publication in the IEEE Sensors Journal. https://ieeexplore.ieee.org/document/11373257/

IstGPT: LLM-based Anomaly Detection for Spatial-Temporal Graph in Industrial Systems

IstGPT：基于LLM的工业系统时空图异常检测

Yuchen Zhang, Ning Xi, Pengbin Feng, Shigang Liu, Jianfeng Ma, Yulong Shen, Yanan Sun, Xiaolin Zhou

机构 * School of Cyber Engineering, Xidian University（电子科技大学信息工程学院） ； School of Science, Computing and Engineering Technologies, Swinburne University of Technology（斯winburne技术大学科学与工程技术学院） ； School of Computer Science and Technology, Xidian University（电子科技大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 提出IstGPT，首个结合大语言模型与图学习的工业异常检测工具，通过多模态知识提取传感器-执行器依赖图并利用改进的图神经网络实现实时异常检测，在9个数据集上取得最佳F1分数和eTaF1指标。

Beyond Pure Sampling: Hybrid Optimization Mechanisms for Non-Convex Model Predictive Control

超越纯采样：非凸模型预测控制的混合优化机制

Yuichiro Aoyama, Minchan Jung, Akash Ratheesh, Evangelos A. Theodorou

机构 * School of Aerospace Engineering, Georgia Institute of Technology, Atlanta, GA, USA（航空航天工程学院，佐治亚理工学院，美国亚特兰大，GA州） ； Development Division, Komatsu Ltd., Tokyo, Japan（Komatsu Ltd.开发部门，日本东京） ； Department of Electrical and Computer Engineering, Inha University, Incheon, Republic of Korea（电气与计算机工程系，inha大学，韩国仁川，大韩民国） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出一种结合梯度下降与基于逆Hessian采样的双步优化机制，用于非凸模型预测控制，在多种机器人导航任务中相比纯采样方法（如MPPI）具有更高成功率和稳定性。

Comments 28 pages, 13 figures

ES-Merging: Biological MLLM Merging via Embedding Space Signals

ES-Merging: 通过嵌入空间信号进行生物多模态大模型合并

Wonbin Lee, Dongki Kim, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） ； DeepAuto.ai 纠错

专题命中 跨模态检索 ：MLLM(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出ES-Merging框架，利用嵌入空间信号估计合并系数，实现生物多模态大模型的高效合并，提升跨模态推理和单模态知识保留能力。

ObjEmbed: Towards Universal Multimodal Object Embeddings

ObjEmbed：迈向通用多模态对象嵌入

Shenghao Fu, Yukun Su, Fengyun Rao, Jing Lyu, Xiaohua Xie, Wei-Shi Zheng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；image-text(abstract)；分类 cs.CV

AI总结 提出ObjEmbed模型，通过分解图像为多个区域嵌入（每个对应一个对象）并生成语义和IoU两种互补嵌入，实现细粒度视觉-语言对齐，在视觉定位、局部和全局图像检索等任务中表现优异。

Comments Accepted by ICML 2026

Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs

阅读，而非思考：理解并弥合多模态大语言模型中文本变为像素时的模态差距

Kaiser Sun, Xiaochuang Yuan, Hongjun Liu, Chen Zhao, Cheng Zhang, Mark Dredze, Fan Bai

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Amazon（亚马逊） ； New York University（纽约大学） ； Texas A&M University（德克萨斯大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL

AI总结 本文系统诊断多模态大语言模型在处理图像文本时的模态差距，发现其源于模型推理意愿不足而非感知失败，并提出一种轻量级自蒸馏方法有效弥合该差距。

Seeing Through the MiRAGE: Evaluating Multimodal Retrieval Augmented Generation

看穿MiRAGE：评估多模态检索增强生成

Alexander Martin, William Walden, Reno Kriz, Dengjia Zhang, Kate Sanders, Eugene Yang, Chihsheng Jin, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Human Language Technology Center of Excellence（人类语言技术卓越中心） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出MiRAGE框架，通过InfoF1和CiteF1指标评估多模态RAG的事实性和引用支持，并验证其与人工判断的一致性。

Comments https://github.com/alexmartin1722/mirage

TrafficRAG: A Multimodal RAG Framework for Traffic Accident Liability Determination

TrafficRAG：用于交通事故责任认定的多模态RAG框架

Xu Li, Zedong Fu, Xinyi Li, Xun Han

机构 * Southwest Petroleum University（西南石油大学） ； Sichuan Police College（四川警察学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出TrafficRAG框架，通过视觉语言模型生成结构化描述、混合检索获取法规和案例、大语言模型融合多模态证据进行推理，实现自动化交通事故责任分析报告生成。

Comments 12 pages, 3 figures, accepted at ICANN 2026

SpikeHash: Learning Binary Codes with Spiking Neural Networks for Cross-Modal Hashing Retrieval

SpikeHash: 使用脉冲神经网络学习二进制码用于跨模态哈希检索

Yukuan Zhang, Jiarui Zhao, Shangqing Nie, Shengsheng Wang

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.MM

AI总结 提出SpikeHash框架，通过脉冲状态演化、方向性脉冲交互和竞争性脉冲读出实现跨模态哈希检索，在三个基准数据集上取得竞争性检索精度并降低参数量和能耗。

UniNote: A Unified Embedding Model for Multimodal Representation and Ranking

UniNote: 一种用于多模态表示和排序的统一嵌入模型

Jinghan Zhao, Wenwei Jin, Anqi Li, Jintao Tong, Luya Mo, Jiawei Li, Bin Li, Yao Hu

机构 * Xiaohongshu Beijing China（小红书北京中国） ； Shanghai Jiao Tong University（上海交通大学） ； Huazhong University of Science and Technology（华中科技大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出UniNote统一嵌入模型，通过两阶段训练（对比SFT和强化学习）解决工业级Item-to-Item检索中全局表示与局部检索的平衡、解耦流水线效率及精度-延迟权衡问题，在小红书部署后显著提升检索质量和成本效率。

Comments Accepted by KDD Ads Track 2026

Towards Resolving Optimization Conflicts Between Image- and Text-Based Person Re-Identification

解决基于图像和基于文本的行人重识别之间的优化冲突

Karina Kvanchiani, Timur Mamedov

机构 * Tevian, Russia（俄罗斯Tevian） ； Lomonosov Moscow State University, Russia（俄罗斯罗蒙诺索夫莫斯科国立大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对图像与文本行人重识别任务因模态差异和目标冲突导致共享表示次优的问题，提出解耦两阶段训练流程，使用单一视觉编码器避免跨任务干扰，实验表明图像预训练和文本监督能提升双任务性能。

Connecting the Dots: Benchmarking Reflective Memory in Long-Horizon Dialogue

连接点：长时对话中的反思性记忆基准测试

Jingjie Lin, Bingbing Wang, Zihan Wang, Zhengda Jin, Weiming Qiao, Jing Li, Ruifeng Xu

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Hong Kong Polytechnic University（香港理工大学） ； Fudan University（复旦大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有基准无法衡量从碎片化多模态线索合成高层解释的反思性记忆问题，提出RefMem-Bench基准和REMIND层次框架，通过渐进式证据感知、定位和抽象提升模型反思性记忆能力。

Comments 9 pages, 6 figures

Reason, Retrieve, Re-rank: A Zero-Shot Reasoning-Aware Framework for Composed Video Retrieval

推理、检索、重排序：一种用于组合视频检索的零样本推理感知框架

Ali Alavi

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 提出R3-CoVR零样本管道，通过多模态大模型推理编辑后状态、对比编码检索和约束感知重排序，在CVPR 2026 VidLLMs挑战赛上达到91.9% R@1和98.2% R@10。

From Tokens to Concepts: Leveraging SAE for SPLADE

从词元到概念：利用稀疏自编码器增强SPLADE

Yuxuan Zong, Mathias Vast, Basile Van Cooten, Laure Soulier, Benjamin Piwowarski

机构 * Sorbonne Université, CNRS, ISIR Paris France（索邦大学、国家科学研究中心、巴黎信息科学研究所法国） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL

AI总结 针对SPLADE依赖骨干词汇表导致多义性和同义性等问题，提出用稀疏自编码器学习的语义概念空间替换词汇表，实现性能相当且效率提升。

Comments 11 pages, 3 figures, 9 tables. To appear at SIGIR 2026

DECKER: Domain-invariant Embedding for Cross-Keyboard Extraction and Recognition

DECKER: 跨键盘提取与识别的域不变嵌入

Bikrant Bikram Pratap Maurya, Nitin Choudhury, Daksh Agarwal, Arun Balaji Buduru

机构 * IIIT-Delhi（印度德里理工学院） ； Guru Gobind Singh Indraprastha University（戈克辛格印度教大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 针对键盘声学侧信道攻击的跨键盘、跨用户和噪声环境泛化问题，提出包含四阶段域不变击键推理框架DECKER，并构建了多维度数据集HEAR，实验表明该方法在跨键盘和跨用户场景下显著提升击键识别性能。

Comments Accepted to AsiaCCS'26

Dynamic Resilient Spatio-Semantic Memory with Hybrid Localization for Mobile Manipulation

面向移动操作的动态弹性时空语义记忆与混合定位

Zhijie Yan, Shufei Li, Ze Zhang, Xin Liu, Yuhang Zheng, Zuoxu Wang

机构 * School of Mechanical Engineering and Automation, Beihang University（北京航空航天大学机械工程及自动化学院） ； Department of Systems Engineering, City University of Hong Kong（香港城市大学系统工程系） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 提出DREAM框架，通过在线构建时空语义体素记忆、冗余感知记忆剪枝和混合定位，实现无预建地图的动态室内移动操作，将长时任务成功率提升至55%-70%。

Comments Code, CAD model, and real-robot demonstrations are available at https://bjhyzj.github.io/dream-web

TIGER: Traceable Inference with Graph-Based Evidence Routing for Mitigating Hallucinations in Multimodal Generation

TIGER: 基于图证据路由的可追踪推理用于减轻多模态生成中的幻觉

Kaixiang Zhao, Tianrun Yu, Shawn Huang, Porter Jenkins, Yushun Dong, Amanda Hughes

机构 * Brigham Young University ； Florida State University 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出TIGER框架，通过从输入和输出中独立提取观测图与声明图，并基于图条件风险评分修复高风险声明，以减轻多模态生成中的事实级幻觉。

Comments 25 pages, 7 figures, 16 tables. Under review

Benchmarking Multimodal LLMs on Code Generation for Complex Interactive Webpages

多模态大语言模型在复杂交互网页代码生成上的基准测试

Fan Wu, Lishuai Dong, Cuiyun Gao, Yujia Chen, Yiming Huang, Yang Xiao, Qing Liao

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 针对现有基准忽略复杂交互行为的问题，提出WebIGBench基准，包含103个真实复杂网页和871个交互动作，并设计新评估流程，测试多模态大语言模型在交互式网页代码生成上的性能。

ProductWebGen: Benchmarking Multimodal Product Webpage Generation

ProductWebGen: 多模态产品网页生成基准测试

Zhihong Liu, Siqi Kou, Zheng Li, Ye Ma, Quan Chen, Peng Jiang, Kai Yu, Zhijie Deng

机构 * School of Computer Science & Zhiyuan College（计算机科学学院及智远学院） ； Shanghai Jiao Tong University（上海交通大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出ProductWebGen基准，用于评估多模态生成模型从产品图像和指令生成一致产品展示网页的能力，并比较了基于编辑和基于统一模型两种工作流。

Comments Accepted by KDD 2026

Do Text Edits Generalize to Visual Generation? Benchmarking Cross-Modal Knowledge Editing in UMMs

文本编辑能否泛化到视觉生成？统一多模态模型中的跨模态知识编辑基准

Xin Gao, Cheng Yang, Chufan Shi, Taylor Berg-Kirkpatrick

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） ； University of Washington（华盛顿大学） 纠错

专题命中 多模态生成 ：cross-modal(title)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出跨模态知识编辑基准UniKE，发现文本编辑在图像生成中效果显著下降（VQA准确率仅18.5%），并提出推理增强参数编辑方法提升跨模态迁移效果。

Comments Published at ICML 2026; Code and data available at https://github.com/gxx27/UniKE

DiffCrossGait: Trajectory-Level Alignment for 2D-3D Cross-Modal Gait Recognition via Latent Diffusion

DiffCrossGait：基于潜在扩散的2D-3D跨模态步态识别轨迹级对齐

Zhiyang Lu, Ming Cheng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对2D-3D跨模态步态识别中的域差异问题，提出DiffCrossGait，通过潜在扩散空间中的轨迹级对齐实现连续模态对齐，并引入三阶段对齐策略确保身份锚定、动态一致性和跨模态结构可恢复性，在SUSTech1K和FreeGait基准上达到最优性能。

Comments Accepted by ICML2026

Do Joint Audio-Video Generation Models Understand Physics?

联合音视频生成模型是否理解物理？

Zijun Cui, Xiulong Liu, Hao Fang, Mingwei Xu, Jiageng Liu, Zexin Xu, Weiguo Pian, Shijian Deng, Feiyu Du, Chenming Ge, Yapeng Tian

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对联合音视频生成模型，提出AV-Phys Bench基准测试其物理常识，发现所有模型在物理一致性上表现不足，尤其是事件驱动和环境驱动转换场景。

Comments Preprint. Project Page: https://zijuncui.com/AV-Phys/. Full abstract appears in the PDF

Wavelet-Fusion Diffusion Model for Multimodal Brain MRI Synthesis with Modality and Metadata Conditioning

小波融合扩散模型用于多模态脑MRI合成，具有模态和元数据条件

Muhammad Nabi Yasinzai, Remika Mito, Mangor Pedersen

机构 * Department of Psychology & Neuroscience, Auckland University of Technology（心理学与神经科学系，奥克兰技术大学） ； Department of Psychiatry, University of Melbourne（精神病学系，墨尔本大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出一种小波融合扩散模型（WFDM），结合小波融合变分自编码器（WF-VAE）和条件3D U-Net扩散模型，通过显式模态和元数据条件实现多模态脑MRI合成，解决了数据集模态覆盖不均和异质性问题，在分布对齐上优于现有方法。

Comments 51 pages, 7 figures, including supplementary material. Submitted to Imaging Neuroscience

Breaking Dual Bottlenecks: Evolving Unified Multimodal Models into Self-Adaptive Interleaved Visual Reasoners

打破双重瓶颈：将统一多模态模型演化为自适应交错视觉推理器

Qingyang Liu, Bingjie Gao, Canmiao Fu, Zhipeng Huang, Chen Li, Feng Wang, Shuochen Chang, Shaobo Wang, Yali Wang, Keming Ye, Jiangtong Li, Li Niu

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对统一多模态模型在理解与生成之间的鸿沟导致的注意力纠缠和视觉细化瓶颈，提出一种自适应切换生成策略的框架，通过分层数据流水线和两阶段训练（SFT+RL）提升X2I任务性能。

Comments Accepted by ICML 2026