多模态大模型

ViSRA: A Video-based Spatial Reasoning Agent for Multi-modal Large Language Models

ViSRA：一种基于视频的空间推理代理用于多模态大语言模型

Tingshu Mou, Jiabo He, Renying Wang, Ce Liu, Hao Yang, Tiehua Zhang, Jingjing Chen, Xingjun Ma

机构 * Fudan University（复旦大学） ； Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI）） ； Tongji University（同济大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 ViSRA从无训练视角出发，提出一种人类对齐的视频空间推理代理框架，通过显式空间信息探索多模态大语言模型的空间推理机制，实现模块化和可扩展的空间推理，提升3D理解能力并减少训练成本。

Do multimodal models imagine electric sheep?

多模态模型是否想象出电羊？

Santhosh Kumar Ramakrishnan, Carl Vondrick, Raja Giryes, Philipp Krähenbühl, Vladlen Koltun

机构 * Apple（苹果公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究发现多模态模型在解决空间谜题时会形成心理图像，通过微调Qwen3.5 VLM解决多种视觉推理任务，发现动作序列预测能提升解谜准确率，尤其在需要空间推理的任务中效果显著。

SKG-VLA: Scene Knowledge Graph Priors for Structured Scene Semantics and Multimodal Reasoning for Decision Making

SKG-VLA：用于结构化场景语义和决策制定多模态推理的场景知识图谱先验

Zeyu Li, Lei Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SKG-VLA通过构建场景知识图谱，提升多模态投诉决策的推理能力与准确性，采用三阶段训练策略注入结构化场景先验。

VEBench:Benchmarking Large Multimodal Models for Real-World Video Editing

VEBench: 多模态大模型在真实世界视频编辑中的基准测试

Andong Deng, Dawei Du, Zhenfang Chen, Wen Zhong, Fan Chen, Guang Chen, Chia-Wen Kuo, Longyin Wen, Chen Chen, Sijie Zhu

机构 * ByteDance Intelligent Creation（字节跳动智能创作） ； CRCV, University of Central Florida（中央佛罗里达大学CRCV） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 VEBench通过高质量视频和人工验证问题对多模态大模型在视频编辑中的知识理解和操作推理能力进行评估，揭示当前模型与人类水平间的显著差距。

Comments CVPR Findings 2026

PA-RNet: Perturbation-Aware Residual Network for Robust Multimodal Time Series Forecasting

PA-RNet：一种针对鲁棒多模态时间序列预测的扰动感知残差网络

Enqiang Zhu, Zhenbin Deng, Shengzhi Wang, Yi-Kun Tang, Chanjuan Liu

机构 * Institute of Computing Technology, Guangzhou University（广州大学计算机技术学院） ； School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 PA-RNet通过扰动感知机制优化多模态特征，提升时间序列预测的鲁棒性，实验表明其在不同领域均优于现有方法。

GuardAD: Safeguarding Autonomous Driving MLLMs via Markovian Safety Logic

GuardAD: 通过马尔可夫安全逻辑保障自动驾驶MLLMs

Tianyuan Zhang, Peng Yue, Zihao Peng, Jiangfan Liu, Zonghao Ying, Jiakai Wang, Tianlin Li, Jian Yang, Yaodong Yang, Aishan Liu, Xianglong Liu

机构 * Beihang University（北航大学） ； Zhongguancun Laboratory（中关村实验室） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 GuardAD通过马尔可夫逻辑形式化提升自动驾驶MLLMs的安全性，减少事故率并提升任务性能，经实验验证其有效性。

FLARE: Full-Modality Long-Video Audiovisual Retrieval Benchmark with User-Simulated Queries

FLARE：全模态长视频音频视觉检索基准测试与用户模拟查询

Qijie You, Hao Liang, Mingrui Chen, Bohan Zeng, Meiyi Qiang, Zhenhao Wong, Wentao Zhang

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；cross-modal(abstract)；分类 cs.MM

AI总结 FLARE基准测试通过全模态长视频和用户模拟查询，评估视频检索在多模态大语言模型中的表现，揭示用户查询对模型行为的影响及音频语言对齐的关键瓶颈。

SpaceMind++: Toward Allocentric Cognitive Maps for Spatially Grounded Video MLLMs

SpaceMind++：迈向空间感知认知地图的视频多模态大语言模型

Bo Gu, Zhikang Zhang, Zizhuang Wei, Zhenyuan Chen, Lingyun Li, Zhuoyi Song

机构 * Fudan University（复旦大学） ； Huawei（华为） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 SpaceMind++通过构建体素化认知地图，实现空间一致性的视觉推理，提升视频多模态大语言模型在3D环境中的表现。

Comments 14 pages, 3 figures

Detector-Empowered Video Large Language Model for Efficient Spatio-Temporal Grounding

基于检测器的视频大语言模型用于高效的时空定位

Shida Gao, Feng Xue, Xiangfeng Wang, Anlong Ming, Zhaowen Lin, Haiyang Zhang, Teng Long, Nicu Sebe, Yihua Shao, Haozhe Wang, Wei Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Trento（特伦特大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hong Kong University of Science and Technology（香港科技大学） ； ZTE Corporation（中兴通讯） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出DEViL模型，通过将密集空间定位任务转移给训练良好的检测器，提升视频时空定位的效率与性能，实现43.1%的m_vIoU和14.33 FPS的高效表现。

Bridging Modalities, Spanning Time: Structured Memory for Ultra-Long Agentic Video Reasoning

跨模态、跨时间：结构化记忆用于超长代理视频推理

Jiazheng Li, Chi-Hao Wu, Yunze Liu, Kaize Ding, Jundong Li, Chuxu Zhang

机构 * University of Connecticut（康涅狄格大学） ； Northwestern University（西北大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MAGIC-Video框架，通过多模态记忆图和交织叙事链，实现超长视频的跨模态检索与长时序推理，优于现有基线模型。

HY-Himmel Technical Report: Hierarchical Interleaved Multi-stream Motion Encoding for Long Video Understanding

HY-Himmel技术报告：分层交错多流运动编码用于长视频理解

Haopeng Jin, Hongzhu Yi, Wenlong Zhao, Jinwen Luo, Shani Ye, Zhenyu Guan, Shiquan Dong, Tiankun Yang, Tao Yu

机构 * Tencent（腾讯） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Forestry University（北京林业大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 HY-Himmel通过分层视频语言框架解决长视频理解中多模态语言模型的三个瓶颈问题，采用轻量级压缩域三流适配器编码密集帧，提升运动感知能力，实验证明其在Video-MME上性能优于32帧基准。

Comments 59 pages, 42 figures. Technical report

Beyond ESG Scores: Learning Dynamic Constraints for Sequential Portfolio Optimization

超越ESG评分：为序列投资组合优化学习动态约束

Xin Li, Yan Ke, Longbing Cao

机构 * Macquarie University（麦考瑞大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出MACF和MACF-X方法，通过动态证据输入和三头分解，减少尾部ESG预算压力并保持竞争力，改进了序列投资组合优化中的ESG约束处理。

STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

STRIVE：结构化时空探索用于视频问答的强化学习

Emad Bahrami, Olga Zatsarynna, Parth Pathak, Sunando Sengupta, Juergen Gall, Mohsen Fayyaz

机构 * University of Bonn（波恩大学） ； Microsoft（微软） ； Meta ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 STRIVE通过构建多时空变体和联合归一化提升视频问答的奖励信号，采用重要性感知采样机制增强策略更新稳定性，实验表明在多个大模型上提升了视频推理性能。

EventTSF: Event-Aware Non-Stationary Time Series Forecasting

EventTSF: 基于事件的非平稳时间序列预测

Yunfeng Ge, Ming Jin, Yiji Zhao, Hongyan Li, Bo Du, Chang Xu, Shirui Pan

机构 * Griffith University, Australia（澳大利亚格里菲斯大学） ； Xidian University, China（西安电子科技大学） ； Yunnan University, China（云南大学） ； Microsoft Research Asia, China（微软亚洲研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出EventTSF框架，通过分步扩散整合时间序列与文本事件，解决非平稳时间序列预测中的多模态交互问题，实验显示在7个数据集上优于12个基线模型。

Comments Accepted by the 35th International Joint Conference on Artificial Intelligence (IJCAI 2026)

Event Fields: Learning Latent Event Structure for Waveform Foundation Models

事件场：学习隐式事件结构用于波形基础模型

Li Na, Yuanyun Zhang, Shi Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一种新的波形基础模型，通过将生理时间序列建模为隐式事件过程的实现，而非传统序列表示。该方法通过自监督学习框架，促使波形的随机分割和时间频率投影之间的一致性，提升模型对信号扰动的鲁棒性并保持事件层面的组织结构。

Reasoning-Aware Training for Time Series Forecasting

面向时间序列预测的推理感知训练

Md Atik Ahamed, Mihir Parmar, Palash Goyal, Chun-Liang Li, Qiang Cheng, Tomas Pfister, Jinsung Yoon

机构 * Google（谷歌） ； University of Kentucky（肯塔基大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 本文提出STRIDE框架，通过将LLM推理注入到时间序列基础模型的连续嵌入空间中，提升数值预测的准确性和可解释性。

SAR-RAG: ATR Visual Question Answering by Semantic Search, Retrieval, and MLLM Generation

SAR-RAG：通过语义搜索、检索和MLLM生成实现目标识别的视觉问答

David F. Ramirez, Tim Overman, Kristen Jaskie, Joe Marvin, Andreas Spanias

机构 * SenSIP Center, School of ECEE, Arizona State University（SenSIP中心，电子与计算机工程学院，亚利桑那州立大学） ； Prime Solutions Group Inc（Prime Solutions Group公司） 纠错

专题命中 跨模态检索 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SAR-RAG方法，结合多模态大语言模型和语义嵌入向量数据库，通过语义搜索和检索提升SAR图像目标识别的准确性，通过分类和回归指标验证效果。

Comments Accepted to 2026 SPIE Defense + Security, Automatic Target Recognition XXXVI

Generative Giants, Retrieval Weaklings: Why do Multimodal Large Language Models Fail at Multimodal Retrieval?

生成巨人，检索弱者：为何多模态大语言模型在多模态检索中表现不佳？

Hengyi Feng, Zeang Sheng, Meiyi Qiang, Yang Li, Wentao Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Peking University（北京大学） ； Tencent Inc（腾讯公司） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；image-text(abstract)；分类 cs.CV

AI总结 研究揭示多模态大语言模型在多模态检索中表现不佳的原因，通过稀疏自编码器分析发现其表示空间主要由文本语义构成，视觉语义不足，导致检索性能下降，提出ReAlign方法提升检索效果。

MicroWorld: Empowering Multimodal Large Language Models to Bridge the Microscopic Domain Gap with Multimodal Attribute Graph

MicroWorld: 通过多模态属性图赋能多模态大语言模型，弥合微观领域差距

Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan

机构 * Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理关键实验室） ； School of Computer Science, Fudan University（复旦大学计算机科学学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 MicroWorld通过构建多模态属性图增强多模态大语言模型在微观领域的能力，无需领域微调即可提升推理性能，实验显示在MicroVQA和MicroBench基准上均取得显著提升。

Comments 29 pages, 14 figures

Attention Grounded Enhancement for Visual Document Retrieval

基于注意力的视觉文档检索增强

Wanqing Cui, Wei Huang, Yazhi Guo, Yibo Hu, Meiguang Jin, Junfeng Ma, Keping Bi

机构 * Alibaba Group（阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；multi-modal(abstract)；cross-modal(abstract)

AI总结 本文提出AGREE框架，通过多模态大语言模型的注意力机制引导检索器识别相关文档区域，提升细粒度相关性建模，实验表明在ViDoRe V2基准上显著优于传统方法。

Comments Published as a conference paper at SIGIR 2026

Biosignal Fingerprinting: A Cross-Modal PPG-ECG Foundation Model

生物信号指纹：一种跨模态PPG-ECG基础模型

Zhangdaihong Liu, Chang Liu, Fenglin Liu, Yixuan Chen, Yang Yang, David A. Clifton, Xiao Gu

机构 * Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Oxford Suzhou Centre for Advanced Research（牛津苏浙先进研究中心） ； School of Public Health, Shanghai Jiao Tong University（上海交通大学公共卫生学院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 本文提出生物信号指纹，通过跨模态基础模型M2AE生成紧凑且可迁移的心血管状态表示，实现无需重新训练的多任务应用，在多个任务中表现出色。

Comments 21 pages, 8 figures, 7 tables

MAG-VLAQ: Multi-modal Aerial-Ground Query Aggregation for Cross-View Place Recognition

MAG-VLAQ：多模态空-地查询聚合用于跨视角地点识别

Zhengyi Xu, Yuhang Ming, Zhihao Zhan, Hanyu Zhu, Javier Civera, Wanzeng Kong

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； TopXGun Robotics（TopXGun机器人） ； University of Zaragoza（萨拉戈萨大学） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出MAG-VLAQ框架，通过预训练基础模型提取多模态特征并融合，提升空地跨视角地点识别性能，实验表明在KITTI360-AG数据集上性能提升显著。

Comments 16 pages, 4 figures, 3 tables

Ace-Skill: Bootstrapping Multimodal Agents with Prioritized and Clustered Evolution

Ace-Skill：通过优先级和聚类进化提升多模态智能体

Feng Xiong, Zengbin Wang, Yong Wang, Xuecai Hu, Jinghan He, Liang Lin, Yuan Liu, Xiangxiang Chu

机构 * AMAP, Alibaba Group（阿里集团AMAP） ； CASIA ； BNU（北华大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 Ace-Skill通过优先级采样和聚类组织优化多模态智能体的自我进化过程，提升信息获取效率和知识检索可靠性，实现自我强化的良性循环，提升多模态工具使用任务的性能。

Knowledge Poisoning Attacks on Medical Multi-Modal Retrieval-Augmented Generation

针对医疗多模态检索增强生成的知识污染攻击

Peiru Yang, Haoran Zheng, Tong Ju, Shiting Wang, Wanchun Ni, Jiajun Liu, Shangguang Wang, Yongfeng Huang, Tao Qi

机构 * Tsinghua University（清华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Northwestern Polytechnical University（西北工业大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 跨模态检索 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出M³Att框架，针对医疗多模态RAG系统，通过在文本数据中注入隐蔽虚假信息并利用配对视觉数据作为查询无关触发器，提升检索概率，从而在不依赖用户查询先验知识的情况下实现知识污染攻击。

Comments Accepted by ACL 2026

Multi-Modal Style Transfer-based Prompt Tuning for Efficient Federated Domain Generalization

基于多模态风格迁移的提示微调的高效联邦领域泛化

Yuliang Chen, Xi Lin, Jun Wu, Xiangrui Cai, Qiaolun Zhang, Xichun Fan, Jiapeng Xu, Xiu Su

专题命中 跨模态检索 ：multi-modal(title,abstract)

AI总结 本文提出FaST-PT框架，通过多模态风格迁移和双提示模块实现高效联邦领域泛化，提升跨领域适应能力。

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(25): 20427-20435, 2026

SEM-RAG: Structure-Preserving Multimodal Graph Compilation and Entropy-Guided Retrieval for Telecommunication Standards

SEM-RAG：结构保持的多模态图编译与熵引导检索用于电信标准

Yuzhi Yang, Lina Bariah, Yuhuan Lu, Hang Zou, Mérouane Debbah

专题命中 跨模态检索 ：multimodal(title)

AI总结 本文提出SEM-RAG框架，通过结构保持编译和熵引导检索提升电信标准文档检索性能，实验显示其在表格和公式密集型问题上表现优异，准确率高达94.1%。

SLQ: Bridging Modalities via Shared Latent Queries for Retrieval with Frozen MLLMs

SLQ：通过共享潜在查询桥接模态以实现冻结MLLMs的检索

Haoran Lou, Ziyan Liu, Chunxiao Fan, Yuexin Wu, Yue Ming, Hao Wu, Kai Zuo, Yibo Chen, Xu Tang

机构 * School of Electronic Engineering, Beijing University of Posts（北京邮电大学电子工程学院） ； Xiaohongshu Inc., China（小红书公司） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SLQ通过冻结MLLMs的主干，引入共享潜在查询提升多模态检索性能，实验显示其在多个基准上表现优异。

Comments Accepted to ICML-2026

Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models

逃避视觉失语：面向视觉-语言模型的对比自适应语义令牌修剪

Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

机构 * Xiamen University（厦门大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出COAST方法，通过对比自适应语义路由实现视觉-语言模型的高效令牌修剪，减少77.8%的视觉令牌并提升2.15倍的推理速度，同时保持98.64%的原始性能。

Visual-ERM: Reward Modeling for Visual Equivalence

视觉-ERM：用于视觉等价性的奖励建模

Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； CUHK（香港中文大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出视觉-ERM模型，通过细粒度的视觉反馈提升视觉到代码任务的奖励学习效果，实验显示其在图表到代码、表格和SVG解析任务中均取得显著提升。

Comments Project: https://github.com/InternLM/Visual-ERM

CMKL: Modality-Aware Continual Learning for Evolving Biomedical Knowledge Graphs

CMKL：面向演变生物医学知识图谱的模态感知持续学习

Yousef A. Radwan, Yao Li, Qing Qing, Ziqi Xu, Qixin Zhang, Yongcheng Jing, Renqiang Luo, Xikun Zhang

机构 * Technology, Innovation, Entrepreneurship Department（技术、创新与创业部门） ； King Abdullah University of Science and Technology（卡塔尔科技大学） ； School of Computing and Information Systems（计算与信息系统学院） ； The University of Melbourne（墨尔本大学） ； College of Computer Science and Technology（计算机科学与技术学院） ； Jilin University（吉林大学） ； School of Computing Technologies（计算技术学院） ； RMIT University（皇家墨尔本理工大学） ； College of Computing and Data Science（计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 CMKL通过混合专家路由融合结构、文本和分子信息，利用EWC和K-means多样化重放缓冲区保护已有知识，在生物医学持续学习任务中取得显著提升。