多模态大模型

OmniGAIA: Towards Native Omni-Modal AI Agents

OmniGAIA：迈向原生全模态AI代理

Xiaoxi Li, Wenxiang Jiao, Jiarui Jin, Haoxuan Li, Hao Wang, Shijian Wang, Guanting Dong, Jiajie Jin, Yinuo Wang, Yuan Lu, Ji-Rong Wen, Zhicheng Dou, Zhouchen Lin

机构 * Renmin University of China（中国人民大学） ； Xiaohongshu Inc.（小红书公司） ； Peking University（北京大学） ； Southeast University（东南大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出OmniGAIA基准和OmniAtlas代理，通过全模态事件图和后见引导树探索策略，实现跨视频、音频和图像的深度推理与工具使用。

Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning

增强视听视频字幕的时间与跨模态对齐

Chen Zhao, Jiajun Ma, Qilong Huang, Tiehan Fan, Hongyu Li, Zhuoliang Kang, Xiaoming Wei, Jian Yang, Ying Tai

机构 * Nanjing University, State Key Laboratory for Novel Software Technology（南京大学，计算机软件新技术国家重点实验室） ； Meituan（美团） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出TCA-Captioner框架，通过观察-检查-纠正迭代策略和密集交互数据集，解决视听字幕中的模态分离与时间不一致问题，实现精准的视听绑定与因果动态建模。

Comments ECCV 2026

ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

ForeSea：面向视频监控的多模态查询AI取证搜索

Hyojin Park, Yi Li, Janghoon Cho, Sungha Choi, Jungsoo Lee, Taotao Jing, Shuai Zhang, Munawar Hayat, Dashan Gao, Ning Bi, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 针对监控视频中多模态查询与时间定位难题，提出ForeSea系统，采用三阶段即插即用流程，结合跟踪、多模态嵌入和视频LLM，在ForeSeaQA基准上准确率提升3.1%，时间IoU提升10.1%。

Comments ECCV2026

Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

Drive-JEPA：视频JEPA结合多模态轨迹蒸馏实现端到端驾驶

Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

机构 * Virginia Tech（弗吉尼亚理工学院） ； Purdue University（普渡大学） ； XPENG Motors（小鹏汽车） ； Nanjing University（南京大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出Drive-JEPA框架，结合视频联合嵌入预测架构（V-JEPA）与多模态轨迹蒸馏，通过自监督视频预训练和动量感知选择机制提升端到端驾驶的规划性能，在NAVSIM上达到新最优。

ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA

ReQuest：基于重新思考的问题感知帧选择用于长视频问答

Minkuk Kim, Suyong Yun, Young Tae Kim, Jinyoung Moon, Jinwoo Choi, Seong Tae Kim

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出ReQuest，一种不确定性驱动的、问题自适应的关键帧选择方法，通过轻量级选择器、重新思考路由和不确定性引导的NMS，在固定token预算下提升长视频问答准确率。

Comments Accepted at ECCV 2026

Learning to Evolve Scenes: Reasoning about Human Activities with Scene Graphs

学习演化场景：用场景图推理人类活动

Francesca Pistilli, Simone Alberto Peirone, Giuseppe Averta

机构 * Politecnico di Torino（托斯托大学） 纠错

专题命中 视频多模态 ：MLLM(abstract_cn)；分类 cs.CV

AI总结 提出SG-Ego标注集和GLEN模型，通过时空场景图显式建模人-环境交互的动态演化，实现活动驱动的场景变化推理与预测。

Comments Project page at https://francescapistilli.github.io/GLEN

Spatio-Temporal and Clinical Conditioning for Fine-Grained Radiology Report Retrieval

细粒度放射学报告检索的时空与临床条件化

P. Sloan, E. Simpson, M. Mirmehdi

机构 * Department of Computer Science University of Bristol（计算机科学系 布里斯托大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出STAR3框架，通过区域级解剖信息与临床指征及纵向变化对齐，实现基于检索的放射学报告生成，在MIMIC-CXR上优于现有方法。

Comments 14 pages, 2 figures, 6 tables

Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs

先构建图！通过场景图实现长视频第一人称视频推理

Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci

机构 * Politecnico di Milano（米兰理工大学） ； Bocconi University（博科尼大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出利用第一人称场景图（EgoSGs）将长视频压缩为紧凑文本表示，在保持语义丰富性的同时大幅减少输入长度，使多模态大模型能在令牌预算内高效推理，在HD-EPIC VQA上取得最优结果。

DAP: Doppler-aware Point Network for Heterogeneous mmWave Action Recognition

DAP：面向异构毫米波的点网络用于人类动作识别

Jiaying Lin, Shiman Wu, Jinfu Liu, Can Wang, Mengyuan Liu

机构 * Peking University（北京大学） ； Huazhong University of Science and Technology（华中科技大学） ； DJI Technology Company Ltd.（大疆技术创新有限公司） ； Christian-Albrechts-Universität zu Kiel（基尔大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DAP-Net，通过异构雷达源的跨模态对齐和D2R模块实现点云增强，提升动作识别的鲁棒性与准确性。

Event-based vision sensing and its application to pedestrian detection for intelligent transportation and surveillance

基于事件的视觉感知及其在智能交通与监控中行人检测的应用

Han Wang, Juntao Wu, Jingyuan Bao, Min Liu, Yaoxiong Wang, Saiao Zhou, Yuman Nie, Yun Li

机构 * Han Wang, Juntao Wu, Jingyuan Bao, Min Liu, Yaoxiong Wang, Saiao Zhou, Yuman Nie, Yun Li（未知） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 综述事件视觉感知原理及其在行人检测中的应用，比较事件驱动与传统帧方法的优劣，分析现有方法并讨论开放挑战与未来方向。

Comments Published in Advanced Engineering Informatics, Vol. 76, Part B, 104989 (2026). Received 31 December 2025; Revised 3 June 2026; Accepted 18 June 2026; Available online 23 June 2026. DOI: 10.1016/j.aei.2026.104989

CADENZA in Action: Breaking the Monolith with Intent-Dependent Plan Spaces for Semantic Queries

CADENZA 在行动：通过意图依赖的计划空间打破语义查询的单一架构

Jaehyun Ha, Yongjoo Park, Wook-Shin Han

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出CADENZA语义算子优化器，将意图分解为步骤并选择物理实现，根据用户偏好调优参数，平衡质量、延迟和成本。

Journal ref VLDB 2026