多模态大模型

WorldOlympiad: Can Your World Model Survive a Triathlon?

WorldOlympiad：你的世界模型能经受铁人三项考验吗？

Yuke Zhao, Wangbo Zhao, Weijie Wang, Zeyu Zhang, Dakai An, Akide Liu, Yinghao Yu, Jiasheng Tang, Fan Wang, Wei Wang, Bohan Zhuang

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； The Hong Kong University of Science and Technology（香港科技大学） ； Monash University（莫纳什大学） ； TRE, Alibaba Group（阿里巴巴TRE） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出WorldOlympiad基准，从物理忠实性、几何一致性和交互保真度三个维度诊断视频世界模型，揭示现有模型在物理推理、3D一致性和长程交互方面的显著不足。

Comments Project Page: https://alibaba-damo-academy.github.io/WorldOlympiad/, Code: https://github.com/alibaba-damo-academy/WorldOlympiad

Three-Step Hierarchical Transformer for Multi-Pedestrian Trajectory Prediction

三步层次Transformer用于多人轨迹预测

Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

机构 * IMT Nord Europe, University of Lille, CNRS UMR 9189 - CRIStAL（IMT 北欧洲、里尔大学、法国国家科学研究中心 UMR 9189 - CRIStAL） ； University of Lille, CNRS UMR 9189 - CRIStAL（里尔大学、法国国家科学研究中心 UMR 9189 - CRIStAL） ； Explain 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出三步层次Transformer，通过分离时间编码、多模态融合和场景交互推理，在JRDB和城市数据集上达到最先进性能。

Training-Free Semantic Correction for Autoregressive Visual Models

自回归视觉模型的免训练语义校正

Junhao Chen, Chanyu Zhu, Zheqi Lv, Keting Yin, Shengyu Zhang

机构 * Zhejiang University（浙江大学） ； Shandong University（山东大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出Gazer框架，通过多模态大语言模型反馈在自回归视觉模型采样循环中进行语义诊断与校正，无需额外训练即可提升语义对齐和组合准确性。

CDER-SME: A Cross-Device Event-RGB Micro-Expression Dataset under Multi-Level Stress Induction

CDER-SME：多级压力诱导下的跨设备事件-RGB微表情数据集

Jingting Li, Hui Sha, Su-Jing Wang

机构 * State Key Laboratory of Cognitive Science and Mental Health, Institute of Psychology, Chinese Academy of Sciences（中国科学院心理研究所认知科学与心理健康国家重点实验室） ； Department of Psychology, University of the Chinese Academy of Sciences（中国科学院大学心理学系） ； School of Computer Science, Jiangsu University of Science and Technology（江苏科技大学计算机科学学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出CDER-SME数据集，通过多级压力诱导框架收集跨设备事件-RGB数据，提供硬件无关的对齐流程，包含92名受试者和1963个专家标注样本，验证了跨模态融合提升微表情识别性能。

Estimating Mutual Information between Time Series and Temporal Event Sequences Across Diverse Analysis Tasks

估计时间序列与时间事件序列在不同分析任务中的互信息

Haoji Hu, Huaqing Mao, Yijun Lin, Xiaowei Jia, Jinwei Zhou, Minoh Jeong, Yao-Yi Chiang

机构 * University of Minnesota - Twin Cities（明尼苏达大学-双城分校） ； University of Pittsburgh（匹兹堡大学） ； Inha University（Inha大学） 纠错

专题命中 视频多模态 ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一种非参数互信息估计器，直接度量连续时间序列与离散事件序列之间的依赖关系，无需数据转换或离散化，通过处理量化伪影和事件冗余实现鲁棒统一框架。

Conditional Multi-Event Temporal Grounding in Long-Form Video

长视频中的条件多事件时间定位

Yuanhao Zou, Arthad Kulkarni, Lucas Tonanez, Lincoln Spencer, Guangyu Sun, Tianxingjian Ding, Andong Deng, Yi Li, Shuangjun Liu, Yuan Li, Dashan Gao, Ning Bi, Taotao Jing, Shuai Zhang, Chen Chen

机构 * University of Central Florida（中佛罗里达大学） ； Qualcomm AI Research（高通人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出CoMET-Bench基准和CoMET-Agent框架，解决长视频中基于组合时空条件定位所有事件的任务，F1@0.5提升6.1%。

AnyMod-LLVE: Low-Light Video Enhancement with Modality-Agnostic Inference

AnyMod-LLVE: 模态无关推理的低光照视频增强

Hangfeng Liang, Yutao Hu, Yanhan Hu, Xiaohan Wu, Wenqi Shao, Ying Fu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出AMNet统一多模态框架，通过空间-频谱双门控转换器学习辅助模态与RGB输入的对应关系，支持推理时任意模态组合，解决低光照视频增强中辅助模态缺失问题。

Comments Accepted at ICML 2026; Project page and code: https://lhfgghc.github.io/LLVE-AMNet

OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning

OmniCap-IF：全视频字幕遵循指令能力的基准测试与改进

Jiahao Wang, An Ping, Yanghai Wang, Yuanxing Zhang, Shihao Li, Hanyan Bian, Yichi Ren, Yize Zhang, Han Wang, Haowen Chen, Junze Li, Jiaqi Wang, Yiyang Hu, Zhuze Xu, Zijie Zhang, Jiaheng Liu

机构 * NJU-LINK Team, Nanjing University（南京大学 NJU-LINK 团队） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；omni-modal(abstract)；分类 cs.CV

AI总结 提出首个全模态字幕指令遵循基准OmniCap-IF，通过格式与内容正确性评估50种约束类型，揭示格式-内容权衡，并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。

SMC-ITA: Sequential Monte Carlo Inference-Time Alignment for Video-to-Audio Generation

SMC-ITA：面向视频到音频生成的序列蒙特卡洛推理时对齐

Haoyu Zhang, Yuta Oshima, Xingjian Du, Chunfeng Wang, Irene Li, Yusuke Iwasawa, Yutaka Matsuo

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 eess.AS

AI总结 提出SMC-ITA方法，通过前瞻奖励估计和序列蒙特卡洛重采样，在推理时优化流匹配V2A生成，显著降低不同步率并提升音频质量。

Comments 6 pages, 4 figures

Decoupling Semantics and Logic: A Training-Free Coarse-to-Fine Pipeline for Video Retrieval-Augmented Generation

解耦语义与逻辑：一种无需训练的从粗到精的视频检索增强生成流水线

Jiaxin Dai, Zehang Wei, Jiamin Yan, Xiang Xiang

机构 * School of Computer Science & Tech, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； School of AI and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出一种无需训练的两阶段级联视频RAG流水线，通过解耦语义检索与逻辑推理，实现跨语言长视频理解、严格角色遵循和零幻觉时间定位。

Comments To be presented at ACL 2026 MAGMAR Workshop (Oral; Retrieval leaderboard No.1)

Imagine Before You Predict: Interleaved Latent Visual Reasoning for Video Event Prediction

在预测之前想象：用于视频事件预测的交错潜在视觉推理

Tianxiang Jiang, Linquan Wu, Sheng Xia, Songze Li, Ziang Yan, Haoyu Yang, Yu Qiao, Yi Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； City University of Hong Kong（香港城市大学） ； Nanjing University（南京大学） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Future-L1框架，通过交错潜在视觉推理在自回归解码中交替语言token和连续潜在视觉跨度，结合LA-DAPO强化学习优化，在视频事件预测任务上取得最先进结果。

Comments https://github.com/OpenGVLab/Future-L1

VCIFBench: Evaluating Complex Instruction Following for Video Understanding

VCIFBench：评估视频理解中的复杂指令遵循能力

Huangchen Xu, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（知识驱动人机智能工程研究中心，吉林大学） ； International Center of Future Science, Jilin University（未来科学国际中心，吉林大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CL

AI总结 提出VCIFBench基准，通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力，实验表明联合约束满足仍具挑战，DPO训练可提升性能。

Explainable Forensics of Manipulated Segments in Untrimmed Long Videos

未修剪长视频中被操纵片段的可解释取证

Yue Feng, Jingjing Li, Qijia Lu, Wei Ji, Jingrou Zhang, Fei Shen, Xiao Li, Yizhen Jia, Qiang Chen, Limin Wang, Wentong Li, Jie Qin

机构 * MoE Key Laboratory of Brain-Machine Intelligence Technology, College of Artificial Intelligence, Nanjing University of Aeronautics（脑机智能技术关键实验室、人工智能学院、南京航空航天大学） ； Dalian University of Technology（大连理工大学） ； Nanjing University（南京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对长视频中AI生成片段的定位与解释任务，提出TASLE基准数据集和MSLoc粗到细取证方法，实现时序定位、真实性检测与可解释分析。

Comments Accepted to ICML 2026

Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning

Skyra：通过 grounded artifact reasoning 实现 AI 生成视频检测

Yifei Li, Wenzhao Zheng, Yanran Zhang, Runze Sun, Yu Zheng, Lei Chen, Jie Zhou, Jiwen Lu

机构 * Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出 Skyra，一种专门用于识别 AI 生成视频中人类可感知的视觉瑕疵的多模态大语言模型，通过这些瑕疵作为基础证据进行检测和解释，同时构建了首个大规模 AI 生成视频瑕疵数据集并提出两阶段训练策略。

Comments Camera Ready Version. Project Page: https://github.com/JoeLeelyf/Skyra

EyeCue: Driver Cognitive Distraction Detection via Gaze-Empowered Egocentric Video Understanding

EyeCue：通过眼动增强的视点视频理解进行驾驶员认知分心检测

Lang Zhang, JinYi Yoon, Matthew Corbett, Abhijit Sarkar, Bo Ji

机构 * Virginia Tech（弗吉尼亚理工大学） ； Inha University（inha大学） ； Army Cyber Institute at West Point（西点军营陆军网络学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出EyeCue框架，通过眼动与视觉上下文的交互建模，实现驾驶员认知分心检测，利用CogDrive数据集验证其在多种驾驶场景下的高准确率和泛化能力。

Comments Accepted to the 35th International Joint Conference on Artificial Intelligence (IJCAI 2026)

RCoT-Seg: Reinforced Chain-of-Thought for Video Reasoning and Segmentation

RCoT-Seg：强化链式推理用于视频推理与分割

Junwei Wen, Deshui Miao, Guangming Lu, Xin Li, Wenjie Pei

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Pazhou Lab (Huangpu)（琶洲实验室（黄埔）） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出RCoT-Seg框架，通过分离时间推理与空间感知，改进视频分割中关键帧选择与定位，提升多目标场景下的鲁棒性与精度。

Comments 21 pages

Risk Horizons: Structured Hypothesis Spaces for Longitudinal Clinical Prediction

风险视界：用于纵向临床预测的结构化假设空间

Zhan Qu, Michael Färber

机构 * TU Dresden（德累斯顿技术大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出风险视界框架，通过结合确定性编码层级与数据驱动的滞后跨模态关联，将纵向预测转化为在紧凑且临床一致的假设空间中的排序问题，提升了多模态下次就诊预测性能。

A Pattern Language for Resilient Visual Agents

面向鲁棒视觉代理的模式语言

Habtom Kahsay Gidey, Alexander Lenz, Alois Knoll

专题命中 视频多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 本文提出一种模式语言，用于在企业生态系统中整合多模态基础模型，平衡视觉语言动作模型的延迟与非确定性与企业控制循环的严格确定性和实时性要求。

Comments Accepted to the 23rd International Conference on Software Architecture (ICSA 2026), New and Emerging Ideas Track. 5 pages, 1 figure

DenseStep2M: A Scalable, Training-Free Pipeline for Dense Instructional Video Annotation

DenseStep2M: 一种可扩展且无需训练的密集指令视频标注流水线

Mingji Ge, Qirui Chen, Zeqian Li, Weidi Xie

机构 * SAI, Shanghai Jiao Tong University（上海交通大学人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出无需训练的DenseStep2M流水线，通过分割视频、过滤对齐不佳内容并利用先进多模态模型生成高质量步骤注释，构建了包含10万视频和200万步骤的大型数据集，支持长期视频理解。

OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding

OmniVTG：一种大规模数据集和开放世界视频时间定位的训练范式

Minghang Zheng, Zihao Yin, Yi Yang, Yuxin Peng, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Central Media Technology Institute, Huawei Technologies Ltd.（华为技术有限公司中央媒体技术研究所） ； PKU-WUHAN Institute for Artificial Intelligence, Peking University（北京大学武汉人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出OmniVTG数据集和Self-Correction Chain-of-Thought训练范式，通过语义覆盖迭代扩展管道构建大规模数据集，并利用多模态大语言模型的密集描述能力提升视频时间定位性能。

Comments CVPR 2026

OASIS: On-Demand Hierarchical Event Memory for Streaming Video Reasoning

OASIS：按需分层事件记忆用于流媒体视频推理

Zhijia Liang, Jiaming Li, Weikai Chen, Yanhao Zhang, Haonan Lu, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； OPPO AI Center（OPPO人工智能中心） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 OASIS通过结构化按需检索解决流媒体视频推理中记忆检索的挑战，提升长周期准确性和组合推理能力。

Comments Accepted by CVPR 2026

Video-STAR: Reinforcing Open-Vocabulary Action Recognition with Tools

Video-STAR: 通过工具强化开放词汇动作识别

Zhenlong Yuan, Xiangyan Qu, Chengxuan Qian, Rui Chen, Jing Tang, Lei Sun, Xiangxiang Chu, Dapeng Zhang, Yiwei Wang, Yujun Cai, Shuo Li

机构 * AMAP, Alibaba Group（阿里集团AMAP） ； University of California at Merced（加州大学默塞德分校） ； University of Queensland（昆士兰大学） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 Video-STAR通过结合上下文子动作分解与工具增强强化学习，提升开放词汇动作识别的细粒度匹配与跨模态推理能力，有效减少跨模态幻觉。

LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding

LongVideo-R1: 低成本长视频理解的智能导航

Jihao Qiu, Lingxi Xie, Xinyue Huo, Qi Tian, Qixiang Ye

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Huawei Consumer Business Group（华为消费者业务集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出LongVideo-R1，一种基于多模态大语言模型的智能导航系统，通过高效视频上下文导航减少冗余搜索，提升长视频理解的效率与准确性。

Comments 17 pages, 9 figures, 8 tables, accepted to CVPR 2026

rPPG-VQA: A Video Quality Assessment Framework for Unsupervised rPPG Training

rPPG-VQA：一种用于无监督rPPG训练的视频质量评估框架

Tianyang Dai, Ming Chang, Yan Chen, Yang Hu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出rPPG-VQA框架，通过信号级和场景级分析评估视频对rPPG模型训练的适用性，结合双分支架构和两阶段自适应采样策略提升模型性能。

Comments Accepted by CVPR 2026

4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation

4D-RGPT：通过感知蒸馏实现区域级4D理解

Chiao-An Yang, Ryo Hachiuma, Sifei Liu, Subhashree Radhakrishnan, Raymond A. Yeh, Yu-Chiang Frank Wang, Min-Hung Chen

机构 * NVIDIA（英伟达） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出4D-RGPT和P4D框架，解决3D/4D视频问答中4D感知和时间理解不足的问题，并构建了区域级提示的R4D-Bench基准。

Comments CVPR 2026 (Highlight). Project page: https://www.ca-joe-yang.com/resource/projects/4D_RGPT/. GitHub: https://github.com/NVlabs/4D-RGPT. Dataset: https://huggingface.co/datasets/nvidia/R4D-Bench

UniversalVTG: A Universal and Lightweight Foundation Model for Video Temporal Grounding

UniversalVTG: 一种通用且轻量的视频时间定位基础模型

Joungbin An, Agrim Jain, Kristen Grauman

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出UniversalVTG，一种通用轻量视频时间定位模型，通过大规模跨数据集预训练实现高效长视频定位，优于专用模型且比大语言模型更轻量。

Comments Project Page: https://vision.cs.utexas.edu/projects/universalvtg

ATSS: Detecting AI-Generated Videos via Anomalous Temporal Self-Similarity

ATSS：通过异常时间自相似性检测AI生成视频

Hang Wang, Chao Shen, Lei Zhang, Zhi-Qi Cheng

机构 * Xi’an Jiaotong University（西安交通大学） ； The Hong Kong Polytechnic University（香港理工大学） ； University of Washington（华盛顿大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ATSS方法，通过三重相似性表示和跨注意融合机制，检测AI生成视频的异常时间自相似性，优于现有方法，在多个基准上表现更优。

Comments 16 pages, 4 figures

RANGER: A Monocular Zero-Shot Semantic Navigation Framework through Visual Contextual Adaptation

RANGER：通过视觉上下文适应的单目零样本语义导航框架

Ming-Ming Yu, Yi Chen, Börje F. Karlsson, Wenjun Wu

机构 * Beihang University（北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 RANGER通过视觉上下文学习实现零样本语义导航，无需依赖深度和姿态信息，利用3D基础模型和视觉语言模型提升任务效率与环境适应性。

Comments Accepted at ICRA 2026

When Thinking Hurts: Mitigating Visual Forgetting in Video Reasoning via Frame Repetition

当思考带来痛苦：通过帧重复缓解视频推理中的视觉遗忘

Xiaokun Sun, Yubo Wang, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出FrameRepeat框架，通过轻量级重复评分模块和Add-One-In策略，有效增强视频推理中的视觉线索，提升模型性能和泛化能力。

Clue Matters: Leveraging Latent Visual Clues to Empower Video Reasoning

线索至关重要：利用潜在视觉线索增强视频推理

Kaixin zhang, Xiaohe Li, Jiahao Li, Haohua Wu, Xinyu Zhao, Zide Fan, Lei Wang

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航天信息研究所） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出ClueNet框架，通过两阶段监督微调方法，解决视频推理中视觉线索提取、过滤与推理对齐问题，提升视频问答的准确性和可解释性。

Comments 18 pages, 7 figures