多模态大模型

NAKUL-Med: Spectral-Graph State Space Models with Dynamics Kernels for Medical Signals

NAKUL-Med: 带动态核的谱-图状态空间模型用于医学信号

Badri N. Patro, Vijay S. Agneeswaran

机构 * Microsoft（微软） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 NAKUL-Med通过动态核生成、谱上下文建模和图引导的空间注意力，提升多通道生理信号分析的性能，实现高准确率和高效推理。

Comments Accepted CVPR Finding Track

Understanding the Performance Plateau in Text-to-Video Retrieval: A Comprehensive Empirical and Linguistic Analysis

理解文本到视频检索中的性能平台：全面的实证和语言分析

Maria-Eirini Pegia, Dimitrios Stefanopoulos, Björn Þór Jónsson, Anastasia Moumtzidou, Ilias Gialampoukidis, Stefanos Vrochidis, Ioannis Kompatsiaris

机构 * Information Technologies Institute（信息科技研究所） ； CERTH-ITI ； School of Computer Science（计算机科学学院） ； Reykjavík University（雷克雅未克大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文通过实证和语言分析，探讨文本到视频检索中模型性能瓶颈，揭示caption特性与模型表现的关系，指出简单清晰的caption提升召回率，而复杂事件仍具挑战性。

Comments Survey, 50 pages, 15 figures, 13 tables, 154 citations

Odysseus: Scaling VLMs to 100+ Turn Decision-Making in Games via Reinforcement Learning

Odysseus：通过强化学习扩展VLMs以实现游戏中的100+回合决策

Chengshuai Shi, Wenzhe Li, Xinran Liang, Yizhou Lu, Wenjia Yang, Ruirong Feng, Seth Karten, Ziran Yang, Zihan Ding, Gabriel Sarch, Danqi Chen, Karthik Narasimhan, Chi Jin

机构 * Princeton Language and Intelligence（普林斯顿语言与智能实验室） ； Princeton University（普林斯顿大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了通过强化学习训练VLMs进行长回合决策，提出轻量级回合级批评机改进训练稳定性，利用预训练VLMs提升样本效率，引入Odysseus框架在多个游戏层级取得显著进展。

ClipTBP: Clip-Pair based Temporal Boundary Prediction with Boundary-Aware Learning for Moment Retrieval

ClipTBP：基于剪辑对的时序边界预测：面向时刻检索的边界感知学习

Ji-Hyeon Kim, Ho-Joong Kim, Seong-Whan Lee

机构 * Dept. of Artificial Intelligence, Korea University, Seoul（人工智能系，韩国大学，首尔） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ClipTBP框架，通过边界感知学习解决视频时刻检索中多段答案与查询的语义关系建模问题，提升时序边界预测的鲁棒性。

Comments 15 pages

FCMBench-Video: Benchmarking Document Video Intelligence

FCMBench-Video：文档视频智能基准测试

Runze Cui, Fangxin Shang, Yehui Yang, Qing Yang, Yanwu Xu, Tao Chen

机构 * AI Lab, Qifu Technology（启赋科技AI实验室） ； College of Future Information Technology, Fudan University（复旦大学未来信息学院） ； School of Future Technology, South China University of Technology（华南理工大学未来技术学院） ； Pazhou Lab（琶洲实验室） 纠错

专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出FCMBench-Video基准测试，用于评估文档视频理解中的文档感知、时间定位和证据推理能力，通过真实场景数据验证系统性能，揭示不同任务的敏感性和能力差异。

Co-Director: Agentic Generative Video Storytelling

Co-Director: 基于代理的生成视频叙事

Yale Song, Yiwen Song, Nick Losier, Nathan Hodson, Ye Jin, Rhyard Zhu, Yan Xu, Daniel Vlasic, Carina Claassen, Jasmine Leon, Khanh G. LeViet, Zack Chomyn, Joe Timmons, Brett Slatkin, Scott Penberthy, Tomas Pfister

机构 * Google（谷歌） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 本文提出Co-Director框架，通过分层多代理方法解决视频生成的语义一致性问题，引入分层参数化和多模态自优化循环，实现叙事策略探索与有效配置的平衡，通过GenAD-Bench验证其在个性化广告中的优越性。

Comments Project Page: https://co-director-agent.github.io/

DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA

DIAL: 通过潜在世界建模解耦意图与动作以实现端到端VLA

Yi Chen, Yuying Ge, Hui Zhou, Mingyu Ding, Yixiao Ge, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； XPENG Robotics（小鹏机器人） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 DIAL通过潜在意图瓶颈解耦意图与动作，利用VLM进行潜在世界建模并结合轻量策略实现端到端VLA，实验表明其在RoboCasa GR1任务中优于现有方法，且在真实世界部署中表现稳健。

Comments Project page: https://xpeng-robotics.github.io/dial

IntentVLM: Open-Vocabulary Intention Recognition through Forward-Inverse Modeling with Video-Language Models

IntentVLM: 通过视频语言模型的前-后向建模实现开放词汇意图识别

Hamed Rahimi, Clemence Grislain, Adrien Jacquet Cretides, Olivier Sigaud, Mohamed Chetouani

机构 * Institute of Intelligent Systems and Robotics (ISIR)（智能系统与机器人研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 本文提出IntentVLM框架，通过前-后向建模提升多模态环境下的人意图识别效果，实验表明其在IntentQA和Inst-IT Bench数据集上达到80%准确率，超越基线30%，接近人类水平。

Emotion-Conditioned Short-Horizon Human Pose Forecasting with a Lightweight Predictive World Model

基于轻量预测世界模型的情感条件短周期人体姿态预测

Jingni Huang, Peter Bloodsworth

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了情感嵌入对短周期姿态预测的辅助作用，提出轻量级自回归预测世界模型，结合姿态关键点与情感嵌入，提升情感驱动动作序列的预测性能。

EAD-Net: Emotion-Aware Talking Head Generation with Spatial Refinement and Temporal Coherence

EAD-Net：具有空间细化和时间一致性的情感感知说话头生成

Yahui Li, Yinfeng Yu, Liejun Wang, Shengjie Shen

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 EAD-Net通过引入同步网络监督和时空方向注意力机制，提升情感感知说话头生成的唇同步精度和时间一致性，同时利用大语言模型增强情感语义控制。

Comments Main paper (10 pages). Accepted for publication by ICMR(International Conference on Multimedia Retrieval) 2026

UpstreamQA: A Modular Framework for Explicit Reasoning on Video Question Answering Tasks

UpstreamQA：一个用于视频问答任务显式推理的模块化框架

Jason Nguyen, Ameet Rao, Alexander Chang, Ishaan Kumar, Erin Tan

机构 * Lincoln North Star High School（林肯北星高中） ； The Charter School of Wilmington（威尔明顿 charter 学校） ； Greenwich High School（格林威治高中） ； Santa Susana High School（圣塔苏娜高中） ； UC Berkeley（伯克利大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UpstreamQA框架，通过显式推理模块分离和评估视频推理核心组件，提升视频问答任务的性能和可解释性，但可能在基线性能高时导致性能下降。

From Skeletons to Pixels: Few-Shot Precise Event Spotting via Representation and Prediction Distillation

从骨骼到像素：通过表示和预测蒸馏实现少样本精确事件定位

Zhong Han Ervin Yeoh, Jiang Kan

机构 * Department of Business Analytics（商业分析系） ； School of Computing（计算学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出两种互补的蒸馏策略，通过多模态蒸馏提升少样本精确事件定位的泛化能力，实验表明在网球和花样滑冰数据集中均优于单一模态基线。

Comments 39 pages, 4 figures, ISACE 2026

IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory

IMPACT-CYCLE：一种基于合同的多智能体系统，用于长视频语义记忆的层次级监督修正

Weitong Kong, Di Wen, Kunyu Peng, David Schneider, Zeyun Zhong, Alexander Jaus, Zdravko Marinov, Jiale Wei, Ruiping Liu, Junwei Zheng, Yufan Chen, Lei Qi, Rainer Stiefelhagen

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； INSAIT ； ETH Zurich（苏黎世联邦理工学院） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出IMPACT-CYCLE，通过多智能体系统实现长视频语义记忆的层次级监督修正，提升下游推理性能并降低人工仲裁成本。

Comments 7 pages, 2 figures, code are available at https://github.com/MKong17/IMPACT_CYCLE

LLaVA-Octopus: Unlocking Instruction-Driven Adaptive Projector Fusion for Video Understanding

LLaVA-Octopus：解锁指令驱动的自适应投影器融合用于视频理解

Boyuan Sun, Jiaxing Zhao, Xiang Chen, Xihan Wei, Qibin Hou

机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； Tongyi Group, Alibaba（阿里巴巴通义集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 LLaVA-Octopus通过根据用户指令动态调整不同视觉投影器的特征权重，提升视频理解任务的性能，实验表明其在多个基准测试中表现优异。

Comments 18 pages, 10 figures

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

MUSEG：通过时间感知多段定位增强视频时间理解

Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

机构 * THUNLP-MT 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 MUSEG通过引入时间感知多段定位，提升多模态大语言模型对视频时间信息的理解能力，通过定制化强化学习训练方案实现更全面的时间推理。

RefereeBench: Are Video MLLMs Ready to be Multi-Sport Referees

RefereeBench: 视频多模态大语言模型是否准备好成为多项目裁判

Yichen Xu, Yuanhang Liu, Chuhan Wang, Zihan Zhao, jinghan luo, Jianzhe Ma, Wenxuan Wang, Qin Jin

机构 * Renmin University of China（中国人民大学） ； Sichuan University（四川大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出RefereeBench，首个评估多模态大语言模型作为自动体育裁判的基准，通过11项运动925个视频和6475对问答，评估犯规存在、分类、推理、实体感知和时间定位能力，发现当前模型在规则应用和时间定位上表现不足。

Comments Work in Progress

CamReasoner: Reinforcing Camera Movement Understanding via Structured Spatial Reasoning

CamReasoner：通过结构化空间推理强化相机运动理解

Hang Wu, Yujun Cai, Zehao Li, Haonan Ge, Bowen Sun, Junsong Yuan, Yiwei Wang

机构 * University of California, Merced（加州大学梅尔德分校） ； University of Queensland（昆士兰大学） ； Ant Group（蚂蚁集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； University at Buffalo, State University of New York（纽约州立大学布法罗分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 CamReasoner通过结构化推理框架提升相机运动理解，采用O-T-A范式和大规模推理轨迹集，首次利用强化学习实现逻辑对齐，提升分类和VQA性能。

STORM: End-to-End Referring Multi-Object Tracking in Videos

STORM：视频中的端到端提及多目标跟踪

Zijia Lu, Jingru Yi, Jue Wang, Yuxiao Chen, Junwen Chen, Xinyu Li, Davide Modolo

机构 * Amazon（亚马逊） 纠错

专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 STORM通过统一框架联合执行目标定位与跟踪，提升数据效率并构建新数据集，实现多目标跟踪的先进性能。

Comments CVPR 2026 Findings

Envisioning the Future, One Step at a Time

逐步展望未来

Stefan Andreas Baumann, Jannik Wiese, Tommaso Martorella, Mahdi M. Kalayeh, Björn Ommer

机构 * Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Netflix 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过稀疏点轨迹逐步推断来预测开放集未来场景动态，提升大规模探索效率，同时引入OWM基准测试预测准确性与现实不确定性下的多样性。

Comments CVPR 2026. For code and models, see http://compvis.github.io/myriad

VSI: Visual Subtitle Integration for Keyframe Selection to enhance Long Video Understanding

VSI：视觉字幕整合用于关键帧选择以增强长视频理解

Jianxiang He, Meisheng Hong, Jungang Li, Weiyu Guo, Xuming Hu, Hui Xiong

机构 * AI Thrust, HKUST(GZ)（香港科技大学（广州）） ； Shandong University（山东大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VSI通过融合视觉与文本信息提升长视频关键帧检索精度，实现在文本相关任务中的突破性表现。

Comments Accepted to CVPR 2026 Findings, 10 pages

Learning Vision-Language-Action World Models for Autonomous Driving

学习视觉-语言-动作世界模型以实现自动驾驶

Guoqing Wang, Pin Tang, Xiangxuan Ren, Guodongfang Zhao, Bailan Feng, Chao Ma

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室） ； Central Research Institute, Huawei（华为中央研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLA-World模型，通过结合预测想象与反思推理提升自动驾驶的前瞻性。该模型利用生成的轨迹引导图像生成，并通过反思优化轨迹预测，实验表明其在规划和未来场景生成任务中优于现有方法。

Comments Accepted by CVPR2026 findings

SiMing-Bench: Evaluating Procedural Correctness from Continuous Interactions in Clinical Skill Videos

SiMing-Bench：从连续交互评估临床技能视频中的过程正确性

Xiyang Huang, Jiawei Lin, Keying Wu, Jiaxin Huang, Kailai Yang, Renxiong Wei, Cheng zeng, Jiayi Xiang, Ziyan Kuang, Min Peng, Qianqian Xie, Sophia Ananiadou

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Center for Language and Information Research, Wuhan University（武汉大学语言与信息研究中心） ； Southwest Jiaotong University（西南交通大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； The University of Manchester（曼彻斯特大学） ； Zhongnan Hospital of Wuhan University（武汉大学中南医院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 SiMing-Bench旨在评估多模态大语言模型在临床技能视频中通过连续交互更新过程状态的能力，通过医师标注的数据集和标准化评分标准，揭示模型在过程级判断上的不足。

InstrAct: Towards Action-Centric Understanding in Instructional Videos

InstrAct：迈向指令视频中的动作中心理解

Zhuoyi Yang, Jiapeng Yu, Reuben Tan, Boyang Li, Huijuan Xu

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Microsoft Research（微软研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出InstrAction框架，通过数据驱动策略和辅助目标提升指令视频中动作识别与建模，建立InstrAct基准测试集，优于现有视频基础模型。

SensorPersona: An LLM-Empowered System for Continual Persona Extraction from Longitudinal Mobile Sensor Streams

SensorPersona: 一种基于大语言模型的持续性人设提取系统，用于从长期移动传感器流中无感获取

Bufang Yang, Lilin Xu, Yixuan Li, Kaiwei Liu, Xiaofan Jiang, Zhenyu Yan

机构 * The Chinese University of Hong Kong（香港中文大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SensorPersona系统，通过多模态长期传感器流持续提取稳定用户人设，提升LLM代理的个性化响应质量。系统通过上下文编码、分层人设推理和自适应更新，实现对物理行为、心理特质和生活经验的全面分析。

Looking Beyond the Obvious: A Survey on Abstract Concept Recognition for Video Understanding

超越显而易见：视频理解中抽象概念识别的综述

Gowreesh Mago, Pascal Mettes, Stevan Rudinac

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了视频理解中抽象概念识别的挑战与方法，强调基础模型的进步对高阶抽象理解的重要性，指出需结合多模态基础模型避免重复发明轮子。

Comments Accepted at IJCV

Journal ref International Journal of Computer Vision 134, 217 (2026)

Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning

探索基于自然语言的策略以通过强化学习高效学习儿童数字

Tirthankar Mittra

机构 * Univeristy Of Colorado, Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过强化学习框架研究儿童如何使用十进制积木组成数字，发现明确动作指导的指令更有效，并提出有效的教学课程以加速收敛和提升泛化能力。

TIGFlow-GRPO: Trajectory Forecasting via Interaction-Aware Flow Matching and Reward-Guided Optimization

TIGFlow-GRPO：通过交互感知的流匹配和奖励引导优化进行轨迹预测

Xuepeng Jing, Wenhuan Lu, Hao Meng, Zhizhi Yu, Jianguo Wei

机构 * Tianjin University（天津大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出TIGFlow-GRPO，通过交互感知的流匹配和奖励引导优化，提升复杂环境下的轨迹预测准确性与稳定性，生成更符合社会规范和物理可行的轨迹。

Low-Bitrate Video Compression through Semantic-Conditioned Diffusion

基于语义的低比特率视频压缩

Lingdong Wang, Guan-Ming Su, Divya Kothandaraman, Tsung-Wei Huang, Mohammad Hajiesmaili, Ramesh K. Sitaraman

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DiSCo框架，通过语义条件扩散模型在低比特率下实现高质量视频压缩，采用文本描述、空间时间退化视频和可选草图等模态，提升感知质量。

Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retrieval

想象之前聚焦：扩散引导的寄存器增强部分相关视频检索

Jun Li, Xuhang Lou, Jinpeng Wang, Yuting Wang, Yaowei Wang, Shu-Tao Xia, Bin Chen

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出DreamPRVR，通过粗到细的表示学习范式，利用扩散模型生成全局语义寄存器，提升部分相关视频检索的准确性与鲁棒性。

Comments Accepted to CVPR 2026. 15 pages, 7 figures, 3 tables

SafeScreen: A Safety-First Screening Framework for Personalized Video Retrieval for Vulnerable Users

SafeScreen: 一种以安全优先的个性化视频检索框架用于易受伤害用户的视频筛选

Wenzheng Zhao, Madhava Kalyan Gadiputi, Fengpei Yuan

机构 * Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SafeScreen通过安全优先机制，在确保个性化视频检索的同时满足个体安全约束，采用自动化流程进行视频的连续审批或拒绝，结合个性化安全标准提取、证据驱动评估和LLM决策，实现实时可解释的视频筛选。

Comments 11 pages, 3 figures, 7 tables. Under review for ACM ICMI 2026