多模态大模型

SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning

SAIL：基于相似性感知引导和跨字幕增强学习的弱监督密集视频字幕生成

Ye-Chan Kim, SeungJu Cha, Si-Woo Kim, Minju Jeon, Hyungee Kim, Dong-Jin Kim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SAIL通过跨模态对齐和大语言模型增强策略，提升弱监督密集视频字幕生成的准确性和语义感知能力。

Comments Accepted to CVPR 2026

FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding

FLoC：基于设施定位的高效视觉令牌压缩用于长视频理解

Janghoon Cho, Jungsoo Lee, Munawar Hayat, Kyuwoong Hwang, Fatih Porikli, Sungha Choi

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 FLoC提出了一种基于设施定位函数的高效视觉令牌压缩方法，通过懒惰贪心算法实现紧凑且多样化的令牌选择，有效提升长视频理解的处理效率和性能。

Comments Accepted to ICLR 2026

PrismAudio: Decomposed Chain-of-Thoughts and Multi-dimensional Rewards for Video-to-Audio Generation

PrismAudio：分解的思维链与多维奖励用于视频到音频生成

Huadai Liu, Kaicheng Luo, Wen Wang, Qian Chen, Peiwen Sun, Rongjie Huang, Xiangang Li, Jieping Ye, Wei Xue

机构 * Hong Kong University of Science and Technology (HKUST)（香港科技大学） ； Tongyi Fun Team, Alibaba Group（通义Fun团队，阿里巴巴集团） ； The Chinese University of Hong Kong (CUHK)（香港中文大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.CV、eess.AS

AI总结 PrismAudio通过分解思维链与多维奖励，解决视频到音频生成中的目标纠缠问题，实现更高质量的生成效果。

Comments ICLR 2026

MVR: Multi-view Video Reward Shaping for Reinforcement Learning

MVR：多视图视频奖励塑造用于强化学习

Lirui Luo, Guoxi Zhang, Hongming Xu, Yaodong Yang, Cong Fang, Qing Li

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室） 纠错

专题命中 视频多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 MVR通过多视角视频和视觉语言模型提升强化学习中的奖励塑造，有效解决复杂动态任务中的状态相关性和视角偏见问题。

Comments ICLR 2026

TripleSumm: Adaptive Triple-Modality Fusion for Video Summarization

TripleSumm: 适应性三模态融合用于视频摘要

Sumin Kim, Hyemin Jeong, Mingu Kang, Yejin Kim, Yoori Oh, Joonseok Lee

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 TripleSumm通过适应性三模态融合技术，在视频摘要任务中实现了最先进的性能，首次提出了多模态视频摘要的大型基准MoSu。

Comments Published as a Conference Paper at ICLR 2026

Egocentric Co-Pilot: Web-Native Smart-Glasses Agents for Assistive Egocentric AI

第一人称共驾：面向辅助第一人称AI的网页原生智能眼镜代理

Sicheng Yang, Yukai Huang, Weitong Cai, Shitong Sun, Fengyi Fang, You He, Yiqiao Xie, Jiankang Deng, Hang Zhang, Jifei Song, Zhensong Zhang

机构 * Shenzhen International Graduate School Tsinghua University Shenzhen China（深圳国际研究生院清华大学深圳中国） ； Independent Researcher London United Kingdom（独立研究者伦敦英国） ； Queen Mary University of London London United Kingdom（女王玛丽大学伦敦英国） ； Imperial College London London United Kingdom（帝国理工学院伦敦英国） ； University Of Surrey Guildford United Kingdom（Surrey大学Guildford英国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Egocentric Co-Pilot通过网页原生智能眼镜代理实现第一人称AI的持续辅助，结合神经符号框架和多模态意图层，展示了在日常生活中提升可及性和情境感知的实用路径。

Comments 14 pages, 6 figures, WWW 2026

RGB-Event HyperGraph Prompt for Kilometer Marker Recognition based on Pre-trained Foundation Models

基于预训练基础模型的RGB-Event超图提示用于基于预训练基础模型的公里标识别

Xiaoyu Xian, Shiao Wang, Xiao Wang, Daxin Tian, Yan Tian

机构 * School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） ； CRRC Academy Co., Ltd（CRRC研究院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于预训练基础模型的RGB-Event超图提示方法，构建首个大规模RGB-Event数据集EvMetro5K，用于提升地铁公里标识别性能。

Comments Accepted by IEEE Transactions on Cognitive and Developmental Systems (IEEE TCDS) 2026

PyVision-RL: Forging Open Agentic Vision Models via RL

通过强化学习构建开放代理视觉模型：PyVision-RL

Shitian Zhao, Shaoheng Lin, Ming Li, Haoquan Zhang, Wenshuo Peng, Kaipeng Zhang, Chen Wei

机构 * Shanghai AI Lab（上海人工智能实验室） ； Rice University（里士满大学） ； Shanda AI Research, Tokyo（上海沙达人工智能研究东京） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 PyVision-RL通过强化学习框架解决多模态代理的交互崩溃问题，结合回放策略和累积奖励提升多轮推理能力，实现高效视频理解与处理。

Comments preprint

PyraTok: Language-Aligned Pyramidal Tokenizer for Video Understanding and Generation

PyraTok: 用于视频理解和生成的语言对齐金字塔分词器

Onkar Susladkar, Tushar Prakash, Adheesh Juvekar, Kiet A. Nguyen, Dong-Hwan Jang, Inderjit S Dhillon, Ismini Lourentzou

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 PyraTok通过多尺度文本引导量化和全局自回归目标，实现了视频理解和生成中语言与视觉的紧密对齐，提升了视频重建和零样本迁移性能。

TAG: Thinking with Action Unit Grounding for Facial Expression Recognition

TAG:基于动作单元的面部表情识别中的思维

Haobo Lin, Tianyi Bai, Jiajun Zhang, Xuanhao Chang, Sheng Lu, Fangming Gu, Zengjie Hu, Wentao Zhang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 TAG通过基于动作单元的视觉-语言框架，提升面部表情识别的推理可信度和视觉一致性。

Comments 33 pages, 8 figures

Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding

基于接地的思考：用于长视频理解的课程强化推理与视频接地

Houlun Chen, Xin Wang, Guangyao Li, Yuwei Zhou, Yihan Chen, Jia Jia, Wenwu Zhu

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Video-TwG通过课程强化框架和接地范式提升长视频理解，采用双阶段策略和TwG-GRPO算法优化推理与接地质量。

Rodent-Bench

Rodent-Bench：用于评估多模态大语言模型在啮齿动物行为标注中的性能

Thomas Heap, Laurence Aitchison, Emma Cahill, Adriana Casado Rodriguez

机构 * University of Bristol（布里斯托大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Rodent-Bench评估了多模态大语言模型在啮齿动物行为标注中的性能，发现现有模型存在时间分段、长视频处理和细微行为区分方面的挑战，为未来模型发展提供参考。

Prompt When the Animal is: Temporal Animal Behavior Grounding with Positional Recovery Training

提示当动物是：基于位置恢复训练的时序动物行为 grounding

Sheng Yan, Xin Du, Zongying Li, Yi Wang, Hongcang Jin, Mengyuan Liu

机构 * School of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院） ； National Key Laboratory of General Artificial Intelligence, Shenzhen Graduate School, Peking University（北京大学深圳研究生院国家通用人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出 Port 框架，通过位置恢复训练提升动物行为时序 grounding 的准确性，在 Animal Kingdom 数据集上取得 38.52 的 IoU@0.3 成绩，并在 ICME 2024 挑战赛中表现突出。

Comments Accepted by ICMEW 2024

Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation

增强语义 grounded 的动作和成分建模以实现语义 grounded 的食谱生成

Guoshan Liu, Bin Zhu, Yian Li, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出语义 grounded 的框架，通过两阶段流程结合监督微调和强化微调，提升食谱生成的语义准确性与成分预测能力。

Ctrl-GenAug: Controllable Generative Augmentation for Medical Sequence Classification

Ctrl-GenAug: 可控生成增强用于医学序列分类

Xinrui Zhou, Yuhao Huang, Haoran Dou, Shijing Chen, Ao Chang, Jia Liu, Weiran Long, Jian Zheng, Erjiao Xu, Jie Ren, Alejandro F. Frangi, Ruobing Huang, Jun Cheng, Xiaomeng Li, Wufeng Xue, Dong Ni

机构 * National-Regional Key Technology Engineering Laboratory for Medical Ultrasound（国家级区域医疗超声关键技术工程实验室） ； School of Biomedical Engineering（生物医学工程学院） ； Medical School（医学院） ； Shenzhen University（深圳大学） ； Medical UltraSound Image Computing (MUSIC) Lab（医学超声图像计算（MUSIC）实验室） ； School of Artificial Intelligence（人工智能学院） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Department of Electronic and Computer Engineering（电子与计算机工程系） ； The University of Manchester（曼彻斯特大学） ； The Third Affiliated Hospital of Sun Yat-sen University（中山大学第三附属医院） ； Longgang District People’s Hospital of Shenzhen（深圳龙岗区人民医院） ； The Second Affiliated Hospital of The Chinese University of Hong Kong（香港中文大学第二附属医院） ； School of Biomedical Engineering and Informatics（生物医学工程与信息学学院） ； NIHR Manchester Biomedical Research Centre（NIHR曼彻斯特生物医学研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Ctrl-GenAug通过可控生成增强方法提升医学序列分类性能，解决语义和序列可控性不足及噪声样本问题。

Comments Accepted by International Journal of Computer Vision, 30 pages, 11 figures, 11 tables

HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving

HiST-VLA：一种用于端到端自动驾驶的分层时空视觉-语言-动作模型

Yiru Wang, Zichong Gu, Yu Gao, Anqing Jiang, Zhigang Sun, Shuo Wang, Yuwen Heng, Hao Sun

机构 * Bosch Corporate Research（博世企业研究） ； School of Communication and Information Engineering（信息工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 HiST-VLA通过分层时空视觉-语言-动作模型提升自动驾驶轨迹生成的精度与效率，实现端到端的自动驾驶系统。

ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search

ShotFinder: 通过网络搜索驱动的开放域视频镜头检索

Tao Yu, Haopeng Jin, Hao Wang, Shenghua Chai, Yujia Yang, Junhao Gong, Jiaming Guo, Minghui Zhang, Xinlong Chen, Zhenghao Zhang, Yuxuan Zhou, Yufei Xiong, Shanbin Zhang, Jiabing Yang, Hongzhu Yi, Xinming Wang, Cheng Zhong, Xiao Ma, Zhang Zhang, Yan Huang, Liang Wang

机构 * CASIA（中国科学院自动化研究所） ； UCAS（中国科学院大学） ； Lenovo（联想集团） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ShotFinder通过网络搜索驱动开放域视频镜头检索，提出三阶段检索流程并揭示多模态大模型在开放域视频检索中的性能差距。

Comments 28 pages, 7 figures, Project website: https://github.com/yutao1024/ShotFinder

Vista: Scene-Aware Optimization for Streaming Video Question Answering under Post-Hoc Queries

Vista：面向事后查询的场景感知流视频问答优化

Haocheng Lu, Nan Zhang, Wei Tao, Xiaoyang Qu, Guokuan Li, Jiguang Wan, Jianzong Wang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Vista通过场景感知分割、压缩和召回技术，实现了高效且可扩展的流视频问答，提升了长上下文推理能力，同时保持低延迟和内存效率。

Comments Accepted to AAAI 2026 (Main Technical Track)

AD-MIR: Bridging the Gap from Perception to Persuasion in Advertising Video Understanding via Structured Reasoning

AD-MIR：通过结构化推理弥合从感知到说服的广告视频理解鸿沟

Binxiao Xu, Junyu Feng, Xiaopeng Lin, Haodong Li, Zhiyuan Feng, Bohan Zeng, Shaolin Lu, Ming Lu, Qi She, Wentao Zhang

机构 * Peking University, Beijing, China（北京大学） ； Tsinghua University, Beijing, China（清华大学） ； Xi'an Jiaotong University, Xi'an, China（西安交通大学） ； South China University of Technology, Guangzhou, China（华南理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 AD-MIR通过结构化推理框架，结合语义检索与精确关键词匹配，有效解码广告意图，提升广告视频理解的准确性与说服策略分析能力。

Simulating the Visual World with Artificial Intelligence: A Roadmap

用人工智能模拟视觉世界：一条路线图

Jingtong Yue, Ziqi Huang, Zhaoxi Chen, Xintao Wang, Pengfei Wan, Ziwei Liu

机构 * Robotics Institute Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； S-Lab Nanyang Technological University（南洋理工大学S实验室） ； Kling Team Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于隐式世界模型和视频渲染器的视频基础模型，用于模拟物理动态、智能体交互和任务规划，涵盖四代视频生成技术，应用于机器人、自动驾驶和互动游戏等领域。

Comments Project page: https://world-model-roadmap.github.io/ Github Repo: https://github.com/ziqihuangg/Awesome-From-Video-Generation-to-World-Model

RISE-Video: Can Video Generators Decode Implicit World Rules?

RISE-Video: 视频生成器能否解码隐含的世界规则？

Mingxin Liu, Shuran Ma, Shibei Meng, Xiangyu Zhao, Zicheng Zhang, Shaofeng Zhang, Zhihang Zhong, Peixian Chen, Haoyu Cao, Xing Sun, Haodong Duan, Xue Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Xidian University（西安电子科技大学） ； Beijing Normal University（北京师范大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 RISE-Video通过多维评估框架评估视频生成模型在隐含世界规则推理能力，揭示其在复杂场景模拟中的不足，推动未来生成模型的发展。

Comments 38 pages, 16 figures, 3 tables; Code: https://github.com/VisionXLab/RISE-Video; HuggingFace: https://huggingface.co/datasets/VisionXLab/RISE-Video

EEO-TFV: Escape-Explore Optimizer for Web-Scale Time-Series Forecasting and Vision Analysis

EEO-TFV：面向网络级时间序列预测和视觉分析的逃逸-探索优化器

Hua Wang, Jinghao Lu, Fan Zhang

机构 * School of Computer and Artificial Intelligence, Ludong University（计算机与人工智能学院，鲁东大学） ； School of Computer Science and Technology, Shandong Technology and Business University（计算机科学与技术学院，山东技术与商务大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 EEO-TFV通过轻量级Transformer架构与逃逸-探索优化器，提升网络级时间序列预测和视觉分析的性能与泛化能力。

Comments Main paper: 12 pages

SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model

SurgVidLM：迈向多粒度外科视频理解的大型语言模型

Guankun Wang, Junyi Wang, Wenjin Mo, Long Bai, Kun Yuan, Ming Hu, Jinlin Wu, Junjun He, Yiming Huang, Nicolas Padoy, Zhen Lei, Hongbin Liu, Nassir Navab, Hongliang Ren

机构 * The Chinese University of Hong Kong（香港中文大学） ； Sun Yat-sen University（中山大学） ； University of Strasbourg（斯特拉斯堡大学） ； Technical University of Munich（慕尼黑技术大学） ； Monash University（墨尔本大学） ； Centre for Artificial Intelligence and Robotics, HKISI-CAS（人工智能与机器人中心，HKISI-CAS） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SurgVidLM通过多粒度分析提升外科视频理解能力，结合全局与局部机制实现更精确的手术流程解析。

FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding

FreshMem: 基于大脑的频率-空间混合内存用于流视频理解

Kangcong Li, Peng Ye, Lin Zhang, Chao Wang, Huafeng Qin, Tao Chen

机构 * College of Future Information Technology, Fudan University, Shanghai, China（复旦大学未来信息科技学院） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室） ； The Chinese University of Hong Kong, Hong Kong, China（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 FreshMem通过频率-空间混合内存网络，提升流视频理解的连续感知能力，实现短期保真与长期一致性的平衡。

Fire on Motion: Optimizing Video Pass-bands for Efficient Spiking Action Recognition

运动中的火焰：为高效脉冲动作识别优化视频通过带

Shuhan Ye, Yuanbin Qian, Yi Yu, Chong Wang, Yuqi Xie, Jiazhen Xu, Kun Wang, Xudong Jiang

机构 * Ningbo University（宁波大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PBO模块，通过优化时间通过带以提升动态视频中脉冲神经网络的动作识别性能。

Less is More: Label-Guided Summarization of Procedural and Instructional Videos

少即是多：基于标签的程序性和教学视频摘要

Shreya Rajpal, Michal Golovanevsky, Carsten Eickhoff

机构 * University of Tübingen（图宾根大学） ； Vellore Institute of Technology（维洛雷理工学院） ； Brown University（布朗大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 PRISM提出了一种基于标签的视频摘要方法，通过集成语义和多模态分析，生成语义准确且上下文连贯的摘要，有效提升摘要质量。

Comments 22 pages, 6 figures

VideoNSA: Native Sparse Attention Scales Video Understanding

VideoNSA：原生稀疏注意力扩展视频理解

Enxin Song, Wenhao Chai, Shusheng Yang, Ethan Armand, Xiaojun Shan, Haiyang Xu, Jianwen Xie, Zhuowen Tu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VideoNSA通过端到端训练提升视频理解，结合原生稀疏注意力实现长视频和时间推理的性能优化

Comments ICLR 2026

MORPH: PDE Foundation Models with Arbitrary Data Modality

MORPH：具有任意数据模态的PDE基础模型

Mahindra Singh Rautela, Alexander Most, Siddharth Mansingh, Bradley C. Love, Alexander Scheinker, Diane Oyen, Nathan Debardeleben, Earl Lawrence, Ayan Biswas

机构 * Computing and Artificial Intelligence Division (CAI), Los Alamos National Laboratory, NM, US（计算与人工智能部门（CAI），洛斯阿拉莫斯国家实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MORPH是一种基于卷积视觉变压器的PDE基础模型，通过多模态处理和高效注意机制实现对异质科学数据的高效学习。

MAViS: A Multi-Agent Framework for Long-Sequence Video Storytelling

MAViS：一个用于长序列视频叙事的多智能体框架

Qian Wang, Ziqi Huang, Ruoxi Jia, Paul Debevec, Ning Yu

机构 * Virginia Tech（弗吉尼亚理工大学） ； Nanyang Technological University（南洋理工大学） ； Eyeline Studios（Eyeline工作室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MAViS通过多智能体协作框架提升长序列视频生成的辅助能力、视觉质量和表达性，支持多模态输出。

Comments Video Generation Agent

Event-VStream: Event-Driven Real-Time Understanding for Long Video Streams

Event-VStream: 基于事件驱动的长视频流实时理解

Zhenghui Guo, Yuanbin Man, Junyuan Sheng, Bowen Lin, Ahmed Ahmed, Bo Jiang, Boyuan Zhang, Miao Yin, Sian Jin, Omprakash Gnawal, Chengming Zhang

机构 * University of Houston（德克萨斯大学休斯顿分校） ； The University of Texas at Arlington（德克萨斯理工大学） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Temple University（特拉华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Event-VStream通过事件感知框架实现长视频流的实时理解，利用事件序列进行语义连贯的处理，提升性能并保持低延迟。