多模态大模型

HyperTokens: Controlling Token Dynamics for Continual Video-Language Understanding

HyperTokens: 通过控制令牌动态实现连续视频-语言理解

Toan Nguyen, Yang Liu, Celso De Melo, Flora D. Salim

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出HyperTokens，通过按需生成微调令牌，控制提示更新并保持内存固定，通过元启发式正则化抑制遗忘，提升连续视频问答任务的准确率与保留率。

Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing

先关注再注意：通过自回归注视实现高效的可扩展视频理解

Baifeng Shi, Stephanie Fu, Long Lian, Hanrong Ye, David Eigen, Aaron Reite, Boyi Li, Jan Kautz, Song Han, David M. Chan, Pavlo Molchanov, Trevor Darrell, Hongxu Yin

机构 * UC Berkeley（伯克利大学） ； MIT（麻省理工学院） ； Clarifai（Clarifai公司） ； NVIDIA（英伟达公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 AutoGaze通过自回归选择视频中的关键块，减少冗余并提升处理效率，使大语言模型能处理长视频并取得更优表现。

Comments CVPR 2026. Project page: https://autogaze.github.io/

OnlineSI: Taming Large Language Model for Online 3D Understanding and Grounding

OnlineSI: 通过大规模语言模型实现在线3D理解和定位

Zixian Liu, Zhaoxi Chen, Liang Pan, Ziwei Liu

机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 OnlineSI通过整合3D点云与语义信息，提升大规模语言模型在动态环境中的空间理解和物体识别能力。

Comments Project Page: https://onlinesi.github.io/

FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering

FocusGraph: 用于具身长视频问答的图结构帧选择

Tatiana Zemskova, Solomon Andryushenko, Ilya Obrubov, Viktoriia Khoruzhaia, Ekaterina Eroshenko, Ekaterina Derevyanka, Dmitry Yudin

机构 * AXXX ； MIRAI ； Yandex ； FusionBrain Lab（FusionBrain实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 FocusGraph通过图结构帧选择和轻量级模型实现高效长视频问答，提升性能并减少推理时间。

On Discriminative vs. Generative classifiers: Rethinking MLLMs for Action Understanding

在判别与生成分类器之间：重新思考MLLMs用于动作理解

Zhanzhong Pang, Dibyadip Chatterjee, Fadime Sener, Angela Yao

机构 * National University of Singapore（国立新加坡大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出GAD分类器，通过生成辅助判别方法提升封闭集动作理解的准确性和效率，达到SOTA效果。

Comments 22 pages, 9 figures, 16 tables. Accepted by ICLR2026

Unifying Language-Action Understanding and Generation for Autonomous Driving

统一语言-动作理解与生成以实现自动驾驶

Xinyang Wang, Qian Liu, Wenjie Ding, Zhao Yang, Wei Li, Chang Liu, Bailin Li, Kun Zhan, Xianpeng Lang, Wei Chen

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） ； Li Auto 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 LinkVLA通过统一语言和动作令牌及两步生成方法，提升自动驾驶中语言-动作一致性和效率

Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding

通过草稿思考：用于高效长视频理解的推测性时间推理

Pengfei Hu, Meng Cao, Yingyao Wang, Yi Wang, Jiahua Dong, Jun Song, Yu Cheng, Bo Zheng, Xiaodan Liang

机构 * MBZUAI（马克斯·普朗克智能研究院） ； Alibaba Group Holding Limited（阿里巴巴集团控股有限公司） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SpecTemp通过协作双模型设计，实现高效长视频理解，平衡效率与准确性，提升推理速度。

Comments Accepted by CVPR 26

ASPEN: Spectral-Temporal Fusion for Cross-Subject Brain Decoding

ASPEN：跨受试者脑解码的频谱-时间融合

Megan Lee, Seung Ha Hwang, Inhyeok Choi, Shreyas Darade, Mengchun Zhang, Kateryna Shapovalenko

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Kyung Hee University（Kyung Hee大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 ASPEN通过频谱-时间融合实现跨受试者脑解码，利用乘法融合提升跨模态一致性，有效提升未见受试者准确率。

Demo-ICL: In-Context Learning for Procedural Video Knowledge Acquisition

Demo-ICL: 用于过程视频知识获取的上下文学习

Yuhao Dong, Shulin Tian, Shuai Liu, Shuangrui Ding, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Jiaqi Wang, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Shanghai AI Lab（上海人工智能实验室） ； CUHK-MMLab（香港大学多媒体实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 Demo-ICL通过两阶段训练策略提升模型从上下文示例中学习的能力，针对视频理解中的新挑战提出Demo-ICL-Bench基准测试。

EgoLife: Towards Egocentric Life Assistant

EgoLife：迈向以自身为中心的生活助手

Jingkang Yang, Shuai Liu, Hongming Guo, Yuhao Dong, Xiamengwei Zhang, Sicheng Zhang, Pengyun Wang, Zitang Zhou, Binzhu Xie, Ziyue Wang, Bei Ouyang, Zhengyu Lin, Marco Cominelli, Zhongang Cai, Yuanhan Zhang, Peiyuan Zhang, Fangzhou Hong, Joerg Widmer, Francesco Gringoli, Lei Yang, Bo Li, Ziwei Liu

机构 * S-Lab, Nanyang Technological University, Singapore（南洋理工大学新加坡分校） ； LMMs-Lab（LMMs实验室） ； IMDEA Networks, Spain（西班牙IMDEA网络） ； University of Brescia, Italy（意大利布雷西亚大学） ； Politecnico di Milano, Italy（意大利米兰理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；omni-modal(abstract)；分类 cs.CV

AI总结 EgoLife旨在通过AI赋能的可穿戴设备开发以自身为中心的生活助手，通过多模态数据集和EgoButler系统提升日常效率与个性化服务。

Comments This version corrects the author affiliation to reflect the accurate institutional information at the time of publication. No technical content of the paper has been changed

EventFlash: Towards Efficient MLLMs for Event-Based Vision

EventFlash: 向基于事件的视觉高效MLLMs迈进

Shaoyu Liu, Jianing Li, Guanghui Zhao, Yunjian Zhang, Wen Jiang, Ming Li, Xiangyang Ji

机构 * Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Beijing Institute of Technology（北京理工大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy(SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 EventFlash通过时空令牌稀疏化技术，实现高效事件视觉处理，提升吞吐量并支持更长的事件流处理。

CoT-RVS: Zero-Shot Chain-of-Thought Reasoning Segmentation for Videos

CoT-RVS：零样本链式推理视频对象分割

Shiu-hong Kao, Yu-Wing Tai, Chi-Keung Tang

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 CoT-RVS通过零样本链式推理能力，实现了对视频对象的高效分割，无需训练即可处理复杂查询和在线视频流。

Comments Accepted to ICLR 2026. Project page: https://danielshkao.github.io/cot-rvs.html. Code: https://github.com/DanielSHKao/CoT-RVS

Boosting Point-supervised Temporal Action Localization via Text Refinement and Alignment

通过文本细化与对齐提升点监督时间动作定位

Yunchuan Ma, Laiyun Qing, Guorong Li, Yuqing Liu, Yuankai Qi, Qingming Huang

机构 * University of Chinese Academy of Science, Beijing,100190, China（中国科学院大学，北京） ； Macquarie University（麦考瑞大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出TRA框架，通过文本细化与对齐提升点监督时间动作定位的精度和性能。

SRVAU-R1: Enhancing Video Anomaly Understanding via Reflection-Aware Learning

SRVAU-R1: 通过反射感知学习增强视频异常理解

Zihao Zhao, Shengting Cao, Muchao Ye

机构 * The University of Iowa（艾奥瓦大学） ； Knox College（克诺克斯学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SRVAU-R1通过引入反射感知学习框架，提升视频异常理解的推理能力和准确性。

ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

ToS: 一种针对视频中立体声音事件定位与检测的专家团队集成框架，包含距离估计

Davide Berghi, Philip J. B. Jackson

机构 * Centre for Vision, Speech ； Signal Processing (CVSSP) University of Surrey, Guildford, U.K. 纠错

专题命中 视频多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 eess.AS

AI总结 ToS框架通过整合三个互补子网络，有效解决视频中立体声音事件定位与检测的多维度推理问题，优于现有方法。

GTPred: Benchmarking MLLMs for Interpretable Geo-localization and Time-of-capture Prediction

GTPred：评估多模态大语言模型在可解释地理定位和拍摄时间预测中的基准测试

Jinnao Li, Zijian Chen, Tingzhu Chen, Changbo Wang

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Institute of Image Communication and Information Processing, Shanghai Jiao Tong University（上海交通大学图像通信与信息处理研究院） ； School of Humanities, Shanghai Jiao Tong University（上海交通大学人文学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 GTPred是一个新的地理-时间预测基准测试，通过评估多模态大语言模型在可解释地理定位和拍摄时间预测中的表现，揭示了当前模型在世界知识和时空推理方面的局限性。

Combining Facial Videos and Biosignals for Stress Estimation During Driving

结合面部视频和生物信号用于驾驶过程中的压力估计

Paraskevi Valergaki, Vassilis C. Nicodemou, Iason Oikonomidis, Antonis Argyros, Anastasios Roussos

机构 * Computer Science Department, University of Crete（塞萨洛尼基大学计算机科学系） ； Institute of Computer Science (ICS), Foundation for Research & Technology – Hellas (FORTH)（希腊基础研究与技术机构计算机科学研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出结合面部视频和生物信号的多模态压力估计框架，通过跨模态注意力融合显著提升性能，适用于驾驶场景的压力监测。

Comments Under submission to ICPR 2026

SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More

SketchVL：通过细粒度信用分配进行政策优化以实现图表理解和更多

Muye Huang, Lingling Zhang, Yifei Li, Yaqiang Wu, Jun Liu

机构 * School of Computer Science and Technology, Xi’an Jiaotong University, China（计算机科学与技术学院，西安交通大学） ； MOE KLINNS Lab, Xi’an Jiaotong University, China（教育部KLINNS实验室，西安交通大学） ； Zhongguancun Academy, Beijing, China（中关村学院，北京） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SketchVL通过细粒度信用分配优化，提升多模态大语言模型在图表理解和多领域推理中的性能。

CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models

CounterVid: 通过生成反事实视频缓解视频-语言模型中动作和时间幻觉

Tobia Poppi, Burak Uzkent, Amanmeet Garg, Lucas Porto, Garin Kessler, Yezhou Yang, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara, Florian Schiffers

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（帕尔马大学） ； Amazon Prime Video（亚马逊Prime视频） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 CounterVid通过生成反事实视频缓解视频-语言模型中动作和时间幻觉问题，提出反事实视频生成框架和MixDPO方法，提升时间推理和动作识别性能。

BHaRNet: Reliability-Aware Body-Hand Modality Expertized Networks for Fine-grained Skeleton Action Recognition

BHaRNet: 以可靠性为关注点的多模态专家化网络用于细粒度骨骼动作识别

Seungyeon Cho, Tae-kyun Kim

机构 * School of Computing, KAIST（韩国釜山国立大学计算机学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 BHaRNet通过可靠性建模和多模态整合，提升细粒度骨骼动作识别的鲁棒性和准确性。

Comments 16 pages; 8 figures. Extension of previous conference paper. Project page: https://github.com/VinnyCSY/BHaRNet

MambaSeg: Harnessing Mamba for Accurate and Efficient Image-Event Semantic Segmentation

MambaSeg: 利用Mamba实现准确且高效的图像事件语义分割

Fuqiang Gu, Yuanke Li, Xianlei Long, Kangping Ji, Chao Chen, Qingyi Gu, Zhenliang Ni

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MambaSeg通过双分支框架和双维交互模块，实现高效准确的多模态语义分割，适用于快速运动和低光条件下的图像事件分割任务。

Comments Accepted by AAAI 2026

VTAO-BiManip: Masked Visual-Tactile-Action Pre-training with Object Understanding for Bimanual Dexterous Manipulation

VTAO-BiManip: 带物体理解的遮蔽视觉-触觉-动作预训练用于双臂灵巧操作

Zhengnan Sun, Zhaotai Shi, Jiayin Chen, Qingtao Liu, Yu Cui, Qi Ye, Jiming Chen

机构 * College of Control Science and Engineering, Zhejiang University, Hangzhou, 310027, China（浙江大学控制科学与工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 VTAO-BiManip通过结合视觉-触觉-动作预训练与物体理解，提升双臂灵巧操作的课程强化学习效果，实现超过现有方法20%的成功率。

KlingAvatar 2.0 Technical Report

KlingAvatar 2.0 技术报告

Kling Team, Jialu Chen, Yikang Ding, Zhixue Fang, Kun Gai, Yuan Gao, Kang He, Jingyun Hua, Boyuan Jiang, Mingming Lao, Xiaohan Li, Hui Liu, Jiwen Liu, Xiaoqiang Liu, Yuan Liu, Shun Lu, Yongsen Mao, Yingchao Shao, Huafeng Shi, Xiaoyu Shi, Peiqin Sun, Songlin Tang, Pengfei Wan, Chao Wang, Xuebo Wang, Haoxian Zhang, Yuanxing Zhang, Yan Zhou

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 KlingAvatar 2.0 通过时空级联框架和多模态指令融合技术，实现了高效且高质量的长视频生成，提升了视觉清晰度和多模态对齐能力。

Comments 14 pages, 7 figures

Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling

通过想象看见：通过隐式空间世界建模学习场景几何

Meng Cao, Haokun Lin, Haoyuan Li, Haoran Tang, Rongtao Xu, Dong An, Xue Liu, Ian Reid, Xiaodan Liang

机构 * MBZUAI ； SYSU（南方科技大学） ； PKU（北京大学） ； Spatialtemporal AI（时空人工智能） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出MILO和RePE，通过隐式空间世界建模提升多模态大语言模型的空间推理能力。

Stepwise Schema-Guided Prompting Framework with Parameter Efficient Instruction Tuning for Multimedia Event Extraction

分步模式引导提示框架与参数高效指令微调用于多模态事件提取

Xiang Yuan, Xinrong Chen, Haochen Li, Hang Yang, Guanyu Wang, Weiping Li, Tong Mo

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.MM

AI总结 本文提出分步模式引导提示框架与参数高效指令微调方法，用于提升多模态事件提取任务的性能。

Comments Accepted by 2025 IEEE International Conference on Multimedia and Expo

Thinking With Bounding Boxes: Enhancing Spatio-Temporal Video Grounding via Reinforcement Fine-Tuning

通过边界框思考：通过强化微调提升空间时间视频定位

Xin Gu, Haoji Zhang, Qihang Fan, Jingxuan Niu, Zhipeng Zhang, Libo Zhang, Guang Chen, Fan Chen, Longyin Wen, Sijie Zhu

机构 * ByteDance Intelligent Creation（字节跳动智能创作） ； Tsinghua University（清华大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Shanghai Jiao Tong University（上海交通大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 STVG-o1通过强化微调提升空间时间视频定位性能，实现无需架构修改的先进结果。

MAIF: Enforcing AI Trust and Provenance with an Artifact-Centric Agentic Paradigm

MAIF：基于 artifacts 的代理范式强化 AI 可信度与溯源

Vineeth Sai Narajala, Manish Bhatt, Idan Habler, Ronald F. Del Rosario, Ads Dawson

机构 * Security Researcher Cisco（安全研究员 希思科） ； Researcher OWASP/Project Kuiper Security（研究员 OWASP/项目 Kuiper 安全） ； Adversarial AI Security Research Cisco（对抗性AI安全研究 希思科） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 MAIF 通过以 artifacts 为中心的代理范式，解决 AI 的可信度、安全性和问责问题，实现数据的主动信任执行和高效处理。

Comments 7 Pages, 2 Figures, 6 Tables, Repo: https://github.com/vineethsai/maifscratch-1, Added additional Author and fixed Citations

AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding

AdaVideoRAG：多情境自适应检索增强高效长视频理解

Zhucun Xue, Jiangning Zhang, Xurong Xie, Yuxuan Cai, Yong Liu, Xiangtai Li, Dacheng Tao

机构 * Zhejiang University（浙江大学） ； Youtu Lab, Tencent（腾讯优图实验室） ； Huazhong University of Science and Technolog（华中科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 AdaVideoRAG通过自适应检索增强框架提升长视频理解效率与准确性，支持多层级知识检索与深度语义分析。

Comments NeurIPS 2025

ViSS-R1: Self-Supervised Reinforcement Video Reasoning

Bo Fang, Yuxin Song, Qiangqiang Wu, Haoyuan Sun, Wenhao Wu, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） ； Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Our paper was initially titled "Video-SSR1: Self-Supervised Reinforcement Video Reasoning." Upon noticing its close resemblance to the title of a recently released paper, we have decided to rename our work as "ViSS-R1."

Causality Matters: How Temporal Information Emerges in Video Language Models

Yumeng Shi, Quanyu Long, Yin Wu, Wenya Wang

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted to AAAI 2026