多模态大模型

Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach

团队LEYA在第10届ABAW竞赛中的多模态矛盾/犹豫识别方法

Elena Ryumina, Alexandr Axyonov, Dmitry Sysoev, Timur Abdulkadirov, Kirill Almetov, Yulia Morozova, Dmitry Ryumin

机构 * St. Petersburg Federal Research Center of the Russian Academy of Sciences（俄罗斯科学院圣彼得堡联邦科研中心） ； HSE University（俄罗斯高等经济学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种多模态方法用于视频级矛盾/犹豫识别，结合场景、面部、音频和文本四种模态，通过融合模型提升识别性能，实验显示多模态融合优于单一模态方法。

Comments 8 pages, 2 figures

Thinking in Dynamics: How Multimodal Large Language Models Perceive, Track, and Reason Dynamics in Physical 4D World

动态思维：多模态大语言模型如何感知、跟踪和推理物理4D世界的动态

Yuzhi Huang, Kairun Wen, Rongxin Gao, Dongxuan Liu, Yibin Lou, Jie Wu, Jing Xu, Jian Zhang, Zheng Yang, Yunlong Lin, Chenxin Li, Panwang Pan, Junbin Lu, Jingyan Jiang, Xinghao Ding, Yue Huang, Zhi Wang

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出Dyn-Bench基准测试，评估多模态大语言模型在动态场景中的时空推理和动态物体感知能力，发现现有模型难以同时保持强性能，而结构化整合方法显著提升其动态感知能力。

Towards Explainable AI: Multi-Modal Transformer for Video-based Image Description Generation

迈向可解释AI：基于视频的图像描述生成的多模态Transformer

Lakshita Agarwal, Bindu Verma

专题命中 视频多模态 ：multi-modal(title)；分类 cs.CV、cs.AI

AI总结 本文提出一种多模态Transformer框架，结合文本和视觉模态生成视频描述，通过ResNet50提取视频特征并结合GPT-2模型，提升描述质量和可解释性。

Journal ref 2026

SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs

SPARROW：在像素级视频MLLM中学习空间精度和时间参照一致性

Mohamad Alansari, Naufal Suryanto, Divya Velayudhan, Sajid Javed, Naoufel Werghi, Muzammal Naseer

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 SPARROW通过引入目标特定跟踪特征和双提示设计，提升视频像素级理解的空间精度和时间一致性，基于30646个视频和45231对问答对的数据集，实现六个基准测试的显著改进。

Comments Accepted at CVPR 2026; Project page: https://risys-lab.github.io/SPARROW; Repository: https://github.com/RISys-Lab/SPARROW

Thinking in Streaming Video

流式视频思考

Zikang Liu, Longteng Guo, Handong Li, Ru Zhen, Xingjian He, Ruyi Ji, Xiaoming Ren, Yanhao Zhang, Haonan Lu, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； OPPO AI Center, OPPO Inc.（OPPO人工智能中心，OPPO公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ThinkStream框架，通过Watch-Think-Speak范式实现流式视频推理，采用RCSM压缩内存和流式强化学习提升效率，实验表明其在多个流式视频基准上性能优越且低延迟。

One-Step Flow Policy: Self-Distillation for Fast Visuomotor Policies

一步流策略：用于快速视觉-运动策略的自蒸馏

Shaolong Li, Lichao Sun, Yongchao Chen

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一步流策略，通过自蒸馏实现高保真单步动作生成，无需预训练教师模型，有效提升动作生成速度和控制精度。