多模态大模型

ABMAMBA: Multimodal Large Language Model with Aligned Hierarchical Bidirectional Scan for Efficient Video Captioning

ABMAMBA: 多模态大语言模型中的对齐层次双向扫描用于高效的视频描述

Daichi Yashima, Shuhei Kurita, Yusuke Oda, Shuntaro Suzuki, Seitaro Otsuki, Komei Sugiura

机构 * Keio University（庆应义塾大学） ； National Institute of Informatics（国立信息学研究所） ； National Institute of Informatics Research and Development Center for Large Language Models（国立信息学研究所大型语言模型研发中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出ABMamba，一种具有线性计算复杂度的多模态大语言模型，通过替代二次注意力机制，实现视频序列的高效处理，在视频描述任务中表现出色。

Comments Accepted to ICPR 2026

Towards Effective Long Video Understanding of Multimodal Large Language Models via One-shot Clip Retrieval

通过一次剪辑检索增强多模态大语言模型的长视频理解

Tao Chen, Shaobo Ju, Qiong Wu, Chenxin Fang, Kun Zhang, Jun Peng, Hui Li, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China（多媒体可信感知与高效计算教育部重点实验室） ； Xiamen University（厦门大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出OneClip-RAG方法，通过一次剪辑检索提升多模态大语言模型对长视频的理解能力，改进知识完整性和语义连贯性，并设计新数据集和训练方案。

Exploring Temporal Representation in Neural Processes for Multimodal Action Prediction

探索神经过程在多模态动作预测中的时间表示

Marco Gabriele Fedozzi, Yukie Nagai, Francesco Rea, Alessandra Sciutti

机构 * DIBRIS Department, University of Genoa（热那亚大学DIBRIS系） ； CONTACT Unit, Italian Institute of Technology（意大利理工学院CONTACT单元） ； International Research Center for Neurointelligence, The University of Tokyo（东京大学国际神经智能研究中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文研究了条件神经过程在机器人自监督多模态动作预测中的应用，提出改进的DMBN-PTE模型以提升时间信息表示的鲁棒性。

Comments Submitted to the AIC 2023 (9th International Workshop on Artificial Intelligence and Cognition)

From Gaze to Guidance: Interpreting and Adapting to Users' Cognitive Needs with Multimodal Gaze-Aware AI Assistants

从注视到引导：通过多模态注视感知AI助手解读和适应用户认知需求

Valdemar Danry, Javier Hernandez, Andrew Wilson, Pattie Maes, Judith Amores

机构 * Microsoft Research（微软研究院） ； MIT Media Lab（麻省理工学院媒体实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种基于注视的多模态LLM助手，通过眼动追踪提升用户阅读行为评估的准确性与个性化，实验表明其能有效提升信息回忆能力并提高交互效率。

mmid: Multi-Modal Integration and Downstream analyses for healthcare analytics in Python

mmid：用于医疗分析的多模态整合与下游分析的Python工具

Andrea Mario Vergani, Valeria Iapaolo, Emanuele Di Angelantonio, Marco Masseroli, Francesca Ieva

专题命中 视频多模态 ：multi-modal(title,abstract)

AI总结 mmid是一个Python包，提供多模态融合、填补缺失数据、分类、时间到事件预测和聚类功能，用于结构化环境中整合顺序数据并进行下游分析。

Small Vision-Language Models are Smart Compressors for Long Video Understanding

小视觉-语言模型是长视频理解的智能压缩器

Junjie Fei, Jun Chen, Zechun Liu, Yunyang Xiong, Chong Zhou, Wei Wen, Junlin Han, Mingchen Zhuge, Saksham Suri, Qi Qian, Shuming Liu, Lemeng Wu, Raghuraman Krishnamoorthi, Vikas Chandra, Mohamed Elhoseiny, Chenchen Zhu

机构 * Meta AI ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出Tempo框架，利用小视觉-语言模型压缩长视频，通过自适应令牌分配实现高效压缩，实验显示其在极端长视频任务中表现优异。

Comments Project page and demo are available at https://FeiElysia.github.io/tempo-page/

STQuant: Spatio-Temporal Adaptive Framework for Optimizer Quantization in Large Multimodal Model Training

STQuant：一种用于大规模多模态模型训练中优化器量化的空间-时间自适应框架

Minglu Liu, Cunchen Hu, Liangliang Xu, Fengming Tang, Ruijia Wang, Fu Yu

机构 * Xidian University（西安电子科技大学） ； China Telecom Cloud Computing Research Institute（中国电信云计算研究院） 纠错

专题命中 视频多模态 ：multimodal(title)

AI总结 STQuant通过动态分配精度降低优化器状态内存，保持模型质量，实验显示内存减少84.4%，平均比特宽低至5.1。

UniversalVTG: A Universal and Lightweight Foundation Model for Video Temporal Grounding

UniversalVTG: 一种通用且轻量的视频时间定位基础模型

Joungbin An, Agrim Jain, Kristen Grauman

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出UniversalVTG，一种通用轻量视频时间定位模型，通过大规模跨数据集预训练实现高效长视频定位，优于专用模型且比大语言模型更轻量。

Comments Project Page: https://vision.cs.utexas.edu/projects/universalvtg

ESOM: Efficiently Understanding Streaming Video Anomalies with Open-world Dynamic Definitions

ESOM：基于开放世界动态定义的高效流视频异常理解

Zihao Liu, Xiaoyu Wu, Wenna Li, Jianqin Wu, Linlin Yang

机构 * State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学） 纠错

专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV

AI总结 本文提出ESOM模型，通过定义规范化、帧间匹配、混合流内存和概率评分模块，实现高效流视频异常检测，同时引入OpenDef-Bench基准测试，在单GPU上实现实时效率和先进性能。

CodecSight: Leveraging Video Codec Signals for Efficient Streaming VLM Inference

CodecSight: 利用视频编码信号实现高效的流式视频语言模型推理

Yulin Zou, Yan Chen, Wenyan Chen, JooYoung Park, Shivaraman Nitin, Luo Tao, Francisco Romero, Dmitrii Ustiugov

机构 * Beihang University（北京航空航天大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 CodecSight通过利用视频编码器内嵌的时空结构信息，实现流式视频分析的高效推理，提升吞吐量并减少GPU计算量，同时保持高精度。

Comments 18 pages, 34 figures

A Soft Robotic Interface for Chick-Robot Affective Interactions

一种柔软的机器人接口用于鸡-机器人情感互动

Jue Chen, Alexander Mielke, Kaspar Althoefer, Elisabetta Versace

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； School of Biological and Behavioural Sciences, Queen Mary University of London（伦敦玛丽女王大学生物与行为科学学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出了一种以动物为中心的柔软机器人情感接口，用于新生鸡的机器人情感互动研究，通过温度、呼吸样变形和面孔状视觉刺激等安全可控的提示，评估鸡对接口的接受度及与机器人互动。