多模态大模型

Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis

多模态喉镜视频分析用于辅助声带麻痹诊断

Yucong Zhang, Xin Zou, Jinshan Yang, Wenjun Chen, Juan Liu, Faya Liang, Ming Li

机构 * School of Computer Science（计算机科学学院） ； Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems（多模态智能系统苏州市重点实验室） ； Sun Yat-sen Memorial Hospital of Sun Yat-sen University（中山大学孙逸仙纪念医院） ； School of Artificial Intelligent（人工智能学院） ； Department of Otorhinolaryngology（耳鼻喉科部门） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 本文提出多模态喉镜视频分析系统，结合音频和视频数据自动提取关键片段，用于辅助诊断声带麻痹。

Comments Accepted by Computer Speech and Language

UniCast: A Unified Framework for Instance-Conditioned Multimodal Time-Series Forecasting

UniCast: 一个实例条件多模态时间序列预测的统一框架

Sehyuk Park, Soyeon Caren Han, Eduard Hovy

机构 * The Universito of Melbourne（墨尔本大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 UniCast通过实例条件提示和动态模态路由，实现多模态时间序列预测的统一框架，有效提升预测性能。

Aurora: Towards Universal Generative Multimodal Time Series Forecasting

Aurora：迈向通用生成多模态时间序列预测

Xingjian Wu, Jianxin Jin, Wanghui Qiu, Peng Chen, Yang Shu, Bin Yang, Chenjuan Guo

机构 * East China Normal University（东华师范大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 Aurora通过多模态输入和零样本推理，提升跨领域时间序列预测的泛化能力。

SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning

SAIL：基于相似性感知引导和跨字幕增强学习的弱监督密集视频字幕生成

Ye-Chan Kim, SeungJu Cha, Si-Woo Kim, Minju Jeon, Hyungee Kim, Dong-Jin Kim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SAIL通过跨模态对齐和大语言模型增强策略，提升弱监督密集视频字幕生成的准确性和语义感知能力。

Comments Accepted to CVPR 2026

Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence

Holi-Spatial: 将视频流转化为整体3D空间智能

Yuanyuan Gao, Hao Li, Yifei Liu, Xinhao Ji, Yuning Gong, Yuanjun Liao, Fangfu Liu, Manyuan Zhang, Yuchen Yang, Dan Xu, Xue Yang, Huaxi Huang, Hongjie Zhang, Ziwei Liu, Xiao Sun, Dingwen Zhang, Zhihang Zhong

机构 * Shanghai AI Lab（上海人工智能实验室） ； Northwestern Polytechnical University（西北工业大学） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Nanyang Technological University（南洋理工大学） ； Beihang University（北京航空航天大学） ； Sichuan University（四川大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Holi-Spatial通过自动化方法构建大规模多模态3D空间数据集，提升空间推理任务的模型性能。

Comments project page: https://visionary-laboratory.github.io/holi-spatial/

Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative

时间之流中的语言：将时间序列配对文本编织成统一的时间叙事

Zihao Li, Xiao Lin, Zhining Liu, Jiaru Zou, Ziwei Wu, Lecheng Zheng, Dongqi Fu, Yada Zhu, Hendrik Hamann, Hanghang Tong, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta ； IBM Research（IBM研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出TaTS框架，将时间序列配对文本作为辅助变量，提升多模态时间序列预测性能。

Comments ICLR 2026, 47 pages

HERO: Hierarchical Embedding-Refinement for Open-Vocabulary Temporal Sentence Grounding in Videos

HERO: 分层嵌入-细化用于视频中开放词汇时间句接地

Tingting Han, Xinsong Tao, Yufei Yin, Min Tan, Sicheng Zhao, Zhou Yu

机构 * Laboratory of Complex Systems Modeling and Simulation, School of Computer Science and Technology, Hangzhou Dianzi University（电子科技大学复杂系统建模与仿真实验室，计算机科学与技术学院） ； Zhejiang Key Laboratory of Space Information Sensing and Transmission, Hangzhou Dianzi University（浙江省空间信息感知与传输重点实验室，电子科技大学） ； Department of Psychological and Cognitive Sciences, Tsinghua University（清华大学心理与认知科学系） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 HERO提出一种分层嵌入-细化框架，用于视频中开放词汇时间句接地，通过多级语义建模和跨模态细化提升视频与语言的对齐能力。

CinemaWorld: Generative Augmented Reality with LLMs and 3D Scene Generation for Movie Augmentation

CinemaWorld: 基于 LLM 和 3D 场景生成的生成增强现实用于电影增强

Keiichi Ihara, DaeHo Lee, Manato Abe, Hye-Young Jo, Ryo Suzuki

专题命中 视频多模态 ：multimodal(abstract)

AI总结 CinemaWorld 利用 LLM 和 3D 场景生成技术，通过增强现实将电影内容与现实环境结合，提升观影沉浸感和娱乐性。

Comments 13 pages, 16 figures

Learning When to Look: On-Demand Keypoint-Video Fusion for Animal Behavior Analysis

学习何时观察：按需关键点-视频融合用于动物行为分析

Weihan Li, Jingyang Ke, Yule Wang, Chengrui Li, Anqi Wu

专题命中 视频多模态 ：multimodal(abstract)

AI总结 LookAgain通过按需视觉定位结合关键点与视频数据，实现高效且低计算成本的动物行为分析。

Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

Green-VLA: 通用机器人中的分阶段视觉-语言-动作模型

I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov

专题命中 视频多模态 ：multimodal(abstract)

AI总结 Green-VLA是一种面向真实环境的分阶段视觉-语言-动作模型，通过多阶段训练和强化学习对齐，提升机器人在多样化形态上的泛化能力和性能。

Comments 22 pages, 14 figures