arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-04-01 至 2026-04-01 共收录 12 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 视频多模态 12 篇

2603.28610 2026-04-01 cs.CV cs.AI cs.CL 85%

ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

ResAdapt:面向高效多模态推理的自适应分辨率

Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Ben Wang, Jun Zhao, Kun Xu, Kang Liu

专题命中 视频多模态 :multimodal(title,abstract);MLLM(abstract);分类 cs.CV、cs.CL、cs.AI

AI总结 ResAdapt通过自适应输入分辨率框架,在保持高空间分辨率的同时提升多模态推理效率,尤其在压缩条件下显著提升性能。

Comments work in progress

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.29252 2026-04-01 cs.CV cs.AI 81%

Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism

通过视觉记忆机制扩展多模态大语言模型的长视频理解

Tao Chen, Kun Zhang, Qiong Wu, Xiao Chen, Chao Chang, Xiaoshuai Sun, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(厦门大学多媒体可信感知与高效计算教育部重点实验室) National University of Defense Technology(国防科技大学)

专题命中 视频多模态 :multimodal(title,abstract);分类 cs.CV、cs.AI

AI总结 本文提出FlexMem方法,通过视觉记忆机制实现长视频理解,有效提升多模态大语言模型处理无限长视频的能力,实验显示其在单块3090 GPU上能处理超1000帧视频并优于现有方法。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.29903 2026-04-01 q-bio.NC eess.SP 78%

Multimodal Higher-Order Brain Networks: A Topological Signal Processing Perspective

多模态高阶脑网络:拓扑信号处理视角

Breno C. Bispo, Stefania Sardellitti, Juliano B. Lima, Fernando A. N. Santos

专题命中 视频多模态 :multimodal(title,abstract)

AI总结 本文提出基于拓扑信号处理的多模态框架,通过高阶拓扑域建模脑部,利用扩散MRI和静息态fMRI学习个体化脑细胞复合体,揭示高阶相互作用的拓扑特征及其与行为的关联。

Comments This paper has been sumbmitted to IEEE Transactions on Medical Imaging (TMI), March 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.29624 2026-04-01 cs.SE 78%

EcoScratch: Cost-Effective Multimodal Repair for Scratch Using Execution Feedback

EcoScratch: 低成本多模态修复用于刮痕使用执行反馈

Yuan Si, Ming Wang, Daming Li, Hanyuan Shi, Jialu Zhang

专题命中 视频多模态 :multimodal(title,abstract)

AI总结 EcoScratch通过轻量级运行时信号决定是否保持纯文本修复或升级到多模态提示,结合JSON补丁预算和验证努力,提升Scratch修复效率与效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.19146 2026-04-01 cs.CV cs.CL 62%

VIGiA: Instructional Video Guidance via Dialogue Reasoning and Retrieval

VIGiA:通过对话推理和检索进行教学视频指导

Diogo Glória-Silva, David Semedo, João Maglhães

机构 * NOVA LINCS, NOVA School of Science and Technology, Portugal(新大学信息学与计算机科学研究中心,新大学科技学院,葡萄牙)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV、cs.CL

AI总结 VIGiA是一种多模态对话模型,通过对话推理和检索处理复杂的教学视频行动计划,实现基于视觉输入和计划的对话理解,优于现有方法,在计划感知的VQA任务中达到90%以上准确率。

Comments Published at EACL 2026 Findings

Journal ref Findings of the Association for Computational Linguistics: EACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.29741 2026-04-01 cs.SI cs.AI cs.MA 57%

BotVerse: Real-Time Event-Driven Simulation of Social Agents

BotVerse: 基于事件驱动的实时社会代理高保真模拟

Edoardo Allegrini, Edoardo Di Paolo, Angelo Spognardi, Marinella Petrocchi

机构 * Computer Science Dept., Sapienza University of Rome(罗马大学计算机科学系)

专题命中 视频多模态 :multimodal(abstract);分类 cs.AI

AI总结 BotVerse通过LLM代理实现高保真社会模拟,提供安全实验环境用于红队测试和计算社会科学研究。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.29692 2026-04-01 cs.CV 57%

SkeletonContext: Skeleton-side Context Prompt Learning for Zero-Shot Skeleton-based Action Recognition

SkeletonContext:基于骨架的零样本动作识别中的骨架侧上下文提示学习

Ning Wang, Tieyue Wu, Naeha Sharif, Farid Boussaid, Guangming Zhu, Lin Mei, Mohammed Bennamoun, zhang liang

机构 * Xidian University(西安电子科技大学) University of Western Australia(西澳大利亚大学) Donghai Lab(东海实验室)

专题命中 视频多模态 :cross-modal(abstract);分类 cs.CV

AI总结 本文提出SkeletonContext框架,通过引入跨模态上下文提示模块和关键部位解耦模块,提升骨架动作识别中上下文信息的利用,实现零样本场景下的高精度动作区分。

Comments Accepted by CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.29664 2026-04-01 cs.CV 57%

CutClaw: Agentic Hours-Long Video Editing via Music Synchronization

CutClaw:通过音乐同步实现代理长时间视频编辑

Shifang Zhao, Yihan Hu, Ying Shan, Yunchao Wei, Xiaodong Cun

机构 * Beijing Jiaotong University(北京交通大学) GVC Lab, Great Bay University(大湾区大学GVC实验室) ARC Lab, Tencent(腾讯ARC实验室)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 本文提出CutClaw,一种多代理框架,利用多模态语言模型自动编辑长时间原始素材为有意义的短视频,通过音乐同步和视觉优化提升视频质量。

Comments Project Code: https://github.com/GVCLab/CutClaw

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.24176 2026-04-01 eess.IV cs.CV q-bio.NC 57%

Modeling Spatiotemporal Neural Frames for High Resolution Brain Dynamic

时空神经帧建模用于高分辨率脑动态研究

Wanying Qu, Jianxiong Gao, Wei Wang, Yanwei Fu

机构 * Fudan University(复旦大学) Southern University of Science and Technology(南方科技大学) Shanghai Innovation Institute(上海创新研究院)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 本文提出一种基于EEG条件的框架,用于高保真重建动态fMRI,通过引入空域中间帧重建解决采样不规则问题,提升时空连续性与应用性。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.14794 2026-04-01 cs.CV cs.LG 57%

Face-to-Face: A Video Dataset for Multi-Person Interaction Modeling

面对面:一个多人物交互建模的视频数据集

Ernie Chu, Vishal M. Patel

机构 * Johns Hopkins University(约翰霍普金斯大学)

专题命中 视频多模态 :audio-visual(abstract);分类 cs.CV

AI总结 本文提出F2F-JF数据集,用于研究多人物交互建模,通过半自动流程提取对齐的主持人和嘉宾轨迹,并展示基于该数据集的反应式数字虚拟形象任务,验证了扩散模型在跨人物视觉上下文中的表现。

Comments Project Page: https://face2face2026.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.05513 2026-04-01 cs.CV 57%

Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning

Know-Show:在时空 grounded 推理上评估视频语言模型的基准测试

Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

机构 * College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院) Institute of High-Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所) Centre for Frontier AI Research, Agency for Science, Technology and Research(新加坡科技研究局前沿人工智能研究中心)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 Know-Show基准测试评估视频语言模型在时空 grounded 推理能力,通过五个互补场景揭示现有模型与人类推理的差距,并提出GRAM方法提升模型的细粒度 grounded 推理能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.00524 2026-04-01 cs.CV 57%

Text-guided Fine-Grained Video Anomaly Understanding

基于文本引导的细粒度视频异常理解

Jihao Gu, Kun Li, He Wang, Kaan Akşit

机构 * University College London(伦敦大学学院) CVLab, College of Information Technology, United Arab Emirates University(阿联酋大学信息技术学院计算机视觉实验室)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 本文提出T-VAU框架,通过多模态推理提取细粒度视频异常证据,结合Anomaly Heatmap Decoder和Region-aware Anomaly Encoder提升异常检测与解释能力。

Comments Accepted by CVPR 2026 SVC Workshop

详情

展开后加载摘要…

URL PDF HTML 收藏