多模态大模型

MERVIN: A Unified Framework for Multimodal Event Retrieval in Vietnamese News Videos

MERVIN：一种用于越南新闻视频多模态事件检索的统一框架

Anh-Tai Pham-Nguyen, Tung-Duong Le-Duc, Anh-Duy Le, Trung-Hieu Truong-Le

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本文提出MERVIN框架，整合关键帧、转录文本和视频摘要，通过Gemini 1.5 Flash提升转录质量，利用Perception Encoder提取视觉特征，并结合越南语言模型生成文本嵌入，实现高效的多模态事件检索。

Comments Accepted to SOICT 2025

Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning

Skyra：通过 grounded artifact reasoning 实现 AI 生成视频检测

Yifei Li, Wenzhao Zheng, Yanran Zhang, Runze Sun, Yu Zheng, Lei Chen, Jie Zhou, Jiwen Lu

机构 * Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出 Skyra，一种专门用于识别 AI 生成视频中人类可感知的视觉瑕疵的多模态大语言模型，通过这些瑕疵作为基础证据进行检测和解释，同时构建了首个大规模 AI 生成视频瑕疵数据集并提出两阶段训练策略。

Comments Camera Ready Version. Project Page: https://github.com/JoeLeelyf/Skyra

PhysBrain 1.0 Technical Report

PhysBrain 1.0 技术报告

Shijie Lian, Bin Yu, Xiaopeng Lin, Changti Wu, Hang Yuan, Xiaolin Hu, Zhaolong Shen, Yuzhuo Miao, Haishan Liu, Yuxuan Tian, Yukun Shi, Cong Huang, Kai Chen

机构 * PhysBrain Team（PhysBrain团队） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 PhysBrain 1.0 通过将大规模人类自体视频转化为结构化的物理常识监督，提升机器人适应能力，在多模态问答和具身控制基准测试中取得SOTA结果，尤其在SimplerEnv中表现突出。

Comments Project Page: https://phys-brain.github.io

Brain-OF: An Omnifunctional Foundation Model for fMRI, EEG and MEG

Brain-OF：一种适用于fMRI、EEG和MEG的多功能基础模型

Hanning Guo, Hanwen Bi, Farah Abdellatif, Andrei Galbenus, Jon. N. Shah, Abigail Morrison, Jürgen Dammers

机构 * INM-4, Forschungszentrum Jülich, Germany（Jülich 研究中心 INM-4 实验室，德国） ； Department of Computer Science（计算机科学系） ； Software Engineering, RWTH Aachen University, Germany（软件工程，亚琛工业大学，德国） ； INM-7, Forschungszentrum Jülich, Germany（Jülich 研究中心 INM-7 实验室，德国） ； Institute of Systems Neuroscience, Heinrich Heine University, Germany（系统神经科学研究所，海因里希·海涅大学，德国） ； Department of Neurology, RWTH Aachen University, Germany（神经病学系，亚琛工业大学，德国） ； JARA-BRAIN-Translational Medicine, Germany（JARA-BRAIN 转化医学，德国） ； INM–11, JARA, Forschungszentrum Jülich, Germany（JARA-INM-11 实验室，Jülich 研究中心，德国） ； IAS-6, Forschungszentrum Jülich, Germany（IAS-6 实验室，Jülich 研究中心，德国） ； Department of Psychiatry, Psychotherapy and Psychosomatics, RWTH Aachen University, Germany（精神病学、心理治疗和精神病理学系，亚琛工业大学，德国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 Brain-OF通过联合预训练fMRI、EEG和MEG数据，解决多模态数据语义异质性和分辨率差异问题，提升跨模态数据处理能力。

Minerva-Ego: Spatiotemporal Hints for Egocentric Video Understanding

Minerva-Ego：眼动视频理解的空间时间提示

Arsha Nagrani, Jasper Uijilings, Shyamal Buch, Tobias Weyand, Sudheendra Vijayanarasimhan, Bo Hu, Ramin Mehran, David A Ross, Cordelia Schmid

机构 * Google（谷歌） ； DeepMind（深度Mind） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Minerva-Ego基准，通过多步骤多模态问题和密集标注的时空推理轨迹评估眼动视频理解模型，发现提示'何时何地'显著提升性能。

Driving Through the Network: Performance and Workload Under Latency and Video Impairment

通过网络驾驶：延迟和视频失真下的性能与负载

Ines Trautmannsheimer, Ahmed Azab, Frank Diermeyer

机构 * Technical University of Munich, School of Engineering and Design, Institute of Automotive Technology and Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑工业大学，工程学院，汽车技术研究所，慕尼黑机器人与机器智能研究所（MIRMI）） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 研究通过驾驶模拟器探讨网络延迟和视频质量对驾驶员性能和负载的影响，发现延迟和带宽增加会提升操作负荷，但生理指标显示亚加性交互作用，而性能和眼动指标交互作用较小。

Comments Preprint of VEHITS 2026 : 12th International Conference on Vehicle Technology and Intelligent Transport Systems

Proposal-Guided Greedy Surrogate Refinement for PDE-Driven High-Dimensional Rare-Event Estimation

基于提案的贪心替代模型细化用于PDE驱动的高维稀有事件估计

Zhiwei Gao, George Karniadakis

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出一种替代模型辅助的自适应重要采样框架，通过局部细化替代模型提升高维稀有事件模拟的准确性，减少高保真评估次数。