多模态大模型

OpenRC: An Open-Source Robotic Colonoscopy Framework for Multimodal Data Acquisition and Autonomy Research

OpenRC：一种用于多模态数据采集和自主性研究的开源机器人结肠镜框架

Siddhartha Kapuria, Mohammad Rafiee Javazm, Naruhiko Ikoma, Joga Ivatury, Mohammad Ali Nasseri, Nassir Navab, Farshid Alambeigi

机构 * Walker Department of Mechanical Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校沃克机械工程系） ； Department of Surgical Oncology, Division of Surgery, The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心外科肿瘤学系） ； School of Medicine and Health, Technical University of Munich（慕尼黑工业大学医学与健康学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 OpenRC框架通过整合开源硬件和多模态数据集，为机器人结肠镜和手术自主性研究提供了可重复的基础，支持同时记录视频、操作指令、执行状态和末端位置，并验证了运动一致性和跨模态延迟。

Comments Abstract: Added repository and contribution statement

OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

OmniScientist：一种全模态全学科的AI科学家

Bobo Li, Hao Fei, Tianjie Ju, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出全模态AI科学家OmniScientist，通过端到端全模态流水线处理多学科异构原始证据，在36个真实案例中完成从原始数据到手稿的全流程，性能优于仅用预计算特征的系统，为通用AI科学家提供可行方案。

Comments 30 pages, 13 figures, 19 tables. Project page: https://omni-scientist.github.io/

NARU: A Benchmark for NARrative Evolution and Cultural Nuance Understanding in Japanese Extreme Long Video

NARU：用于理解日语超长视频中叙事演变与文化细微差别的基准

Yuheng Huang, Jianlang Chen, Jiayang Song, Hua Qi, Aza Kai, Vincent Markert, Edison Marrese-Taylor, Jianjun Zhao, Lei Ma

机构 * The University of Tokyo（东京大学） ； Kyushu University（九州大学） ； Macau University of Science and Technology（澳门科技大学） ； Infinimind Japan Inc.（Infinimind日本公司） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI、cs.MM

AI总结 该研究推出NARU基准，涵盖155个146.8小时日语视频的1481个问题，评估模型在长程叙事整合与文化推理上的局限，为MLLM开发提供测试平台。

Comments Yuheng Huang and Jianlang Chen contributed equally to this work. More details available on the project's website https://ma-labo.github.io/naru/ and https://infinimind.io/en/company/news/2026/narubench-release

A Hierarchical Energy-Based Model for Multimodal Cognition

面向多模态认知的分层能量基模型

Subir Varma

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究提出IM-LEPP多模态能量基模型，扩展单模态LEPP整合视觉与语言，能解释注意现象、复现心理语言学发现，还与Transformer模型形成可证伪对比并提出实验预测。

Comments 48 pages, 14 figures

Paths: Prompt-aware Spatio-temporal Transformer with Hierarchical Multi-modal Fusion for RGB-Event Video Person Re-Identification

Paths：面向RGB-Event视频行人重识别的感知提示的时空Transformer与分层多模态融合

Yakun Huo, Yingquan Wang, Yangyang Liu, Tianyu Yan, Yunzhi Zhuge, Pingping Zhang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 针对现有RE-VReID方法时空建模解耦、多模态融合不足的问题，提出含MAB、PST、HMF模块的Paths框架，在三个基准上验证了有效性。

Comments Accepted by ACM MM2026. More modifications may be performed

TennisVAR: A Stroke-Evidence-Grounded Multimodal Large Language Model for Tactical Reasoning in Tennis Videos

TennisVAR：一种基于击球证据的多模态大语言模型，用于网球视频中的战术推理

Yifan Mei, Qingling Shi, Changli Wu, Jiayuan Rao, Jiayi Ji, Liujuan Cao

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对网球视频理解的感知与理解差距，提出回合级战术推理任务，构建专家标注基准TRACE，开发基于证据的多模态大语言模型TennisVAR，实现网球视频的战术推理。

Comments Project Page: https://whynotgit2025.github.io/TennisVAR/

PolyPresentation: A Multimodal AI Platform for Slide-Aware Iterative Presentation Practice

PolyPresentation：一种面向幻灯片感知迭代演示练习的多模态AI平台

Chen Chen, Jihao Li, Zhiyuan Wen, Tianhui Zhang, Di Zou, Jiannong Cao

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 该研究针对现有AI演示排练工具缺乏幻灯片关联与迭代练习规划支持的问题，推出PolyPresentation多模态AI平台，经20次学术演示对比验证其能提供更优的演示改进支持。

DualEraser: Joint Video Object and Effect Removal via Balanced Text-Mask Guidance and Decoupled Locator-Preserver

GenEraser：通过平衡文本-掩码引导和解耦定位器-保持器实现可泛化的视频对象移除

Yuqing Chen, Lin Liu, Haisu Wu, Xiaopeng Zhang, Yaowei Wang, Yujiu Yang, Qi Tian

机构 * Tsinghua University（清华大学） ； Pengcheng National Laboratory（鹏城实验室） ； Huawei（华为） ； Southeast University（东南大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出GenEraser框架，通过多条件混合专家、可学习深度CFG融合机制和解耦专家架构，解决视频对象移除中目标与物理效应同时消除的泛化难题，在ROSE和VOR-Eval上分别提升2.16 dB和1.44 dB。

EgoMonth: A Month-Level Egocentric Video Benchmark for Long-Term Spatiotemporal Memory

EgoMonth：面向长期时空记忆的月级自我中心视频基准

Weitao Chen, Hu Jiaxin, Xie Tianyidan, Yang Li, Yuyi Qian, Banghao Xu, Ziheng Tang, Shenyi Wang, Mingyue Yu, Duo Li, Jiacheng Shi, Gao Wang, Zhan Xu, Zhicheng Qiu, Xuanfu Li, Jian Yang, Lanjun Wang, Zili Yi

机构 * Nanjing University（南京大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； Tianjin University（天津大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究人员推出首个月级自我中心视频基准EgoMonth，评估发现当前主流MLLMs的长期时空记忆能力远逊于人类，仅为有损总结器而非忠实记忆器。

Comments 21 pages, 4 figures, 6 tables, including appendices

RbFT-Net: Rectify-Before-Fuse Temporal Radar Anchors for 4D Radar-Camera Depth Completion

RbFT-Net：用于4D雷达-相机深度补全的融合前校正时间雷达锚点

Wentao Zhao, Shouxuan Wu, Yongtao Cen, Tianchen Deng, Yuyang Zhang, Jingchuan Wang

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出RbFT-Net框架，通过图像条件校正模块校正雷达锚点并选择性传播，解决雷达测量的稀疏与干扰问题，在相关数据集上的深度补全性能优于对比方法。

A Theory of Probabilistic Power Provisioning for Data Centers with Distributed Energy Storage

面向配备分布式储能的数据中心的概率功率供应理论

Can Emre Koksal, Richard A. Barry, Artun Sel

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 本文针对配备分布式储能的数据中心的电力供应问题，提出概率框架，划分两种运行模式并引入等效功率概念，经三类生产数据中心工作负载验证，为下一代AI数据中心提供规模设计原则。

Comments 26 pages, 7 figures, 5 tables

JEPA-WAM: Stage-Level Joint-Embedding Prediction for World-Action Models in Robot Manipulation

JEPA-WAM：机器人操作中世界-动作模型的阶段级联合嵌入预测

Xiao Liu, Yuguang Yang, Xi Wang, Kai Jiang, Cheng Chi, Yong Xu, Wenchao Ding, Yilun Chen, Yan Wang

专题命中 视频多模态 ：multimodal(abstract)

AI总结 该研究针对通用机器人策略未明确建模任务阶段级未来的问题，提出JEPA-WAM模型，在50个RoboTwin 2.0任务上实现90.25%的整体成功率，成功减少了平均执行步骤数。