多模态大模型

Modality-Aware Out-of-Distribution Detection for Multi-Modal Action Recognition

面向多模态动作识别的模态感知分布外检测

Lars Doorenbos, Duc Manh Vu, Serdar Ozsoy, Juergen Gall

机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一种后处理混合检测器，利用多模态与单模态预测关系及特征空间得分，在推理时显式考虑模态信息，提升多模态分布外检测性能。

Comments Accepted at ECCV '26

M^2C-EvDet: Multi-Domain Multi-Order Cross-Modal Knowledge Distillation for Event-based Object Detection

M^2C-EvDet：面向事件目标检测的多域多阶跨模态知识蒸馏

Wei Bao, Siqi Li, Shouan Pan, Yi Xie, Yue Gao

机构 * BNRist, THUIBCS, BLBCI, School of Software, Tsinghua University（清华大学软件学院、北京信息科学与技术国家研究中心、清华-英特尔先进计算与智能技术联合研究中心、北京国家区块链与物联网技术研究中心） ； Yangtze Delta Region Institute, Tsinghua University（清华大学长三角研究院） ； School of Economics and Management, Beijing Forestry University（北京林业大学经济管理学院） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出M^2C-EvDet框架，通过频率学习和超图计算，结合自适应频率解耦特征蒸馏和多阶关系蒸馏，缩小事件数据与帧数据在目标检测上的性能差距。

WorldOlympiad: Can Your World Model Survive a Triathlon?

WorldOlympiad：你的世界模型能经受铁人三项考验吗？

Yuke Zhao, Wangbo Zhao, Weijie Wang, Zeyu Zhang, Dakai An, Akide Liu, Yinghao Yu, Jiasheng Tang, Fan Wang, Wei Wang, Bohan Zhuang

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； The Hong Kong University of Science and Technology（香港科技大学） ； Monash University（莫纳什大学） ； TRE, Alibaba Group（阿里巴巴TRE） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出WorldOlympiad基准，从物理忠实性、几何一致性和交互保真度三个维度诊断视频世界模型，揭示现有模型在物理推理、3D一致性和长程交互方面的显著不足。

Comments Project Page: https://alibaba-damo-academy.github.io/WorldOlympiad/, Code: https://github.com/alibaba-damo-academy/WorldOlympiad

Event-Aligned Analysis of Multi-Rater Pain Assessments Using Continuous Wearable Physiology

使用连续可穿戴生理数据进行多评估者疼痛评估的事件对齐分析

Saba A. Farahani, Elahe Khatibi, Thomas D. Hughes, Ariana M. Nelson, Hung Cao, Amir M. Rahmani

机构 * University of California, Irvine（加州大学伊维奇分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出一种考虑评估者身份的事件对齐框架，将稀疏的疼痛评分转化为离散事件，并对齐连续可穿戴生理信号，揭示评估者间差异及生理模式依赖。

Comments 6 pages, 3 figures. Accepted at IEEE EMBC 2026 (Toronto, Canada, July 26-30, 2026)

CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning

CineCap: 基于时空锚点的结构化推理用于电影化视频描述

Xinyu Mao, Yuhui Zeng, Xiaokun Liu, Wenyu Qin, Meng Wang, Xin Tao, Pengfei Wan, Xiaohan Xing, Max Meng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Xiamen University（厦门大学） ； Kling Team, Kuaishou Technology（快手科技Kling团队） ； National University of Singapore（新加坡国立大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出CineCap框架，通过时空锚点结构化推理和强化学习（覆盖完整性、准确性和门控覆盖奖励）生成电影化视频描述，在CineCap Bench基准上达到新最优。

Comments 10 pages, 4 figures

ViTexQA: A Multi-Frame Temporal Perception Dataset for Video Text Question Answering

ViTexQA: 面向视频文本问答的多帧时序感知数据集

Zhentao Guo, Chen Duan, Tongkun Guan, Zining Wang, Kai Zhou, Pengfei Yan

机构 * Meituan（美团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出ViTexQA数据集和FrameThinker方法，通过跨帧文本融合的问答对和两阶段训练（CoT微调+时序强化学习），解决多帧时序文本感知难题，ROUGE-L提升6.3%。

Comments Accepted by ECCV2026

UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance

UniRED: 基于事件引导的统一RGB-D视频帧插值

Yinuo Zhang, Guangshun Wei, Yuanfeng Zhou, Yiran Shen

机构 * School of Software, Shandong University（山东大学软件学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出统一多模态框架UniRED，融合RGB外观、深度几何和事件时间线索，通过双向流估计与运动基细化实现高质量RGB-D视频帧插值，并构建RGB-D-Event数据集缓解数据稀缺。

Tri-Efficient Transfer Learning for Point Cloud Videos

点云视频的三效迁移学习

Yiding Sun, Dongxu Zhang, Jihua Zhu, Haozhe Cheng, Zhengqiao Li, Pengcheng Li, Chaowei Fang, Yonghao Dong, Lin Chen

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院） ； School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； SIGS, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出PoinTriE框架，通过伪运动轨迹合成、几何-运动对偶网络和时空侧网络，实现数据、参数和内存三方面高效的点云视频迁移学习，在动作识别和语义分割任务上取得新最优结果。

EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation

EchoFoley: 面向视频接地创意声音生成的事件中心层次化控制

Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu

机构 * ByteDance Intelligent Creation（字节跳动智能创作） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Merced（加州大学默塞德分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出EchoFoley任务，通过事件级局部控制和层次化语义控制实现视频接地声音生成，构建EchoFoley-6k基准并设计EchoVidia框架，在可控性和感知质量上分别提升40.7%和12.5%。

Comments CVPR-2026 Main Conference

MILE: A Mechanically Isomorphic Hand Exoskeleton and Visuotactile Robotic Hand for Data Collection in Dexterous Manipulation

MILE：一种用于灵巧操作的指尖视觉触觉传感的机械同构外骨骼数据采集系统

Jinda Du, Jieji Ren, Qiaojun Yu, Ningbin Zhang, Yu Deng, Xingyu Wei, Yufei Liu, Guoying Gu, Xiangyang Zhu

机构 * State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China（机械系统与振动国家重点实验室，上海交通大学机械工程学院，上海200240，中国） ； Shanghai Key Laboratory of Intelligent Robotics, Shanghai Jiao Tong University, Shanghai 200240, China（智能机器人上海重点实验室，上海交通大学，上海200240，中国） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） ； Humanoid Robot (Shanghai) Co., Ltd., Shanghai, China（上海人形机器人有限公司，上海，中国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对现有灵巧操作数据采集系统运动重定向不准确、效率低、缺乏高分辨率指尖触觉传感的问题，提出MILE系统，通过从人手到外骨骼再到机械手的机械同构设计，实现无重定向精确控制，并集成指尖视觉触觉模块，采集多模态数据集，显著提升遥操作成功率。

Comments 18 pages including supplementary material. Main manuscript and supplementary material included in this version

One Generator, Any Process: LLM-Conditioning for the LHC

一个生成器，任意过程：LHC的LLM条件生成

Henning Bahl, Tilman Plehn, Daniel Schiller, Thanush Sivagnanalingam

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 提出利用预训练LLM为自回归变压器提供描述性嵌入，通过连续参数、过程标签和费曼图的条件化方案，实现LHC事件生成网络的快速收敛、更优结果及对未见过程的泛化。

Comments 33 pages, 23 figures

Interpretable Material Spatial Intelligence for Discovery of Governing Microstructural Features

可解释的材料空间智能用于发现主导微观结构特征

Mathieu Calvat, Gregory Sparks, Dhruv Anjaria, Chris Bean, Haoren Wang, Paul Gradl, Timothy M. Smith, Allison M. Beese, Gabriel Demeneghi, Kenneth Vecchio, Morad Behandish, J. C. Stinville

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出材料空间智能（MSI）框架，通过多模态表示学习直接从空间观测数据中编码微观结构信息，实现性能预测、解释和优化，并识别主导力学行为的关键特征。

FiMMIA: scaling semantic perturbation-based membership inference across modalities

FiMMIA: 在多模态领域中扩展基于语义扰动的成员推断

Anton Emelyanov, Sergei Kudriashov, Alena Fenogenova

机构 * SberAI 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出FiMMIA框架，用于多模态大语言模型中的成员推断攻击，通过识别数据分布偏移和改进基线流程，提升对抗检测性能。

Comments System demo track paper for EACL 2026