多模态大模型

DualEraser: Joint Video Object and Effect Removal via Balanced Text-Mask Guidance and Decoupled Locator-Preserver

GenEraser：通过平衡文本-掩码引导和解耦定位器-保持器实现可泛化的视频对象移除

Yuqing Chen, Lin Liu, Haisu Wu, Xiaopeng Zhang, Yaowei Wang, Yujiu Yang, Qi Tian

机构 * Tsinghua University（清华大学） ； Pengcheng National Laboratory（鹏城实验室） ； Huawei（华为） ； Southeast University（东南大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出GenEraser框架，通过多条件混合专家、可学习深度CFG融合机制和解耦专家架构，解决视频对象移除中目标与物理效应同时消除的泛化难题，在ROSE和VOR-Eval上分别提升2.16 dB和1.44 dB。

FORGE: Frame Orthogonality in Relevance Geometry for Long-Form Video Understanding

FORGE：用于长视频理解的相关几何中的帧正交性

Ghazal Kaviani, Ghassan AlRegib

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Center for Signal and Information Processing (CSIP)（信号与信息处理中心 (CSIP)） ； School of Electrical and Computer Engineering（电气与计算机工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 研究长视频理解中推理时最大化查询相关信息问题，提出FORGE模型无关方法，通过在预训练嵌入空间引入查询条件几何统一相关性和多样性，实验证明该方法在关键帧选择和问答上有显著提升。

Comments Under Review

Hyper-FEOD: Sparse Hypergraph-Enhanced Frame-Event Object Detection with Fine-Grained MoE

稀疏超图增强的帧事件目标检测与细粒度MoE

Wei Bao, Yuehan Wang, Tianhang Zhou, Siqi Li

机构 * BNRist, THUIBCS, BLBCI, School of Software, Tsinghua University（清华大学软件学院，北京信息科学与技术国家研究中心，清华-英特尔先进移动计算中心，北京国家信息科学与技术实验室） ； State Key Laboratory of Heavy Oil Processing, China University of Petroleum (Beijing)（中国石油大学（北京）重质油国家重点实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出Hyper-FEOD框架，通过稀疏超图增强交叉模态融合和细粒度MoE增强模块，实现高效的多模态交互优化，提升动态环境下目标检测的准确率与效率。

Video = World + Event Stream

视频 = 世界 + 事件流

Lianghua Huang, Zhi-Fan Wu, Yupeng Shi, Wei Wang, Mengyang Feng, Cheng Yu, Chen Liang, Junjie He, Chen-Wei Xie, Yu Liu, Jingren Zhou, Ang Wang, Bang Zhang, Baole Ai, Chongyang Zhong, Jinwei Qi, Kai Zhu, Pandeng Li, Peng Zhang, Wenyuan Zhang, Xinhua Cheng, Yitong Huang, Yun Zheng, Yuxiang Bao, Yuzheng Wang, Zhiwei Lin, Zoubin Bi

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 研究提出Wan-Streamer v0.3，将视频视为世界加事件流，据此有通用预训练任务，应用于实时全双工视听交互，保留v0.2运行点，为实时下游任务提供能力。

Comments website: https://wan-streamer.com/v0.3/

Towards Temporal Compositional Reasoning in Long-Form Sports Videos

长期体育视频中的时间组成推理方法

Siyu Cao, Lu Zhang, Ruizhe Zeng, Zhi-yong Liu

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出SportsTime基准和CoTR方法，通过时间接地证据组成提升体育视频长期推理能力，优于现有多模态大语言模型。

EVA-Net: Subject-Independent EEG Motor Decoding with Video-Derived Motor Priors

EVA-Net: 基于视频衍生运动先验的跨被试脑电运动解码

Ziyuan Li, Yueru Sun, Yimeng Zhang

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出EVA-Net两阶段框架，利用动作视频作为语义先验，通过跨模态对比学习和对齐减少个体差异，实现跨被试脑电运动解码，在EEGMMI上取得8.66%的LOSO准确率提升。

MAVFusion: Efficient Infrared and Visible Video Fusion via Motion-Aware Sparse Interaction

MAVFusion: 基于运动感知稀疏交互的高效红外与可见光视频融合

Xilai Li, Weijun Jiang, Xiaosong Li, Yang Liu, Hongbin Wang, Tao Ye, Huafeng Li, Haishu Tan

机构 * Foshan University（佛山大学） ； Kunming University of Science and Technology（昆明理工大学） ； China University of Mining and Technology（中国矿业大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出MAVFusion端到端视频融合框架，通过运动感知稀疏交互机制，利用光流识别动态区域并分配跨模态注意力，对静态区域使用轻量弱交互模块，在保持时间一致性和细节的同时加速推理，达到14.16 FPS。

Comments Accepted at ECCV 2026

Symmetric Entropy-Constrained Video Coding for Machines

面向机器的对称熵约束视频编码

Yuxiao Sun, Meiqin Liu, Chao Yao, Qi Tang, Jian Jin, Weisi Lin, Frederic Dufaux, Yao Zhao

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.MM

AI总结 提出SEC-VCM框架，通过双向熵约束机制对称对齐视频编解码器与视觉骨干网络，保留语义并丢弃无关信息，结合语义-像素双路径融合提升机器视觉任务性能，在多项任务上显著优于H.266/VVC。

Comments Accepted by IEEE Transactions on Image Processing. This is the author's accepted manuscript (AAM)

Estimating Mutual Information between Time Series and Temporal Event Sequences Across Diverse Analysis Tasks

估计时间序列与时间事件序列在不同分析任务中的互信息

Haoji Hu, Huaqing Mao, Yijun Lin, Xiaowei Jia, Jinwei Zhou, Minoh Jeong, Yao-Yi Chiang

机构 * University of Minnesota - Twin Cities（明尼苏达大学-双城分校） ； University of Pittsburgh（匹兹堡大学） ； Inha University（Inha大学） 纠错

专题命中 视频多模态 ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一种非参数互信息估计器，直接度量连续时间序列与离散事件序列之间的依赖关系，无需数据转换或离散化，通过处理量化伪影和事件冗余实现鲁棒统一框架。

VisTR: Visualizations as Representations for Time-series Table Reasoning

VisTR：将可视化作为时间序列表推理的表示

Jianing Hao, Zhuowen Liang, Chunting Li, Yuyu Luo, Jie Li, Wei Zeng

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)

AI总结 针对时间序列表推理难题，VisTR框架以可视化核心，利用其连接数据与认知，通过多模态大语言模型对齐输入，集成机制处理大数据，实现交互式可视化，经评估和案例验证了其在时间序列推理任务中的有效性和适用性。

Comments 15 pages, 10 figures

Move-Then-Operate: Behavioral Phasing for Human-Like Robotic Manipulation

移动-然后-操作：用于类人机器人操作的行为相位

Haoming Xu, Lei Lei, Jie Gu, Chu Tang, Jingmin Chen, Ruiqi Wang

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China.（杭州高等研究院，中国科学院大学，中国杭州） ； University of Science and Technology of China, Hefei, China.（中国科学技术大学，中国合肥） ； School of Aritificial intelligence, Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing, China（人工智能学院，人工智能研究院，北京科技大学，中国北京） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)

AI总结 本文提出Move-Then-Operate框架，将机器人操作分为粗略移动和接触关键交互两个阶段，通过双专家策略提升操作精度与效率。

Comments 15 pages, 10 figures

InCoM: Intent-Driven Perception and Structured Coordination for Mobile Manipulation

InCoM：基于意图的感知与结构化协调用于移动操作

Jiahao Liu, Cui Wenbo, Zhongpu Xia, Yongliang Wang, Haoran Li, Dongbin Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； AnyverseDynamics 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)

AI总结 InCoM通过意图驱动的感知和结构化协调框架，解决移动操作中基座与机械臂动作耦合及感知注意力分配问题，提升任务成功率。

Let the Dynamics Flow: Stable Flow Matching Dynamical Systems

让动力学流动：稳定的流匹配动力系统

Rodrigo Pérez-Dattari, Francisco Leiva, Andrea Testa, Leonel Rozo, Javier Ruiz del Solar, Noémie Jaquier

机构 * Department of Robotics, Perception, and Learning, KTH Royal Institute of Technology（机器人、感知与学习系，皇家理工学院） ； Advanced Mining Technology Center (AMTC) and Department of Electrical Engineering, Universidad de Chile（先进采矿技术中心（AMTC）和电气工程系，智利大学） ； Bosch Center for Artificial Intelligence, Renningen, Germany（博世人工智能中心，德国Renningen） ； Italian Institute of Artificial Intelligence (AI4I), Turin, Italy（意大利人工智能研究所（AI4I），意大利都灵） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)

AI总结 提出稳定流匹配动力系统（SFMDS）框架，通过流匹配参数化动力系统并施加李雅普诺夫稳定性约束，实现稳定、可扩展、多模态的机器人运动生成。

Position: Reasoning After Perception Means Reasoning Without Vision

立场：感知之后推理意味着无视觉推理

Hongcheng Gao, Zihao Huang, Jingyi Tang, Lin Xu, Xinhao Li, Haoyang Li, Yue Liu, Minhua Lin, Xinlong Yang, Taihang Hu, Ge Wu, Balong Bi, Hongyu Chen, Olive Huang, Wentao Zhang

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） ； Zhongguancun Academy（中关村学院） ； Nanjing University（南京大学） ； Nankai University（南开大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文质疑多模态研究中语言推理能弥补视觉缺陷的假设，提出“感知-推理”范式导致视觉推理退化为文本空间推理，并通过图灵眼测试验证文本推理无法修复感知失败，主张转向感知内的推理。

EgoBrain: Synergizing Minds and Eyes For Human Action Understanding

EgoBrain：协同心智与视觉以实现人类行为理解

Nie Lin, Yansen Wang, Dongqi Han, Weibang Jiang, Jingyuan Li, Ryosuke Furuta, Yoichi Sato, Dongsheng Li

机构 * The University of Tokyo（东京大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究人员构建了全球首个同步脑电与第一人称视觉的大规模多模态数据集EgoBrain，开发多模态学习框架实现行为理解，跨参与者与环境验证达66.70%准确率，为脑机接口研究提供新范式。

Comments Accepted to ICLR 2026. Camera-ready version. Project page: https://lin-nie.github.io/EgoBrain/

MAC 2026: Advancing Micro-Action Analysis Towards Fine-Grained Understanding

MAC 2026：推动微动作分析迈向细粒度理解

Kun Li, Dan Guo, Jihao Gu, Pengyu Liu, Xiaobai Li, Haoyu Chen, Yanbin Hao, Guoying Zhao, Meng Wang

机构 * United Arab Emirates University（阿联酋大学） ； Hefei University of Technology（合肥工业大学） ； University College London（伦敦大学学院） ； Zhejiang University（浙江大学） ； University of Oulu（奥卢大学） ； CMVS, University of Oulu（奥卢大学计算机视觉与媒体研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文介绍第三届MAC 2026，以从识别到细粒度微动作理解为主题，扩大挑战范围，引入新任务并借助多模态大语言模型评估，总结了相关数据集、设置、结果等，还探讨了微动作分析未来方向及在视频理解中的作用。

Comments Challenge Summary Paper of the 3rd Micro-Action Analysis Grand Challenge (MAC 2026) at ACM Multimedia 2026

Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation

通过双阶段蒸馏实现无约束事件-图像特征匹配的无标签目标域适应

Zhonghua Yi, Hao Shi, Qi Jiang, Yufan Zhang, Kailun Yang, Kaiwei Wang

机构 * Zhejiang University（浙江大学） ； Hunan University（湖南大学） ； National University of Defense Technology（国防科技大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 研究针对无约束事件-图像特征匹配问题，提出双阶段训练范式，先进行无标签蒸馏预训练，再引入极线引导自蒸馏框架，在新的跨模态评估基准上实验，取得领先的姿态估计性能。

Comments Accepted to ACM MM 2026. The source code and benchmark will be made publicly available at https://github.com/ZhonghuaYi/nexus2-official

Detecting Knowledge Inconsistencies Across Text, Tables, and Knowledge Graphs

跨文本、表格和知识图谱检测知识不一致性

Fanfu Wei, Thibault Ehrhart, Raphaël Troncy

机构 * EURECOM（欧洲电信学院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 研究跨文本、表格和知识图谱的知识不一致性检测问题，提出\textsc{Kontrast}框架，通过文本到SPARQL和语言模型推理比较并分类不一致性，实验表明跨模态不一致性常见且有价值，为知识审计提供工具并建立基准。

I2VShield: An Efficient Proactive Defense Framework against DiT-based Image-to-Video Models

I2VShield：一种针对基于DiT的图像到视频模型的高效主动防御框架

Yimao Guo, Zuomin Qu, Wei Lu

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对I2V模型被滥用问题，提出I2VShield主动防御框架。其包含文本自适应扰动生成框架和非目标多模态注意力干扰攻击两部分。该方法在多数据集和模型上保护性能优，能破坏时空连贯性且降低计算成本。

Correcting Visual Blur Induced by Attention Distraction to Reduce Hallucinations: Algorithm and Theory

纠正注意力分散引起的视觉模糊以减少幻觉：算法与理论

Quanjiang Li, Zhiming Liu, Wei Luo, Tingjin Luo, Chenping Hou

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文揭示多模态大语言模型中的物体幻觉与类人注意力分散现象相关，并提出一种无需额外训练的注意力聚焦方法（AFIP）通过跨头注意力增强和动态历史注意力强化来纠正视觉模糊，从而减少幻觉。

Journal ref ICML2026

HST-HGN: Heterogeneous Spatial-Temporal Hypergraph Networks with Bidirectional State Space Models for Global Fatigue Assessment

HST-HGN：基于双向状态空间模型的异构空间-时间超图网络用于全局疲劳评估

Changdao Chen, Qinqiuhong Ye, Hao Chen, Jinyu Wang

机构 * School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HST-HGN，通过双向状态空间模型和异构空间-时间超图网络，有效建模长程时序依赖，实现对驾驶员疲劳的高效评估，兼顾判别力与计算效率，适用于实时车载边缘部署。

Comments 10 pages

HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales

HumanForge：一个具有多智能体伪造原理的以人类为中心的深度伪造视频基准

Wenbo Xu, Zhimin Chen, Xiaojie Liang, Hengrui Liu, Ziqi Sheng, Wei Lu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视频伪造给数字内容取证带来的挑战，引入HumanForge数据集，提出基于LangGraph的Gen2Anno多智能体管道构建并注释数据集，经测试展现了零样本泛化和细粒度推理的重大挑战，代码和数据集将公开。

Comments 18 pages, 8 figures

Point-Supervised Skeleton-Based Human Action Segmentation

基于点监督的骨架人类动作分割

Hongsong Wang, Yiqin Shen, Pengbo Yan, Jie Gui, Yang Zhang

机构 * Southeast University（东南大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种点监督框架，通过多模态骨架数据和新型原型相似性方法，实现了高效的基于骨架的人类动作分割，减少了注释工作量并提升了性能。

ComBodied Agents: a New Paradigm of Human-Centric Agentic AI

具身融合智能体：以人为中心的智能体人工智能新范式

Qianggang Ding, Xingyao Wang, Rui Feng, Zhibin Wang, Feixiang Yao, Kelong Mao, Hao Sun, Zhiyao Luo, Jiankai Tang, Lei Li, Jiadong Guo, Minheng Ni, Weicong Lin, Chenxi Yang, Hongxiang Gao, Zhenghua Chen, Yang Bai, Min Wu, Jun Cheng, Huazhu Fu, Dacheng Tao, Bang Liu

机构 * Université de Montréal（蒙特利尔大学） ； Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所） ； Institute of Advanced Intelligence and Computing (IAIC), A*STAR（新加坡科技研究局高级智能与计算研究所） ； Nanjing Medical University（南京医科大学） ； Nanjing University（南京大学） ； Renmin University of China（中国人民大学） ； University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Southern University of Science and Technology（南方科技大学） ； Southeast University（东南大学） ； University of Glasgow（格拉斯哥大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究提出以人为中心的 Combodied Agents 新范式，整合多类智能体能力形成闭环，聚焦人类状态轨迹建模，推动智能体 AI 从任务完成转向人类持续福祉。

Comments 38 pages, 6 figures, 10 tables

Towards foundation-style models for energy-frontier heterogeneous neutrino detectors via self-supervised pre-training

迈向能量前沿异质中微子探测器的风格化模型：通过自监督预训练

Saúl Alonso-Monsalve, Fabio Cufino, Umut Kose, Anna Mascellani, André Rubbia

机构 * IPA, ETH Zürich（瑞士苏黎世联邦理工学院IPA研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种稀疏ViT框架，通过自监督预训练学习异质探测器数据的可重用表示，提升中微子风味和charm夸克识别、动量回归和顶点重建性能。

Comments 18 pages, 6 figures

Generative Experiences for Digital Mental Health Interventions: Evidence from a Randomized Study

生成体验用于数字心理健康干预：来自随机研究的证据

Ananya Bhattacharjee, Michael Liut, Matthew Jörke, Diyi Yang, Emma Brunskill

机构 * Stanford University（斯坦福大学） ； University of Toronto Mississauga（多伦多大学滑铁卢分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出生成体验范式，通过动态构建干预体验提升数字心理健康干预效果，实验显示GUIDE在减压和用户体验方面显著优于基线对照。

Medical world models in healthcare: foundations, applications, and challenges for trustworthy clinical translation

医疗保健中的医学世界模型：可信临床翻译的基础、应用与挑战

Zhaoyan Chen, Zhongxiu Cong, Zhuanfeng Jin, Wanshu Fan, Dongsheng Zhou, Qi Ai, Haifan Gong, Congyu Liao, Xiaofeng Liu, Cong Wang

机构 * National and Local Joint Engineering Laboratory of Computer Aided Design, School of Software Engineering, Dalian University（大连大学软件工程学院计算机辅助设计国家地方联合工程实验室） ； Department of Radiology, Xinhua Hospital Affiliated to Dalian University（大连大学附属新华医院放射科） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of California, San Francisco（加州大学旧金山分校） ； Yale University（耶鲁大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 探讨医学世界模型在医疗保健中的应用，通过结构化综合定义其领域相关内容，围绕四种能力组织，涵盖多方面证据，虽有早期可行性证据，但受多种因素限制，临床翻译需多方面保障。

SVL: Empowering Spiking Neural Networks for Efficient 3D Open-World Understanding

SVL：基于脉冲的视觉-语言预训练用于高效的3D开放世界理解

Xuerui Qiu, Peixi Wu, Yaozhi Wen, Shaowei Gu, Yuqi Pan, Xinhao Luo, Bo XU, Guoqi Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院） ； Zhongguancun Academy（中关村学院） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SVL提出基于脉冲的视觉-语言预训练框架，通过多尺度三元组对齐和可重参数化的视觉-语言整合，提升SNN在3D开放世界理解中的性能，实现高效零样本3D分类和多模态问答。

Comments ICML 2026 Spotlight

mmSimPrior: Learning Simulation Priors for Data-Efficient and Generalizable Real-World Radar-based Human Motion Reconstruction

mmSimPrior：学习用于数据高效的真实世界可泛化雷达人体运动重建的模拟先验

Cheng Guo, Qiming Cao, Shengkai Xu, Haoyu Xie, Kaixiang Su, Pu Wang, Hongfei Xue

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对毫米波雷达人体运动重建中数据收集成本高及模拟训练模型迁移差的问题，提出mmSimPrior框架，将知识分解为先验，经多模态编码器等训练，构建数据集并设无重叠设置，实验证明其在降低MPJPE上有显著效果。

Comments 19 pages, 11 figures, including supplementary material. Project page: https://ch3ngguo.github.io/mmsimprior/

Ensemble Deep Learning Approaches for AI-Altered Video Detection

用于人工智能篡改视频检测的集成深度学习方法

Laiba Khan, Hung-Mao Wu, Wei Lin, Frank Bi, Yousef Abdelhadi, Joshua Jung

机构 * Department of Mathematical and Computational Sciences, University of Toronto Mississauga（多伦多大学密西沙加分校数学与计算科学系） ； Department of Mathematical and Computational Sciences, University of Toronto（多伦多大学数学与计算科学系） ； University of Toronto（多伦多大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对人工智能篡改视频检测难题，开发多模态深度伪造检测系统，结合音频视觉分析，用模型集成及均值平均、堆叠等策略组合分数，提升检测鲁棒性与性能，凸显对未见篡改泛化的挑战，平均准确率约70%。