多模态大模型

BusterX++: Towards Unified Cross-Modal AI-Generated Content Detection and Explanation with MLLM

BusterX++: 迈向基于MLLM的统一跨模态AI生成内容检测与解释

Haiquan Wen, Tianxiao Li, Zhenglin Huang, Yiwei He, Guangliang Cheng

机构 * University of Liverpool, UK（利物浦大学） 纠错

专题命中 视频多模态 ：MLLM(title,title_cn)；cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出统一多模态大模型BusterX++，通过纯强化学习策略实现图像与视频伪造检测的跨模态能力迁移，性能超越现有方法。

HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering

HiMu: 面向长视频问答的分层多模态帧选择

Dan Ben-Ami, Gabriele Serussi, Kobi Cohen, Chaim Baskin

机构 * INSIGHT Lab, Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学INSIGHT实验室，以色列） ； Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学，以色列） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)

AI总结 提出HiMu框架，通过文本LLM将查询分解为层次逻辑树，由视觉和音频专家处理原子谓词，经模糊逻辑算子组合生成连续帧满意度曲线，在16帧预算下达到帧选择方法的最优精度，并作为即插即用模块提升多种MLLM性能。

HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enhancement

HOMIE：通过多模态智能增强实现以人为对象的视频个性化

Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV

AI总结 研究以人为对象的视频个性化问题，提出HOMIE框架，统一处理主体间和主体内输入设置。通过更好的MLLM集成策略、自注意力中的全局多模态引导及模态参考嵌入，在多任务中达最优性能。

Comments 28 pages, 14 figures

Zero-shot 3D General Obstacle Detection via Multimodal Foundation Models and Geometry

通过多模态基础模型和几何进行零样本3D通用障碍物检测

Tamás Matuszka, Péter Hajas, Dávid Szeghy

机构 * aiMotive 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.CV

AI总结 针对自动驾驶中通用障碍物检测难题，提出结合多模态基础模型与几何推理的免训练零样本方法，能精准定位达100米，借基础模型先验提升召回率，还可实现可扩展自动标注。

Comments Accepted to CVPR 2026 AUTOPILOT Workshop

OmniGAIA: Towards Native Omni-Modal AI Agents

OmniGAIA：迈向原生全模态AI代理

Xiaoxi Li, Wenxiang Jiao, Jiarui Jin, Haoxuan Li, Hao Wang, Shijian Wang, Guanting Dong, Jiajie Jin, Yinuo Wang, Yuan Lu, Ji-Rong Wen, Zhicheng Dou, Zhouchen Lin

机构 * Renmin University of China（中国人民大学） ； Xiaohongshu Inc.（小红书公司） ； Peking University（北京大学） ； Southeast University（东南大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出OmniGAIA基准和OmniAtlas代理，通过全模态事件图和后见引导树探索策略，实现跨视频、音频和图像的深度推理与工具使用。

Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models

从视频中学习几何表示以实现空间智能多模态大语言模型

Haibo Wang, Lifu Huang

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出GeoVR框架，通过从2D视频序列中蒸馏3D几何知识（包括相机姿态、深度图、尺度因子和多尺度3D特征），重塑多模态大语言模型的内部表示以赋予其空间智能，在空间推理基准上达到最先进性能。

A Benchmark for Omni-Modal Reasoning in Long Videos

长视频全模态推理基准

Mohammed Irfan Kurpath, Jaseel Muhammad Kaithakkodan, Jinxing Zhou, Sahal Shaji Mullappilly, Mohammad Almansoori, Noor Ahsan, Beknur Kalmakhanbet, Sambal Shikhar, Rishabh Lalla, Jean Lahoud, Mariette Awad, Fahad Shahbaz Khan, Salman Khan, Rao Muhammad Anwer, Hisham Cholakkal

机构 * Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； American University of Beirut（贝鲁特美国大学） ； Linköping University（利尔贝里大学） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；MLLM(abstract_cn)；cross-modal(abstract)；分类 cs.CV

AI总结 提出LongShOTBench基准，用于评估长视频中视觉、语音和环境音频的全模态推理，并引入无训练的全模态证据搜索代理LongShOTAgent，在105个模型上取得最优性能。

LVSum: A Benchmark for Timestamp-Aware Long Video Summarization

LVSum：一个用于时间感知长视频摘要的基准测试

Alkesh Patel, Melis Ozyildirim, Ying-Chang Cheng, Ganesh Nagarajan

机构 * Apple（苹果公司） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LVSum基准测试，用于评估长视频摘要中时间对齐的性能，通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。

Comments 25 pages, 5 tables, 3 figures

Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs

无训练不确定性引导的复杂视觉任务多模态大语言模型

Sanghwan Kim, Rui Xiao, Stephan Alaniz, Yongqin Xian, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Helmholtz Munich（海德堡-慕尼黑亥姆霍兹研究中心） ； Google（谷歌） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工大学 LTCI 实验室） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出无需训练的框架，利用MLLM内在不确定性主动引导，通过响应不确定性评分候选视觉输入，使模型自主聚焦关键信息，在视觉搜索、长视频理解等任务中达到与微调系统相当的性能。

Place-it-R1: Unlocking Environment-aware Reasoning Potential of MLLM for Video Object Insertion

Place-it-R1: 解锁多模态大语言模型在视频物体插入中的环境感知推理潜力

Bohai Gu, Taiyi Wu, Dazhao Du, Jian Liu, Shuai Yang, Xiaotong Zhao, Alan Zhao, Song Guo

机构 * HKUST（香港科技大学） ； Tencent Video（腾讯视频） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 Place-it-R1通过多模态大语言模型的环境感知推理能力，实现物理一致的视频物体插入，提供两种模式以平衡保真度与合理性。

Comments https://nevsnev.github.io/Place-it-R1/

Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition

用于视频级矛盾心理和犹豫识别的交互流知识引导多模态推理

Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究视频级矛盾心理和犹豫识别难题，提出PRISM-AH框架，通过冻结编码器、轻量级流模型处理多模态冲突，经窗口级注释监督、知识引导大语言模型推理，在测试中取得较好宏观F1，验证推理增益可转移。

Comments 14 Pages, 1 Figure, Ambivalence/Hesitancy (AH) Video Recognition Challenge, ECCV 2026

Native Active Perception as Reasoning for Omni-Modal Understanding

原生主动感知作为全模态理解的推理

Zhenghao Xing, Ruiyang Xu, Yuxuan Wang, Jinzheng He, Ziyang Ma, Qize Yang, Yunfei Chu, Jin Xu, Junyang Lin, Chi-Wing Fu, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Qwen Team, Alibaba Group（阿里巴巴集团Qwen团队） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL

AI总结 提出OmniAgent，一种基于POMDP迭代观察-思考-行动循环的原生全模态智能体，通过主动感知将推理复杂度与视频时长解耦，在多个基准上达到开源模型最优性能。

Comments Accepted at ICML 2026. Code and models: https://github.com/harryhsing/omniagent

MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models

MorphoQuant: 面向全模态大语言模型的模态感知量化

Yue Wu, Changyuan Wang, Zixuan Wang, Shilin Ma, Yansong Tang

机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。

Med-CRAFT: An Information System for Explainable and Configurable Construction of Multimodal Medical QA Datasets

Med-CRAFT：通过知识图谱遍历自动构建可解释的多跳视频工作负载

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * Beijing Institute of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 Med-CRAFT通过知识图谱遍历自动构建可解释的多跳视频工作负载，生成具有细粒度时间选择性和多跳逻辑复杂性的医疗视频推理基准。

Comments 23 pages, 4 figures, 10 tables

Farm-LightSeek: An Edge-centric Multimodal Agricultural IoT Data Analytics Framework with Lightweight LLMs

Farm-LightSeek：一种以边缘为中心的多模态农业物联网数据分析框架，集成轻量级语言模型

Dawen Jiang, Zhishu Shen, Qiushi Zheng, Tiehua Zhang, Wei Xiang, Jiong Jin

机构 * School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） ； School of Engineering, Swinburne University of Technology（斯威本科技大学工程学院） ； School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉筹伯大学计算、工程与数学科学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对智能农业面临的挑战，提出Farm-LightSeek框架，将大语言模型与边缘计算集成。通过传感器收集多源数据，在边缘节点进行跨模态推理等。创新包括闭环架构等，实验表明该框架在关键任务中性能可靠，推动了智能实时农业及两者深度集成。

Comments Accepted by IEEE Internet of Things Magazine

Multimodal Ambivalence/Hesitancy Recognition in Videos for Personalized Digital Health Interventions

视频中矛盾/犹豫识别用于个性化数字健康干预

Manuela González-González, Soufiane Belharbi, Muhammad Osama Zeeshan, Masoumeh Sharafi, Muhammad Haseeb Aslam, Lorenzo Sia, Nicolas Richet, Marco Pedersoli, Alessandro Lameiras Koerich, Simon L Bacon, Eric Granger

机构 * LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada（ETS蒙特利尔大学系统工程系LIVIA实验室） ； LIVIA, Dept. of Software and IT Engineering, ETS Montreal, Canada（ETS蒙特利尔大学软件与信息工程系LIVIA实验室） ； Dept. of Health, Kinesiology, & Applied Physiology, Concordia University, Montreal, Canada（康科迪亚大学健康、运动科学与应用生理学系） ； Montreal Behavioural Medicine Centre, CIUSSS Nord-de-l’Ile-de-Montréal, Canada（蒙特利尔行为医学中心，蒙特利尔北岛卫生与社会服务局） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文研究了通过深度学习模型在视频中进行矛盾/犹豫识别，以提升数字健康干预的个性化和成本效益，实验基于新的BAH视频数据集，发现需改进多模态模型以准确识别矛盾/犹豫。

Comments 11 pages, 4 figures, ACII 2026. arXiv admin note: substantial text overlap with arXiv:2505.19328

MLCR: Multi-Level Cue Refinement for Long-Term Multimodal Action Quality Assessment

PIDNet: 逐步隐式解耦网络用于多模态动作质量评估

Qiqi Li, Pengfei Wang, Hongyu Chen, Nenggan Zheng

机构 * Qiushi Academy for Advanced Studies (QAAS), Zhejiang University（浙江大学启斯特先进研究院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Software Technology, Zhejiang University（浙江大学软件学院） ； State Key Lab of Brain-Machine Intelligence（脑机智能国家重点实验室） ； Collaborative Innovation Center for Artificial Intelligence by MOE and Zhejiang Provincial Government (ZJU)（教育部-浙江省人工智能协同创新中心） ； Zhejiang Lab（浙江实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出PIDNet，通过逐步整合多模态信息与全局质量语义，提升多模态动作质量评估的准确性。采用iMambaWave模块和三阶段融合网络，有效解耦模态特定信息并增强特征表示。

Comments 14 pages, 6 figures, 11 tables

A Physics-Informed, Behavior-Aware Digital Twin for Robust Multimodal Forecasting of Core Body Temperature in Precision Livestock Farming

一种物理知情、行为感知的数字孪生方法，用于精准畜牧业中核心体温的鲁棒多模态预测

Riasad Alvi, Mohaimenul Azam Khan Raiaan, Sadia Sultana Chowa, Arefin Ittesafun Abian, Reem E Mohamed, Md Rafiqul Islam, Yakub Sebastian, Sheikh Izzal Azid, Sami Azam

机构 * Applied Artificial Intelligence and Intelligent Systems (AAIINS) Laboratory（应用人工智能与智能系统实验室） ； Department of Computer Science and Engineering（计算机科学与工程系） ； Department of Data Science and Artificial Intelligence（数据科学与人工智能系） ； Department of Software Systems & Cybersecurity（软件系统与网络安全系） ； Energy and Resources Institute, Faculty of Science and Technology（能源与资源研究所，科学与技术学院） ； Faculty of Science and Technology（科学与技术学院） ； School of Engineering and Energy（工程与能源学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出物理知情数字孪生框架，结合不确定性感知的专家加权堆叠集成，利用ODE热调节模型、高斯过程、卡尔曼滤波和行为马尔可夫链，融合多模态数据实现奶牛核心体温的2小时提前预测，R²达0.783。

CoVEBench: Can Video Editing Models Handle Complex Instructions?

CoVEBench: 视频编辑模型能处理复杂指令吗？

Jiangtao Wu, Jiaming Wang, Yiwen He, Yuanxing Zhang, Shihao Li, Dunyuan Liu, Xuedong Zhao, Jialu Chen, Zekun Moore Wang, Jiaheng Liu

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 提出CoVEBench基准，包含416个源视频和626条多点编辑指令，通过MLLM评估指令遵循度和保真度，揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。

Comments 34 pages, 11 figures, 9 tables

OpenRC: An Open-Source Robotic Colonoscopy Framework for Multimodal Data Acquisition and Autonomy Research

OpenRC：一种用于多模态数据采集和自主性研究的开源机器人结肠镜框架

Siddhartha Kapuria, Mohammad Rafiee Javazm, Naruhiko Ikoma, Joga Ivatury, Mohammad Ali Nasseri, Nassir Navab, Farshid Alambeigi

机构 * Walker Department of Mechanical Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校沃克机械工程系） ； Department of Surgical Oncology, Division of Surgery, The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心外科肿瘤学系） ； School of Medicine and Health, Technical University of Munich（慕尼黑工业大学医学与健康学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 OpenRC框架通过整合开源硬件和多模态数据集，为机器人结肠镜和手术自主性研究提供了可重复的基础，支持同时记录视频、操作指令、执行状态和末端位置，并验证了运动一致性和跨模态延迟。

Comments Abstract: Added repository and contribution statement

MoCA: Multi-modal Cross-masked Autoencoder for Time Series in Digital Health

MoCA：用于数字健康测量的多模态交叉掩码自编码器

Howon Ryu, Yuliang Chen, Yacun Wang, Andrea Z. LaCroix, Chongzhi Di, Loki Natarajan, Yu Wang, Jingjing Zou

机构 * Herbert Wertheim School of Public Health and Human Longevity Science, University of California, San Diego, San Diego, CA, USA（赫伯特·韦瑟姆公共卫生与人类长寿科学学院，加州大学圣地亚哥分校） ； Halıcıoğlu Data Science Institute, University of California San Diego, San Diego, CA, USA（哈利奇奥卢数据科学研究所，加州大学圣地亚哥分校） ； Department of Computer Science and Engineering, University of California San Diego, San Diego, CA, USA（计算机科学与工程系，加州大学圣地亚哥分校） ； Division of Public Health Sciences, Fred Hutchinson Cancer Center, Seattle, WA, USA（公共卫生科学部，Fred Hutchinson癌症中心） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；cross-modal(abstract)

AI总结 提出MoCA自监督学习框架，结合Transformer与MAE，通过跨模态掩码提升多模态可穿戴数据的重构与分类性能，兼具理论保障，可处理缺失模态并应用于数字健康领域。

Sparse Evidence Can Suffice: Agentic Evidence Seeking for Multimodal Video Misinformation Detection

稀疏证据就足够了：用于多模态视频错误信息检测的智能证据搜索

Haochen Zhao, Yongxiu Xu, Xinkui Lin, Dong Xie, Jiarui Lu, Yuqi Qian, Yubin Wang, Hongbo Xu, Gaopeng Gou

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态视频错误信息检测，提出SIEVE框架，通过智能体探索多模态证据构建证据包，由验证器判断真实性。智能体经特殊训练，实验表明该框架性能优于基线，能提供可检查证据线索，提升检测透明度与可信度。

Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach

第十一届ABAW竞赛中的团队RAS：多模态矛盾情绪识别方法

Elena Ryumina, Maxim Markitantov, Alexandr Axyonov, Fedor Shchetinin, Timur Abdulkadirov, Dmitry Ryumin, Alexey Karpov

机构 * St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS)（俄罗斯科学院圣彼得堡联邦研究中心） ； HSE University（圣彼得堡高等经济学院） ； ITMO University（圣彼得堡国立信息技术机械与光学大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对第十一届ABAW竞赛的视频级矛盾情绪和犹豫情绪识别，提出以文本为中心的多模态方法，用文本残差融合模型结合多种特征，实验表明该方法能有效提高识别性能，无需大型模型集成。

Comments 10 pages, 2 figures

ReflectWorld-MM: An Entity-Oriented Multimodal Memory System for Open-Ended Video Streams

ReflectWorld-MM：一种面向实体的开放式视频流多媒体存储系统

Xiaokang Ma, Yifan Sun, Zhihong Jin, Jie Gu, Yudong Luo, Shenyi Shao, Chu Tang, Jingmin Chen, Li Pu

机构 * Rightly Robotics（Rightly机器人公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对开放式视频流存储问题，提出面向实体的多媒体存储系统ReflectWorld-MM，由感知前端、分层长期记忆和实际应用实现三部分构成，在六个相关基准测试中取得最佳准确率，优于其他模型。

From Content to Audience: A Multimodal Annotation Framework for Broadcast Television Analytics

从内容到受众：一种多模态注释框架用于广播电视分析

Paolo Cupini, Francesco Pierri

机构 * Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano, Italy（意大利米兰理工大学电子、信息与生物工程系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种多模态注释框架，用于广播电视内容分析，通过构建特定领域的基准测试，评估不同管道架构在广播新闻中的表现，展示了框架在受众分析中的应用价值。

AViS-Mamba: Adaptive Visual Steering of Audio State-Space Dynamics for Violence Detection

CoLoRSMamba：基于条件LoRA的Mamba用于监督多模态暴力检测

Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

机构 * Digital Environmental Research Institute（数字环境研究所） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CoLoRSMamba，通过CLS引导的条件LoRA将VideoMamba与AudioMamba耦合，实现场景感知的音频动态，提升多模态暴力检测性能。

REALM: An RGB- and Event-Aligned Latent Manifold for Cross-Modal Perception

REALM：一种RGB和事件对齐的潜在流形用于跨模态感知

Vincenzo Polizzi, David B. Lindell, Jonathan Kelly

机构 * University of Toronto, Robotics Institute（多伦多大学机器人研究所） ； University of Toronto, Department of Computer Science（多伦多大学计算机科学系） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 REALM通过将事件表示投影到预训练的RGB基础模型潜在空间，实现跨模态感知，利用LoRA技术解锁冻结RGB主干的几何和语义先验，实现零样本应用复杂解码器。

Comments Accepted to the European Conference on Computer Vision (ECCV), Malmö, SE, 2026

Can LLMs Reason About Attention? Towards Zero-Shot Analysis of Multimodal Classroom Behavior

LLMs能否进行注意力推理？多模态课堂行为的零样本分析

Nolan Platt, Sehrish Nizamani, Alp Tural, Elif Tural, Saad Nizamani, Andrew Katz, Yoonje Lee, Nada Basit

机构 * Virginia Tech（弗吉尼亚理工大学） ； University of Virginia（弗吉尼亚大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一个隐私保护的分析流程，利用OpenPose和Gaze-LLE提取学生注意力信息，并通过QwQ-32B-Reasoning进行零样本分析，探讨LLMs在多模态行为理解中的潜力与局限。

Comments 8 pages, 2 figures. Preprint

Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback

Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法

Derek Shi, Ruben Glatt, Christine Klymko, Shubham Mohole, Hongjun Choi, Shashank Kushwaha, Sam Sakla, Felipe Leno da Silva

机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。

Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)

Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026

Enhancing Video Representations with Spatiotemporal-Semantic Residual to Mitigate Hallucinations in Video Large Multimodal Models

增强视频表示中的时空语义残差以缓解视频大型多模态模型中的幻觉

Yuansheng Gao, Jinman Zhao, Tong Zhang, Xingguo Xu, Wenbin Xing, Han Bao, Zonghui Wang, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； University of Toronto（多伦多大学） ； Dalian University of Technology（大连理工大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出ViSSRes方法，通过轻量级MLP网络学习视频表示的残差，从时空和语义一致性优化，在推理时仅需单次前向传播，有效降低幻觉率并提升视频理解性能。

Comments Preprint