多模态大模型

Matched Outcomes, Divergent Gaze: How Foveated MLLMs Search Compared to Humans

匹配结果，不同注视：中央凹多模态大语言模型（MLLM）的搜索方式与人类的对比

Mohamed Amine Kerkouri, Marouane Tliba, Aladine Chetouani, Ulas Bagci, Alessandro Bruno

机构 * F-initiatives（F计划） ； Université Sorbonne Paris Nord（巴黎北索邦大学） ； Northwestern University（西北大学） ； IULM university（IULM大学） 纠错

专题命中 视频多模态 ：MLLM(title_cn,summary_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究对比三款通用MLLM与人类在目标导向视觉搜索中的表现，发现模型在决策和目标获取上优于人类，但注视过程与人类不同，现有指标无法验证类人视觉，零样本模型不适用于过程层面问题。

Comments Paper accepted at 3rd HCV workshop at ECCV 2026. 12 pages main text, 16 pages supp

Zero-MELO: Test-Time Evidence Calibration with Multimodal LLMs for Zero-Shot Micro-Gesture Recognition

Zero-MELO：基于多模态大语言模型的测试时证据校准用于零样本微手势识别

Chengyan Wang, Hanliang Xie, Yueyi Yang, Haoyu Chen

机构 * University of Oulu（奥卢大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对多模态大语言模型在微手势识别中局部证据不足、分数偏差的瓶颈，提出Zero-MELO框架，结合树搜索、测试时校准与多线索融合，在iMiGUE和MA-52数据集上显著优于Qwen2.5-VL基线。

Comments Accepted by ACM MM 2026

CLARA: Clip-Level Multimodal Alignment with VLM-Derived Rationales for Hateful Video Detection

CLARA：基于VLM衍生理由的片段级多模态对齐用于仇恨视频检测

Yuchen Zhang, Shuang Dai, Zeyu Fu, Yunfei Long, Ravi Shekhar, Haralambos Mouratidis

机构 * Institute for Analytics and Data Science, University of Essex（埃塞克斯大学分析与数据科学研究所） ； University of Exeter（埃克塞特大学） ； Queen Mary University of London（伦敦大学玛丽皇后学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本研究提出CLARA框架，以片段级多模态对齐结合VLM衍生理由，在三个仇恨视频数据集上实现了优于现有最优方法的仇恨视频检测性能。

LUNG-KGMM: Knowledge-Guided Multimodal Learning for Lung Cancer Incidence Prediction

LUNG-KGMM：用于肺癌发病预测的知识引导多模态学习

Chunlei Yang, Shuyan Li, Zhong Cao

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出LUNG-KGMM知识引导多模态框架，整合多类数据与临床知识开展1-6年肺癌发病预测，经MIMIC及厦门队列验证，其性能优于现有方法且具备跨队列可迁移性。

Comments 22 pages, 4 figures, 7 tables, accepted by PRCV Oral

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

MME-VideoOCR：评估多模态大语言模型在视频场景中基于OCR的能力

Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yushuo Guan, Zhang Zhang, Liang Wang, Haoxuan Li, Zhouchen Lin, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang

机构 * Kling Team（Kling团队） ； PKU（北京大学） ； THU（清华大学） ； CASIA（中国科学院自动化研究所） ； CUHKSZ（香港科技大学） ； NTU（国立台湾大学） ； NJU（南京大学） ； XJTU（吉林大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文推出MME-VideoOCR视频OCR基准，评估18个最先进MLLMs的视频OCR能力，发现现有模型在需视频整体理解的任务中表现有限，最优模型准确率仅73.7%，明确了高分辨率输入等对视频OCR的重要性。

Comments Accepted by NeurIPS 2025

Evidence of Absence: Cross-Modal Abductive Risk Perception to Sustain World Models When Vision Fails

不存在的证据：当视觉失效时维持世界模型的跨模态溯因风险感知

Cong Xu, Ravi Sankar

机构 * University of South Florida（南佛罗里达大学） 纠错

专题命中 视频多模态 ：cross-modal(title)；分类 cs.CV

AI总结 该研究提出跨模态溯因风险感知方法，在视觉失效时通过声学线索维持世界模型，可提前1.7秒预警，虚警减少42%，校准良好，能在视觉退化下保持高危险感知度。

Comments 7 pages, 3 figures. Working draft prepared for journal submission

Beyond Visual CoT: Internalized Visual Thinking for Proactive Video Reasoning

超越视觉思维链：用于主动视频推理的内化视觉思维

Xiaoyu Zhu, Xinke Deng, Suresh Taddewadikar, Arnab Kumar Mondal, Zhongyu Jiang, Ian Fasel, Joerg Liebelt

机构 * Apple（苹果公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 该研究提出后训练框架IVT，在训练时内化视觉预测能力，推理时直接生成答案，相较Visual CoT性能相当或更优且延迟降低5倍以上，可实现更高效准确的主动视频推理。

EEG2MOTION: Towards Open-Vocabulary Human Motion Synthesis from Non-invasive Brain Signals

EEG2MOTION：面向基于无创脑信号的开放词汇人体动作合成

Yulong Peng, Yijian Pan, Yuqi Yang, Nenggan Zheng, Weidong Chen, Xiaoling Hu, Shaomin Zhang

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)

AI总结 研究人员推出首个EEG-动作-文本数据集EEG2MOTION，提出EEG条件掩码动作模型EMMM，实现从无创脑信号生成多样连贯的全身体人体动作，为生成式开放词汇运动BCI开辟新方向。

Deep Thought Alignment: Trajectory-Level Latent Distillation for Video Reasoning

深度思维对齐：面向视频推理的轨迹级潜在知识蒸馏

Ao Shen, Yongheng Zhang, Yinghui Li, Manning Wang, Di Yin, Xing Sun

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对视频推理LMMs的高计算成本问题，提出Latent-OPD方法，通过轨迹级潜在知识蒸馏与渐进式教师前瞻策略提升轻量模型性能，在6个基准上优于仅输出监督的OPD。

MobileMem: Learning from a Year of Mobile Experiences

MobileMem：从一年的移动体验中学习

Xinle Deng, Yida Xue, Xiangyuan Ru, Yijun Chen, Buqiang Xu, Mingjun Mao, Xinjie Liu, Haoming Xu, Shuofei Qiao, Mengru Wang, Chen Jiang, Yuchen Eleanor Jiang, Lizhong Wang, Jason Wang, Li Zeng, Haofen Wang, Guilin Qi, Huajun Chen, Ningyu Zhang

机构 * OPPO ； OpenKG 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 该研究推出MobileMem基准与框架，基于一年移动体验构建，用于设备端长期记忆研究，支持多类推理，推动智能体从信息检索向体验智能发展。

Comments Technical Report; Project Page: this http URL (http://mobilemem.openkg.cn/)

VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding

VideoGAIA：面向通用人工智能助手的智能体视频理解基准

Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Tongji University（同济大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 VideoGAIA是面向通用AI助手的智能体视频理解基准，构建多轮工具增强交互任务，现有MLLMs在其上准确率不足60%，可评估下一代模型并推动相关转型。

Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models

追踪真相：面向视频大语言模型的物体感知时空监控

Tri Cao, Khoi Le, Thong Nguyen, Cong-Duy Nguyen, Quynh Vo, Anh Tuan Luu, Chunyan Miao, See-Kiong Ng, Shuicheng Yan, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） ； VinUniversity（文大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出STEMO-Bench基准测试，通过分解查询验证时空监控能力，改进视频大语言模型的时空推理一致性。

Comments The authors are withdrawing this manuscript due to errors identified in the experimental evaluation and result aggregation, which affect several reported quantitative results and some conclusions. These issues require substantial re-evaluation of the experiments and analysis

Lost in Adaptation: Layer-Selective Recovery of Temporal Reasoning in Video-Language Models

层次间推理：通过层选择性融合恢复视频-语言模型中的时间推理

Zihang Fu, Haonan Wang, Jian Kang, Kenji Kawaguchi, Jiaying Wu

机构 * National University of Singapore（新加坡国立大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出MERIT框架，通过层选择性融合提升视频-语言模型的时间推理能力，同时保持时间感知能力，优于全模型融合和随机层选择。

Unlocking Motion in Expressions: Temporal Calibration for Referring Video Object Segmentation

解锁表达中的运动：用于指称视频目标分割的时间校准

Yiwen Jiang, Zhengtong Zhu, Ruixin Zhang, Jiaqing Fan

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对指称视频目标分割中运动语义依赖未显式建模的问题，提出EMC框架，通过MSP、MIC、STSC模块校准运动线索，在6个基准上验证了方法的优越性。

Comments Accept by ACM MM2026

What You Ask is What You Ground: Bridging Question Intent to Temporal Evidence for Grounded VideoQA

你所问即你所定位：连接问题意图与时序证据以实现定位视频问答

Jinhwan Seo, Kyubeom Han, Jumin Lee, Junhyug Noh, Sung-eui Yoon

机构 * KAIST（韩国科学技术院） ； Ewha Womans University（梨花女子大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对定位视频问答中问题不变定位的失效模式，提出GroundFormer模型，通过可学习通信令牌、因子化MIL交叉注意力等技术，在NExT-GQA和STAR数据集上实现最优性能，提升时序定位的问题区分性。

Comments Accepted at ECCV2026. Code: this https URL (https://github.com/jinhseo/GroundFormer). Project page: this https URL (https://jinhseo.github.io/groundformer/groundformer.html)

MM-BEV: Enhancing Timeliness by Computing Where and When it Matters

MM-BEV：通过计算关键的位置与时刻提升时效性

Liangkai Liu, Kang G. Shin

机构 * Texas Tech University（德克萨斯理工大学） ； University of Michigan（密歇根大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 MM-BEV是一种遵循「计算关键位置与时刻」的实时多模态BEV系统，通过四种机制优化，在nuScenes数据集和Clearpath Husky A300平台上显著降低延迟，且性能损失极小。

Comments 12 pages, 20 figures

Boundary-Aligned Contribution Routing for Robust Optical--SAR Object Detection

用于稳健光学-SAR目标检测的边界对齐贡献路由

Haifa Zhang, Yijing Wang, Haoyu Wang, Zheng Li, Zhiqiang Zuo

机构 * Tianjin University（天津大学） ； School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对光学-SAR融合目标检测中的负跨模态迁移问题，提出边界对齐贡献路由方法，在M4-SAR和SpaceNet6-OTD实验中提升了检测性能并降低了负迁移率。

PersonaDrive: Controllable Trajectory Prediction with Multi-Dimensional Driving Personas

PersonaDrive：基于多维驾驶 personas 的可控轨迹预测

Chan Lee, Kimin Yun, Yuseok Bae, Seong Tae Kim, Jung Uk Kim

机构 * Kyung Hee University（庆熙大学） ； ETRI（韩国电子通信研究院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对现有轨迹预测方法可控性不足的问题，提出 PCT 数据集与 PersonaDrive 框架，通过多轴设计实现可控轨迹生成，性能优于基线。

Comments Accepted to ECCV 2026

Why Vision Fails as a Universal Bridge: Rectifying Modality Asynchrony in Multilingual MLLMs

为何视觉无法作为通用桥梁：修正多语言多模态大语言模型（MLLMs）中的模态异步性

Yihang Du, Juhao Liang, Zhengzhao Lai, Siyu Li, Yan Hu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； National Health Data Institute (Shenzhen)（国家健康数据研究院（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 针对多语言MLLMs在非英语视觉推理中的性能下降问题，该研究发现其源于“幽灵锚点”模态异步性，提出ANCHOR训练框架，经实验验证可提升跨语言视觉推理性能。

MEDR: Query-Independent Frame Selection via Multi-Signal Event Modeling and Dynamic Rescoring

MEDR：基于多信号事件建模与动态重评分的查询无关帧选择

Xinlei Pu, Weijie Shi, Wen Yang, Yi Cao, Hao Chen, Yuanjun Liu, Wenwei Ding, Jia Zhu, Jiajie Xu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究提出无需训练的MEDR帧选择方法，通过多信号事件建模与动态重评分实现查询无关，在Video-MME等基准上提升了多模态大语言模型的长视频处理准确率，且帧集可跨问题复用。

Comments 9 pages, 2 figures, 3 tables

From Dense Prediction to Visual Editing: Structured Supervision for Unified Image and Video Creation

从密集预测到视觉编辑：用于统一图像与视频创作的结构化监督

Zhefan Rao, Bin Zou, Haoxuan Che, Xuanhua He, Chong Hou Choi, Yanheng Li, Rui Liu, Qifeng Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Celia Research HK ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究提出基于深度与表面法向量预测的结构化视觉监督框架，共享MMDiT主干实现统一图像视频创作，提升了相关基准任务分数，证明密集监督对下游创作的结构知识迁移价值。

Learning Versatile Humanoid Manipulation with Touch Dreaming

通过触觉梦想学习多功能人形操作

Yaru Niu, Zhenlong Fang, Binghong Chen, Shuai Zhou, Revanth Krishna Senthilkumaran, Hao Zhang, Bingqing Chen, Chen Qiu, H. Eric Tseng, Jonathan Francis, Ding Zhao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； UT Arlington（UT阿灵顿） ； Bosch Center for AI（博世人工智能中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出HTD模型，结合触觉、视觉和本体感觉，通过触觉梦想增强学习实现高灵活性的人形操作，实验证明在五个真实任务中成功率提升显著。

A novel method for analysis of transient morphological changes in quasiperiodic physiological signals and their neurogenic correlates

一种用于分析准周期生理信号瞬态形态变化及其神经源性关联的新方法

Tomasz Gradowski, Damian Waląg, Tomir Domański, Teodor Buchner

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出了一种新的可视化方法，用于分析准周期生理信号的瞬态形态变化及其神经源性关联，通过二维地毯图同时评估心跳节律和信号特征。

Comments 31 pages, 7 figures