多模态大模型

Seeing the Scene Matters: Revealing Forgetting in Video Understanding Models with a Scene-Aware Long-Video Benchmark

看到场景才重要：通过场景感知的长视频基准揭示视频理解模型中的遗忘现象

Seng Nam Chen, Hao Chen, Chenglam Ho, Xinyu Mao, Jinping Wang, Yu Zhang, Chao Li

机构 * CUHK (SZ)（香港中文大学（深圳）） ； University of Cambridge（剑桥大学） ； UESTC（电子科技大学） ； CUHK（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SceneBench基准，揭示视频理解模型在长场景上下文中的遗忘问题，并提出Scene-RAG方法提升性能2.50%。

Comments Accepted to CVPR 2026 (Highlight)

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

Mimic Human Cognition, Master Multi-Image Reasoning: A Meta-Action Framework for Enhanced Visual Understanding

模仿人类认知，掌握多图像推理：增强视觉理解的元动作框架

Jianghao Yin, Qingbin Li, Kun Sun, Cheng Ding, Jie Wang, Qin Chen, Jie Zhou, Nan Wang, Changqing Li, Pei Wu, Jian Xu, Zheming Yang, Liang He

机构 * East China Normal University（华东师范大学） ； ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出受人类认知启发的元动作框架CINEMA，将多图像推理分解为五个结构化元动作，结合检索树采样和两阶段强化学习，在多个基准上超越GPT-4o。

Comments Accepted by CVPR 2026

SleepMaMi: A Universal Sleep Foundation Model for Integrating Macro- and Micro-structures

SleepMaMi：一种融合宏观与微观结构的通用睡眠基础模型

Keondo Park, Younghoon Na, Yourim Choi, Hyunwoo Ryu, Hyun-Woo Shin, Hyung-Sin Kim

机构 * Graduate School of Data Science, Seoul National University, Seoul, South Korea（首尔国立大学数据科学研究生院，韩国首尔） ； Department of Biomedical Sciences, Seoul National University College of Medicine, Seoul, Republic of Korea（首尔国立大学医学院生物医学科学系，韩国首尔） ； Obstructive Upper Airway Research (OUaR) Laboratory, Department of Pharmacology, Seoul National University College of Medicine, Seoul, Republic of Korea（首尔国立大学医学院药理学系阻塞性上气道研究（OUaR）实验室，韩国首尔） ； Department of Otorhinolaryngology-Head and Neck Surgery, Seoul National University Hospital, Seoul, Republic of Korea（首尔国立大学医院耳鼻喉头颈外科系，韩国首尔） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出SleepMaMi睡眠基础模型，通过分层双编码器设计（宏观编码器建模整夜时间依赖，微观编码器捕捉生物信号短时特征），结合人口统计引导对比学习和混合掩码自编码器训练，在超过2万条PSG记录上预训练，在下游任务中优于或匹配现有基础模型。

Comments 8 pages, Appendix 9 pages

Auteur: Language-Driven Cinematographic Framing for Human-Centric Video Generation

Auteur: 以语言驱动的电影化取景实现以人为中心的视频生成

Muhammed Burak Kizil, Enes Sanli, Niloy J. Mitra, Xuelin Chen, Erkut Erdem, Aykut Erdem, Duygu Ceylan

机构 * Koç University（科克大学） ； University College London（伦敦大学学院） ； Adobe（Adobe公司） ； Hacettepe University（哈切特佩大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Auteur方法，通过将相机运动参数化为以人为中心的取景（包括镜头尺寸、角度和构图），并利用领域特定语言（DSL）和微调的多模态大语言模型，实现语言驱动的电影化取景，在人类中心视频生成中优于现有方法。

Comments Project Page: https://cyberiada.github.io/Auteur/

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning

V-JEPA 2.1: 解锁视频自监督学习中的密集特征

Lorenzo Mur-Labadia, Matthew Muckley, Amir Bar, Mido Assran, Koustuv Sinha, Mike Rabbat, Yann LeCun, Nicolas Ballas, Adrien Bardes

机构 * FAIR at Meta（Meta的FAIR） ； Universidad de Zaragoza（萨拉戈萨大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出V-JEPA 2.1系列自监督模型，通过密集预测损失、深度自监督、多模态分词器和有效缩放，学习图像和视频的密集高质量视觉表示，在多个基准上取得最优性能。

Equivariant Flow Matching for Symmetry-Breaking Bifurcation Problems

等变流匹配用于对称破缺分岔问题

Fleur Hendriks, Ondřej Rokoš, Martin Doškář, Marc G. D. Geers, Vlado Menkovski

机构 * Department of Mechanical Engineering, Eindhoven University of Technology（埃因霍温理工大学机械工程系） ； DIFFER – Dutch Institute for Fundamental Energy Research（荷兰基础能源研究所） ； Faculty of Civil Engineering, Department of Mechanics, Czech Technical University in Prague（布拉格捷克技术大学土木工程学院力学系） ； Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对非线性动力系统中对称破缺导致的多稳态共存问题，提出等变流匹配方法，结合等变架构与最优传输耦合机制，准确捕捉多模态分布和对称破缺分岔，优于非概率和变分方法。

Comments 9 pages, 7 figures including appendices. Accepted to Machine Learning and the Physical Sciences Workshop, NeurIPS 2025 (https://ml4physicalsciences.github.io/2025/). Repository with corresponding code: https://github.com/FHendriks11/bifurcationML/. Video explanation: https://www.youtube.com/watch?v=wsL3h17KtjY

CoVR-R:Reason-Aware Composed Video Retrieval

CoVR-R: 推理感知的组合视频检索

Omkar Thawakar, Dmitry Demidov, Vaishnav Potlapalli, Sai Prasanna Teja Reddy Bogireddy, Viswanatha Reddy Gajjala, Alaa Mostafa Lasheen, Rao Muhammad Anwer, Fahad Khan

机构 * Mohamed bin Zayed University of AI（莫扎德·本·扎耶德人工智能大学） ； University of Chicago（芝加哥大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Linköping University（林奈大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种零样本推理优先方法，利用大型多模态模型推断编辑的因果和时序后效，并构建CoVR-Reason基准评估，在隐式效应子集上显著优于强基线。

Comments 9 Pages, 3 Figures

GenEyePose: Patient-Free, Knowledge-Based Saccadic Eye Movement Modeling for Digital Neurophysiologic Biomarker Development

GenEyePose：用于数字神经生理学生物标志物开发的无患者、基于知识的扫视眼动建模

Tianyu Lin, Jooyoung Ryu, Puvada Sreevarsha, Rahul Srinivasaragavan, Riya Satavlekar, Susan Kim, Nidhi Soley, Yujie Yan, Ishan Vatsaraj, Carl Harris, Aimon Rahman, Vishal Patel, Joseph Greenstein, Casey Taylor, Kemar E. Green

机构 * Whiting School of Engineering, Johns Hopkins University（约翰霍普金斯大学惠廷工程学院） ； Department of Neurology, Johns Hopkins Medicine（约翰霍普金斯医学院神经内科） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出首个全合成、无患者的多模态眼动生成流水线，用于泛化扫视分析；基于合成数据训练的深度学习分类器在真实临床数据上区分正常与异常扫视精度，AUROC达0.76。

OpenGlass: Ultra-Low-Power On-Device AI Eyewear with Event-based Vision

OpenGlass：用于设备上基于事件的手势识别的开源智能眼镜

Pietro Bonazzi, Julian Moosmann, Ahmet Celik, Philipp Mayer, Michele Magno

机构 * Department of Information Technology and Electrical Engineering, ETH Zürich（信息科技与电气工程系，瑞士联邦理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出开源智能眼镜平台OpenGlass，采用模块化设计、事件驱动电源管理和GAP9 RISC-V SoC，实现低功耗设备上ML，在LynX数据集上达到83.94%的跨主体手势识别准确率。

ChatHealthAI: Aligning Electronic Health Record Representations with Large Language Models for Grounded Clinical Reasoning

ChatHealthAI: 将电子健康记录表示与大语言模型对齐以实现基于临床的推理

Bo-Hong Wang, Baicheng Peng, Ruilin Wang, Jun Bai, Ziyang Song, Yue Li

机构 * School of Computer Science, McGill University（麦吉尔大学计算机科学系） ； Mila - Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出ChatHealthAI框架，通过任务感知重采样器将预训练的EHR基础模型的结构化表示与冻结的大语言模型语义空间对齐，实现可解释的临床推理并保持预测性能。

Comments Main paper with appendix, 13 pages

QuickLAP: Quick Language-Action Preference Learning for Semi-Autonomous Agents

QuickLAP: 为半自主代理快速语言-动作偏好学习

Jordan Abi Nader, David Lee, Nathaniel Dennler, Andreea Bobu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出QuickLAP，一种融合物理和语言反馈的贝叶斯框架，用于实时推断奖励函数，通过大规模语言模型提取奖励特征注意力掩码和偏好偏移，从而在半自主驾驶模拟器中将奖励学习误差降低70%，并通过用户研究验证其可理解性和协作性。

Proxy Reconstruction Pre-training for Ramp Flow Prediction at Highway Interchanges

高速公路立交匝道流量预测的代理重建预训练

Yongchao Li, Jun Chen, Zhuoxuan Li, Chao Gao, Yang Li, Chu Zhang, Changyin Dong

机构 * Southeast University（东南大学） ； Institute of Telecommunications and Information Sciences, China（中国电信与信息科学研究院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出时空解耦自编码器（STDAE），通过跨模态重建预训练从主线数据恢复匝道流量，结合GWNet等模型提升预测精度，在真实数据集上超越13个基线。

Comments Accepted at Applied Soft Computing Journal

Journal ref Applied Soft Computing Journal 200 (2026) 115462

StageWAM: Joint-Embedding Stage Prediction for World-Action Models in Robot Manipulation

JEPA-WAM：机器人操作中世界-动作模型的阶段级联合嵌入预测

Xiao Liu, Yuguang Yang, Xi Wang, Kai Jiang, Cheng Chi, Yong Xu, Wenchao Ding, Yilun Chen, Yan Wang

专题命中 视频多模态 ：multimodal(abstract)

AI总结 该研究针对通用机器人策略未明确建模任务阶段级未来的问题，提出JEPA-WAM模型，在50个RoboTwin 2.0任务上实现90.25%的整体成功率，成功减少了平均执行步骤数。

Robotic Manipulation is Vision-to-Geometry Mapping: Vision-Geometry Backbones over Language and Video Models

机器人操作是视觉到几何映射（f(v)→G）：超越语言和视频模型的视觉-几何骨干

Zijian Song, Qichang Li, Jiawei Zhou, Zhenlong Yuan, Tianshui Chen, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis（大数据分析与处理广东省重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） ； AMAP, Alibaba（阿里妈妈实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 视频多模态 ：image-text(abstract)

AI总结 本文提出基于视觉-几何骨干的机器人操作方法，通过直接利用预训练的3D表示生成动作，优于传统语言或视频模型，在精确操作和零样本泛化中表现更优。

Comments Accepted at ACM Multimedia 2026

Unordered Landmark Visual Navigation

无序地标视觉导航

Hao Ren, Junzhe Zhu, Yihan Li, Zetong Bi, Le Zheng, Zhi Li, Yiqing Yuan, Zhaoliang Wan, Dizhe Zhang, Lu Qi, Hui Cheng

专题命中 视频多模态 ：multimodal(abstract)

AI总结 针对无序图像导航的挑战，本文提出无需时间与里程计先验的ULVN框架，通过整合建图、定位与规划，在仿真和真实场景中性能优于现有最优方法。

Comments ECCV2026 Oral & Spotlight

Loom: Multi-Region Analysis of Spatial Transcriptomics with Local Neighborhoods and Global Trajectories

Loom：利用局部邻域和全局轨迹对空间转录组学进行多区域分析

Siyuan Zhao, Nafiul Nipu, Hossein Fathollahian, Olga Karginova, Hao Chen, Ameen Salahudeen, G. Elisabeta Marai

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 Loom是用于空间转录组学分析的视觉计算系统，利用新颖图形符号和计算框架，应对多模态整合挑战，经案例研究和可用性研究评估，有效支持细胞转变及时空表达动态发现。

Beyond Static Forecasting: Unleashing the Power of World Models for Mobile Traffic Extrapolation

超越静态预测：利用世界模型进行移动交通外推

Xiaoqian Qi, Haoye Chai, Yue Wang, Yong Li

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出MobiWM世界模型，用于移动网络中的移动交通外推，通过融合多模态环境上下文和编码动作，提升空间理解，实验表明其在所有评估场景中均取得最佳分布保真度。

Bumblebee: Interleaved Mixed-Layer Building Blocks for Large-Scale Recommendation Systems

大黄蜂：用于大规模推荐系统的交错混合层构建块

David Bauer, Cancan Zhang, Wenshun Liu, Xiaoyi Zhang, Weijia Liu, Wanli Ma, Yue Weng, Wei Li, Rui Li, Jing Qian, Huayu Li, Xiaoyi Liu, Linhong Zhu, Jerry Fu

专题命中 视频多模态 ：cross-modal(abstract)

AI总结 研究针对推荐系统发展的两条轨道缺乏交互的问题，提出大黄蜂架构，通过交错可堆叠块设计，结合多种技术，实现模态混合与信息丰富，经实验验证该方法优于基线模型，证明交错异构单元是有前途的推荐架构范式。

Feasibility of simultaneous EEG-fMRI at 0.55 T: Recording, Denoising, and Functional Mapping

0.55T下同时进行EEG-fMRI可行性的研究：记录、去噪与功能映射

Parsa Razmara, Takfarinas Medani, Majid Abbasi Sisara, Anand A. Joshi, Rui Chen, Woojae Jeong, Ye Tian, Krishna S. Nayak, Richard M. Leahy

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本研究证明在0.55T下同时进行EEG-fMRI的可行性，通过去噪和功能映射展示了多模态神经成像的潜力。

StateScribe: Towards Accessible Change Awareness Across Real-World Revisits

StateScribe: 向现实世界重访中的可访问性变化意识迈进

Ruei-Che Chang, Xirui Jiang, Rosiana Natalie, Hao Chen, Vlad Roznyatovskiy, Jianzhong Zhang, Kang G. Shin, Ke Sun, Anhong Guo

专题命中 视频多模态 ：multimodal(abstract)

AI总结 StateScribe通过双层记忆架构实现跨重访的现实变化感知，提高盲人和低视力用户对环境变化的认知能力，准确率达83.1%。

A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning

一种带有触觉反馈的视觉-触觉数据采集系统用于粗到细模仿学习

Yeseung Kim, Nayoung Oh, Jun Park, Teetat Thamronglak, Daehyung Park

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出一种视觉-触觉数据采集系统，生成时间结构丰富的接触密集演示，用于模仿学习。通过直接驱动夹具和触觉阵列，保留自然触觉反馈，结合实时注释，生成多模态数据集以支持粗到细学习算法。

Facade: High-Precision Insider Threat Detection Using Deep Contextual Anomaly Detection

Facade：使用深度上下文异常检测的高精度内部威胁检测

Alex Kantchelian, Casper Neo, Ryan Stevens, Hyungwon Kim, Zhaohao Fu, Sadegh Momeni, Birkett Huber, Cem Topcuoglu, Senaka Buthpitiya, Elie Bursztein, Yanis Pavlidis, Martin Cochran, Massimiliano Poletto

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 研究内部人员特权访问带来的威胁，提出Facade系统，通过考虑事件上下文、基于多模态模型及对比学习策略检测可疑事件，能高精度检测内部威胁且误报率极低，可用于大型企业环境。

PACE: Persona Adaptation through Conversational Elicitation in Human-Robot Interaction

PACE：通过人机交互中的对话启发实现角色适应

Peizhen Li, Longbing Cao, Megani Rajendran, Timothy Liu, Aik Beng Ng, Simon See

机构 * Macquarie University（麦考瑞大学） ； NVIDIA（英伟达） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 研究如何让类人机器人有可适应角色，提出PACE框架，通过用户问答动态生成角色，经提高结构化提示，经系统集成转化为行为，实证评估显示其对人机交互多方面有积极影响，为部署个性化等身份开辟途径。

Comments 8 pages, 5 figures

Boosted Enhanced Quantile Regression Neural Networks with Spatiotemporal Permutation Entropy for Complex System Prognostics

增强型分位数回归神经网络与时空排列熵用于复杂系统预测

David J Poland

机构 * University of Hertfordshire（赫特福德大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出一种基于时空排列熵分析与增强型分位数回归神经网络的新型框架，用于模式预测和系统预测。通过结合基于熵的复杂性度量与先进神经架构，实现多维系统复杂动态模式的理解，提升预测精度和不确定性量化能力。

Comments Preliminary version of a predictive maintenance framework using spiking neural networks and entropy-based analysis. To be expanded in future publications with hardware implementations and real-time drift detection modules. arXiv admin note: substantial text overlap with arXiv:2501.05087

Motubrain: An Advanced World Action Model for Robot Control

MotuBrain: 一种先进的世界动作模型用于机器人控制

Motubrain Team, Chendong Xiang, Fan Bao, Haitian Liu, Hengkai Tan, Hongzhe Bi, James Li, Jiabao Liu, Jingrui Pang, Kiro Jing, Louis Liu, Mengchen Cai, Rongxu Cui, Ruowen Zhao, Runqing Wang, Shuhe Huang, Yao Feng, Yinze Rong, Zeyuan Wang, Jun Zhu

机构 * MotuBrain Team（MotuBrain团队） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 MotuBrain提出一种统一的世界动作模型，结合视频和动作，支持多项任务，实现高效部署和高精度控制。

CoLA-Flow Policy: Temporally Coherent Imitation Learning via Continuous Latent Action Flow Matching for Robotic Manipulation

CoLA-Flow Policy: 通过连续潜在动作流匹配实现机器人操作的时序一致模仿学习

Wu Songwei, Jiang Zhiduo, Sun Wandong, Xie Guanghu, Zhao Rui, Liu Hong, Liu Yang

机构 * State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学） ； The University of Sydney（悉尼大学） ； Honor Device Co., Ltd.（荣耀设备有限公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出CoLA-Flow Policy，一种基于连续潜在动作空间的轨迹级模仿学习框架，通过学习显式的潜在空间流，解耦全局运动结构与低层控制噪声，从而实现平滑可靠的长时程执行，并结合几何感知点云条件和执行时多模态调节，提升现实环境的鲁棒性。

Comments 8 pages, 8 figures

Measuring Human Behavior Through Controlled Perturbations: A Framework for Behavioral System Identification

通过受控扰动测量人类行为：行为系统识别的框架

Pietro Cipresso

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出基于受控扰动的行为测量框架，通过动态系统视角重构测量问题，整合多模态数据与沉浸技术，推动从描述性模型向生成行为机制识别的发展。

Deep Learning Network-Temporal Models For Traffic Prediction

用于流量预测的深度学习网络-时间模型

Yufeng Xin, Ethan Fan

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 针对多元时间序列预测问题，提出拓扑感知学习框架，用图注意力模型捕捉相关性，评估微调大语言模型，引入聚类预处理，提升预测性能。

History-Conditioned Spatio-Temporal Visual Token Pruning for Efficient Vision-Language Navigation

基于历史条件的时空视觉令牌剪枝用于高效视觉-语言导航

Qitong Wang, Yijun Liang, Ming Li, Tianyi Zhou, Christopher Rasmussen

机构 * Department of Computer and Information Sciences at the University of Delaware（德克萨斯大学达勒姆分校计算机与信息科学系） ； University of Maryland’s Department of Computer Science（马里兰大学计算机科学系） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出一种无需训练的时空视觉令牌剪枝框架，通过空间令牌选择和时空压缩减少冗余计算，在保持导航精度的同时显著提升推理效率，并在真实机器人上验证了低延迟指令跟随导航。

Comments International Conference on Intelligent Robots and Systems (IROS) 2026

EasyUUV: An LLM-Enhanced Universal and Lightweight Sim-to-Real Reinforcement Learning Framework for UUV Attitude Control

EasyUUV：一种用于UUV姿态控制的LLM增强通用轻量级仿真到现实强化学习框架

Guanwen Xie, Jingzehua Xu, Jiwei Tang, Yubo Huang, Zixi Wang, Shuai Zhang, Dongfang Ma, Juntian Qu, Xiaofan Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Department of Mechanical Engineering, The University of Hong Kong（香港大学机械工程系） ； Department of Data and Systems Engineering, The University of Hong Kong（香港大学数据与系统工程系） ； School of Civil Engineering, Southwest Jiaotong University（西南交通大学土木工程学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； Department of Data Science, New Jersey Institute of Technology（新泽西理工学院数据科学系） ； Ocean College, Zhejiang University（浙江大学海洋学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出EasyUUV框架，结合并行强化学习与混合控制架构，并集成多模态大语言模型自适应调整参数，实现UUV姿态控制的鲁棒性和泛化性，经仿真与实船验证。

Comments 12 pages, 14 figures