多模态大模型

MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding

MSJoE：联合进化多模态大语言模型与采样器以实现高效的长视频理解

Wenhui Tan, Xiaoyi Yu, Jiaze Li, Yijing Chen, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Tongji University（同济大学） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 MSJoE通过联合进化多模态大语言模型与轻量级采样器，提升长视频理解效率，实验表明其在多个基准测试中表现优异。

Comments Accepted by CVPR2026

Decoding the Hook: A Multimodal LLM Framework for Analyzing the Hooking Period of Video Ads

解码钩子：一种多模态大语言模型框架用于分析视频广告的钩子阶段

Kunpeng Zhang, Poppy Zhang, Shawndra Hill, Amel Awadelkarim

机构 * University of Marland, College Park（马里兰大学 College Park分校） ； Meta Platforms, Inc.（Meta平台公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 本研究提出一种多模态大语言模型框架，用于分析视频广告的钩子阶段，通过多策略采样和主题提炼提升广告初期效果分析的准确性与实用性。

Comments 11 pages, 5 figures, 3 tables

OSDaR-AR: Enhancing Railway Perception Datasets via Multi-modal Augmented Reality

OSDaR-AR: 通过多模态增强现实提升铁路感知数据集

Federico Nesti, Gianluca D'Amico, Mauro Marinoni, Giorgio Buttazzo

机构 * Department of Excellence in Robotics & AI, Scuola Superiore Sant’Anna（机器人与人工智能卓越部门，圣安娜高等学院） ； Simulatrix MV srl（Simulatrix MV公司） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出OSDaR-AR数据集，通过多模态增强现实技术整合逼真虚拟对象，提升铁路感知任务的数据质量与真实性。

WaterVideoQA: ASV-Centric Perception and Rule-Compliant Reasoning via Multi-Modal Agents

WaterVideoQA: 以ASV为中心的感知与符合规则的推理 via 多模态智能体

Runwei Guan, Shaofeng Liang, Ningwei Ouyang, Weichen Fei, Shanliang Yao, Wei Dai, Chenhao Ge, Penglei Sun, Xiaohui Zhu, Tao Huang, Ryan Wen Liu, Hui Xiong

机构 * Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）人工智能研究所） ； Hubei Key Laboratory of Inland Shipping Technology (Wuhan University of Technology)（湖北内河航运技术重点实验室（武汉理工大学）） ； School of Navigation, Wuhan University of Technology（武汉理工大学航海学院） ； School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学先进科技学院） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； School of Information Engineering, Yancheng Institute of Technology（盐城职业技术学院信息工程学院） ； School of Engineering, Stanford University（斯坦福大学工程学院） ； Centre for AI and Data Science Innovation and the School of Science and Engineering, James Cook University（詹姆斯库克大学人工智能与数据科学创新中心及科学与工程学院） 纠错

专题命中 视频多模态 ：multi-modal(title)；分类 cs.CV

AI总结 WaterVideoQA通过多模态智能体系统，实现ASV在复杂水域环境中的感知与规则合规推理，提升自主航行的安全性和精确性。

Comments 11 pages,8 figures

OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence

OneVision-Encoder: 编码对齐的稀疏性作为多模态智能的基础原则

Feilong Tang, Xiang An, Yunyao Yan, Yin Xie, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Chunyuan Li, Shikun Feng, Changrui Chen, Huajie Tan, Ming Hu, Manyuan Zhang, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng

机构 * Glint Lab（Glint实验室） ； AIM for Health Lab（健康人工智能实验室） ； MVP Lab（MVP实验室） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV

AI总结 OneVision-Encoder通过编码对齐的稀疏性原则，实现高效的多模态视觉理解。

The Trinity of Consistency as a Defining Principle for General World Models

一致性三元组作为一般世界模型的定义原则

Jingxuan Wei, Siyuan Li, Yuhang Xu, Zheng Sun, Junjie Jiang, Hexuan Jin, Caijun Jia, Honghao He, Xinglong Xu, Xi bai, Chang Yu, Yumou Liu, Junnan Zhu, Xuanhe Zhou, Jintao Chen, Xiaobin Hu, Shancheng Pang, Bihui Yu, Ran He, Zhen Lei, Stan Z. Li, Conghui He, Shuicheng Yan, Cheng Tan

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一致性三元组作为定义通用世界模型的原则，通过系统回顾多模态学习的演变，引入CoW-Bench基准测试，明确未来发展方向。

Comments 119 pages, 50 figures

No Labels, No Look-Ahead: Unsupervised Online Video Stabilization with Classical Priors

无标签、无前瞻：基于经典先验的无监督在线视频稳定化

Tao Liu, Gang Wan, Kan Ren, Shibo Wen

机构 * School of Electronic and Optical Engineering, Nanjing University of Science and Technology（南京理工大学电子与光学工程学院） ； College of Geoexploration Science and Technology, Jilin University（吉林大学地球探测科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种基于经典先验的无监督在线视频稳定化方法，通过多线程缓冲机制解决数据有限、可控性差和硬件效率低的问题，并在无人机夜间遥感等场景中取得优于现有方法的性能。

Comments CVPR2026

FactGuard: Agentic Video Misinformation Detection via Reinforcement Learning

FactGuard：通过强化学习进行代理视频虚假信息检测

Zehao Li, Hongwei Yu, Hao Jiang, Qiang Sheng, Yilong Xu, Baolong Bi, Yang Li, Zhenlong Yuan, Yujun Cai, Zhaoqi Wang

机构 * Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； University of Science and Technology Beijing（北京科技大学） ； The University of Queensland, Brisbane, Australia（昆士兰大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 FactGuard通过强化学习和代理框架，提升视频虚假信息检测的鲁棒性和泛化能力。

Versor: A Geometric Sequence Architecture

Versor：一种几何序列架构

Truong Minh Huy, Edward Hirst

机构 * Trương Minh Huy Independent Researcher（Trương Minh Huy 独立研究者） ； Instituto de Matemática, Estatística e Computação Científica University of Campinas (UNICAMP), Brazil（巴西坎皮纳斯大学数学、统计与科学计算研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 Versor通过共形几何代数实现结构泛化和高效任务处理，优于Transformer等基线模型。

Comments 19+28 pages, 5 figures

SignVLA: A Gloss-Free Vision-Language-Action Framework for Real-Time Sign Language-Guided Robotic Manipulation

SignVLA：一种无 gloss 的视觉-语言-动作框架，用于实时 sign language 引导的机器人操作

Xinyu Tan, Ningwei Bai, Harry Gardener, Zhengyang Zhong, Luoyu Zhang, Liuhaichen Yang, Zhekai Duan, Monkgogi Galeitsiwe, Zezhi Tang

机构 * Department of Computer Science, University College London (UCL)（计算机科学系，伦敦大学学院（UCL）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 SignVLA 提出了一种无 gloss 的视觉-语言-动作框架，用于实时手语引导的机器人操作，通过几何归一化、时间平滑和词汇精炼提升多模态交互的稳定性和可扩展性。

Comments 7 pages, 2 figures

Early Risk Stratification of Dosing Errors in Clinical Trials Using Machine Learning

利用机器学习进行临床试验中给药错误风险的早期风险分层

Félicien Hêche, Sohrab Ferdowsi, Anthony Yazdani, Sara Sansaloni-Pastor, Douglas Teodoro

机构 * Department of Radiology and Medical Informatics University of Geneva（放射学与医学信息学系，日内瓦大学） ； Actelion Pharmaceuticals Ltd（阿克泰隆制药有限公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出利用机器学习对临床试验中给药错误风险进行早期分层，通过融合结构化和非结构化数据，结合概率校准技术，实现可解释的风险评估。