多模态大模型

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

Watch, Remember, Reason: 基于多模态大语言模型的人类视角视频理解

Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang

机构 * School of Intelligence Science and Technology, Peking University（北京理工大学智能科学与技术学院） ； Wuhan University（武汉大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； CASIA（中国科学院自动化研究所） ； University of Tokyo（东京大学） ； University of Liverpool（利物浦大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； UC Merced（加州大学默塞德分校） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出人类视角下视频理解的三个功能能力（观看、记忆、推理），构建统一框架分析视频MLLM的感知、记忆、推理和预测，并总结挑战、方法、应用及未来方向。

MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models

MorphoQuant: 面向全模态大语言模型的模态感知量化

Yue Wu, Changyuan Wang, Zixuan Wang, Shilin Ma, Yansong Tang

机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。

EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation

EgoPressDiff: 用于自我中心UV域手部压力估计的多模态视频扩散模型

Yuan Zeng, Zilue Gao, Yujia Shi, Zongqing Lu, Wenming Yang, QingMin Liao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出EgoPressDiff，一种条件视频扩散框架，通过多模态条件策略（手部姿态、3D网格顶点和深度信息）从视觉输入生成UV压力图，解决了现有方法中的量化误差和时间不一致问题，在EgoPressure数据集上实现SOTA，Volumetric IoU相对提升34%以上。

Comments Accepted to IEEE ICASSP 2026

Enhancing Video Representations with Spatiotemporal-Semantic Residual to Mitigate Hallucinations in Video Large Multimodal Models

增强视频表示中的时空语义残差以缓解视频大型多模态模型中的幻觉

Yuansheng Gao, Jinman Zhao, Tong Zhang, Xingguo Xu, Wenbin Xing, Han Bao, Zonghui Wang, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； University of Toronto（多伦多大学） ； Dalian University of Technology（大连理工大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出ViSSRes方法，通过轻量级MLP网络学习视频表示的残差，从时空和语义一致性优化，在推理时仅需单次前向传播，有效降低幻觉率并提升视频理解性能。

Comments Preprint

Probing Multimodal Large Language Models on Cognitive Biases in Chinese Short-Video Misinformation

探究多模态大语言模型在中国短视频虚假信息中的认知偏差

Jen-tse Huang, Chang Chen, Shiyang Lai, Wenxuan Wang, Michelle R. Kaufman, Mark Dredze

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Chicago（芝加哥大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文通过200个短视频数据集评估8种多模态大语言模型在健康领域虚假信息中的表现，发现Gemini-2.5-Pro表现最佳（信念分数71.5/100），而模型易受权威频道ID等社会线索影响。

Comments Accepted to ACL 2026 (Findings)

Dreaming when Necessary: Advancing World Action Models with Adaptive Multi-Modal Reasoning

必要时做梦：通过自适应多模态推理推进世界行动模型

Yinzhou Tang, Jingbo Xu, Yu Shang, Zihao Song, Chen Gao, Wei Wu, Yong Li

机构 * Tsinghua University（清华大学） ； Manifold AI 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 提出AdaWAM，通过轻量动态路由器自适应触发文本或视觉推理，提升长时复杂任务中的推理效率和性能。

An Integrated Roadside Sensing and Communication Framework for Vulnerable Road User Safety at Signalized Intersections

信号交叉口弱势道路使用者安全的集成路边感知与通信框架

Parvez Anowar

机构 * Department of Civil, Environmental and Construction Engineering, University of Central Florida（中央佛罗里达大学土木、环境与建设工程系） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出集成多模态感知、边缘计算、V2X/P2X通信和自适应信号控制的框架，基于公开数据集R-LiViT分析53,319个标注，发现VRU占49%、昼夜密度差异大、近距离事件变化10倍、83%行人边界框小，支持多模态感知和自适应部署。

Comments 17 pages, 5 figures, 2 tables. Preprint

TraRA: Trajectory-level Recognition Aggregation for Video Text Spotting in Urban Surveillance

TraRA: 面向城市监控视频文本识别的轨迹级识别聚合方法

Duc Tri Tran, Trung Thanh Nguyen, Vijay John, Phi Le Nguyen, Yasutomo Kawanishi

机构 * RIKEN（日本理化学研究所） ； Hanoi University of Science and Technology（河内科学技术大学） ； Nagoya University（名古屋大学） ； Lawrence Technological University（劳伦斯技术大学） ； Ritsumeikan University（立命馆大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出TraRA方法，通过轨迹级文本识别聚合，利用时间与多模态一致性，解决监控视频中运动模糊、遮挡等导致的帧级识别不一致问题，在多个基准上提升跟踪与识别性能。

Comments 22nd IEEE International Conference on Advanced Visual and Signal-Based Systems

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

Stream3D-VLM：基于增量几何先验的在线3D空间理解

Hanxun Yu, Xuan Qu, Lei Ke, Boqiang Zhang, Yuxin Wang, Jianke Zhu, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文汇） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出在线3D视觉语言模型Stream3D-VLM，通过自回归流控制、轻量视觉-空间特征融合模块和几何自适应体素压缩，实现从流式视频中实时理解3D空间，并构建超百万在线3D问答数据集，在多项任务上超越现有模型。

Comments Project Page: https://stream3d-vlm.github.io/

Proxy Reconstruction Pre-training for Ramp Flow Prediction at Highway Interchanges

高速公路立交匝道流量预测的代理重建预训练

Yongchao Li, Jun Chen, Zhuoxuan Li, Chao Gao, Yang Li, Chu Zhang, Changyin Dong

机构 * Southeast University（东南大学） ； Institute of Telecommunications and Information Sciences, China（中国电信与信息科学研究院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出时空解耦自编码器（STDAE），通过跨模态重建预训练从主线数据恢复匝道流量，结合GWNet等模型提升预测精度，在真实数据集上超越13个基线。

Comments Accepted at Applied Soft Computing Journal

Journal ref Applied Soft Computing Journal 200 (2026) 115462

GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios

GenPO++：基于无雅可比似然比的生成式策略优化

Ke Hu, Shutong Ding, Panxin Tao, Jingya Wang, Ye Shi

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出GenPO++框架，利用高阶可逆ODE求解器中的历史状态作为辅助记忆，实现精确可逆映射，从而无偏且高效地计算生成流策略的似然比，在连续控制任务中优于现有方法。

SERNF: Sample-Efficient Real-World Dexterous Policy Fine-Tuning via Action-Chunked Critics and Normalizing Flows

SERNF: 通过动作块评论家和归一化流实现样本高效的真实世界灵巧策略微调

Chenyu Yang, Denis Tarasov, Davide Liconti, Romain Guntz, Hehui Zheng, Robert K. Katzschmann

机构 * Soft Robotics Lab, D-MAVT（软机器人实验室，D-MAVT） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出SERNF框架，结合归一化流策略和动作块评论家，实现真实世界灵巧操作策略的样本高效微调，解决多模态动作分布和信用分配问题。

Comments https://srl-ethz.github.io/SERNF/