多模态大模型

GRACE: Boosting Video MLLMs with Grounded Action-Centric Evidence for Viewer Sentiment Prediction

GRACE: 基于接地动作中心证据增强视频多模态大语言模型用于观众情感预测

Ruoxuan Yang, Tieyuan Chen, Xiaofeng Huang, Haibing Yin, Jun Wang, Xiping Chen, Jun Yin, Xuesong Gao, Weiyao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； The 52nd Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第五十二研究所） ； Hangzhou Bywin Technology Co., Ltd.（杭州百威科技有限公司） ； Zhejiang Dahua Technology Co., Ltd.（浙江大华技术股份有限公司） ； School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Haihe Laboratory of Information Technology Application Innovation（海河信息技术应用创新实验室） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出GRACE框架，通过提取时间有序的主谓宾三元组和视觉实体裁剪，增强视频MLLM对细粒度情感线索的提取与推理，在Pitts数据集上提升Qwen2.5-VL和Qwen3-VL性能。

Comments 13 pages, 5 figures

Multi-Modal Spatio-Temporal Graph Neural Network with Mixture of Experts for Soil Organic Carbon Prediction

基于专家混合的多模态时空图神经网络用于土壤有机碳预测

Daniele Mos, Felipe Drummond, Anton Bossenbroek, Soufiane el Khinifri

机构 * Spatialise B.V. 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出SpTGNN，一种多模态时空图神经网络，通过异构图注意力、微调基础模型特征提取和稀疏专家混合融合，结合异方差回归与深度集成的不确定性量化，在三个区域数据集上优于XGBoost基线。

Comments Paper is 27 pages, 14 figures, 12 tables

Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

基于生理信号的深度时间建模与集成融合多模态情感识别

Desta Haileselassie Hagos, Saurav Keshari Aryal, Patrick Ymele-Leki, Anietie Andy, Legand L. Burge

机构 * Howard University（霍华德大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本研究评估LSTM、TCN和Transformer在WESAD数据集上的多模态情感识别性能，通过消融实验和传感器级早期融合，并采用晚期融合集成策略，最终集成方法达到98.91%准确率和98.56%宏F1分数。

Comments Accepted for publication in the 17th ACM International Conference on Bioinformatics, Computational Biology and Health Informatics (ACM BCB 2026). DOI: https://doi.org/10.1145/3807503.3819363

DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

DPC-VQA: 解耦质量感知与残差校准用于视频质量评估

Xinyue Li, Shubo Xu, Zhichao Zhang, Zhaolin Cai, Yitong Chen, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Baidu Inc.（百度公司） ； Xinjiang University（新疆大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出DPC-VQA框架，通过冻结多模态大模型提供感知先验，轻量校准分支预测残差修正，实现低训练成本下视频质量评估，在UGC和AIGC基准上取得竞争性能。

AwareLLM: A Proactive Multimodal Ecosystem for Personalized Human-AI Collaboration to Enhance Productivity

AwareLLM: 一种主动多模态生态系统，用于个性化人机协作以提升生产力

Amog Rao, Utkarsh Agarwal, Amol Harsh, Siddharth Siddharth

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 AwareLLM通过整合多模态数据与大语言模型，实现主动适应用户心理生理状态，提升任务表现并降低认知疲劳，推动人机协作新范式。

Conditional Multi-Event Temporal Grounding in Long-Form Video

长视频中的条件多事件时间定位

Yuanhao Zou, Arthad Kulkarni, Lucas Tonanez, Lincoln Spencer, Guangyu Sun, Tianxingjian Ding, Andong Deng, Yi Li, Shuangjun Liu, Yuan Li, Dashan Gao, Ning Bi, Taotao Jing, Shuai Zhang, Chen Chen

机构 * University of Central Florida（中佛罗里达大学） ； Qualcomm AI Research（高通人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出CoMET-Bench基准和CoMET-Agent框架，解决长视频中基于组合时空条件定位所有事件的任务，F1@0.5提升6.1%。

Keep It in Mind: User Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams

铭记于心：面向用户中心的持续空间智能推理在自我中心视频流中的应用

Yun Wang, Junbin Xiao, Han Lyu, Yifan Wang, Jing Zuo, Zhanjie Zhang, Hong Huang, Dapeng Wu, Angela Yao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出UCS-Bench数据集和DirectMe框架，通过增量构建结构化空间记忆，实现自我中心视频流中动态空间推理、长期记忆与用户实时位置对齐，显著提升多模态大模型的空间推理能力。

Comments 45 pages. https://icml.cc/virtual/2026/poster/63682

Journal ref ICML 2026

Auteur: Language-Driven Cinematographic Framing for Human-Centric Video Generation

Auteur: 以语言驱动的电影化取景实现以人为中心的视频生成

Muhammed Burak Kizil, Enes Sanli, Niloy J. Mitra, Xuelin Chen, Erkut Erdem, Aykut Erdem, Duygu Ceylan

机构 * Koç University（科克大学） ； University College London（伦敦大学学院） ； Adobe（Adobe公司） ； Hacettepe University（哈切特佩大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Auteur方法，通过将相机运动参数化为以人为中心的取景（包括镜头尺寸、角度和构图），并利用领域特定语言（DSL）和微调的多模态大语言模型，实现语言驱动的电影化取景，在人类中心视频生成中优于现有方法。

Comments Project Page: https://cyberiada.github.io/Auteur/

Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

使用机器辅助理论集成标注建模品牌和组织TikTok视频的参与度

Sander Paekivi, Andres Karjus

专题命中 视频多模态 ：multimodal(abstract)

AI总结 利用多模态大语言模型标注77个理论驱动的结构变量，分析约1万个TikTok视频，以预测参与度并探索短视频文化差异。

OneBar: An End-to-End Content-Grounded Generative Query Recommendation Framework for E-Commerce Video Feeds

OneBar：一种面向电商视频流的端到端内容驱动生成式查询推荐框架

Yao Tang, Ying Yang, Ben Chen, Yufei Ma, Zihan Liang, Chenyi Lei, Wenwu Ou, Jian Liu

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出OneBar框架，通过协同多模态意图对齐、统一端到端架构和渐进偏好学习，解决短视频平台查询推荐中的延迟和偏好漂移问题，显著提升查询曝光和点击。

Comments Any questions feel free to contact: benchen4395@gmail.com

Automated Gaze-based Behavioral Segmentation and Temporal Representation for Bridge Inspection in Unconstrained 3D Environments

基于自动注视行为分割与时间表示的非约束三维环境桥梁检测

Daniel Jimenez Gil, Haosen Zhang, Zixin Wang, Mohamad Alipour

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出自动分析框架，将非约束3D注视、头部运动、无人机导航和场景几何数据分割为全局扫描、局部检测和导航三种功能模式的时间序列，提取行为描述符，揭示检测策略差异及与性能的关系。

Comments 46 pages, 13 figures