多模态大模型

OSGNet with MLLM Reranking @ Ego4D Episodic Memory Challenge 2026

OSGNet with MLLM Reranking @ Ego4D Episodic Memory Challenge 2026

Yisen Feng, Leigang Qu, Haoyu Zhang, Qiaohui Chu, Meng Liu, Xuemeng Song, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； National University of Singapore（新加坡国立大学） ； Pengcheng Laboratory（鹏城实验室） ； Shandong Jianzhu University（山东建筑大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 视频多模态 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种基于多模态大语言模型（MLLM）的重排序框架，用于解决Ego4D事件记忆挑战2026中的自然语言查询和目标步 tracks，通过结合现有定位模型OSGNet的候选片段和MLLM的视频-语言推理能力，提升时间片段的定位精度。

Comments Champion solution for the Natural Language Queries and GoalStep tracks of the Ego4D Challenge at the CVPR EgoVis Workshop 2026

Multimodal Optimal Transport for Training-free Temporal Segmentation in Surgical Robotics

多模态最优传输用于手术机器人中的无训练时序分割

Omar Mohamed, Edoardo Fazzari, Ayah Al-Naji, Hamdan Alhadhrami, Khalfan Hableel, Saif Alkindi, Ivan Laptev, Cesare Stefanini

机构 * Dept. of Robotics, Mohamed bin Zayed University of AI（机器人系，Mohamed bin Zayed人工智能大学） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV、cs.AI

AI总结 本文提出了一种无需标注的手术时序分割框架TASOT，通过结合时间对齐的文本描述和视觉信息，在统一的不平衡Gromov-Wasserstein最优传输目标下融合视觉和语义线索，实现了在多个公开手术数据集上的显著提升。

DisImpact: Quantifying the Physi-Social Impact of Natural Disasters Through Social Media

DisImpact：通过社交媒体量化自然灾害的生理-社会影响

Ruichen Yao, Tejna Dasari, Xuanyu Meng, Elliot Cao, Zelin Li, Yifan Liu, Yaokun Liu, Lanyu Shang, Dong Wang

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)

AI总结 本文提出DisImpact框架，利用多模态大语言模型系统量化自然灾害的生理和社会影响，通过社交媒体内容分类和构建灾害影响指数，实现对灾害影响的统一表示和分析。

Comments Accepted by ICWSM 2026

SURGE: An Event-Centric Social Media Sentiment Time Series Benchmark with Interaction Structure

SURGE：一个以事件为中心的社会媒体情感时间序列基准，包含交互结构

Chen Su, Pengsen Cheng, Yuanhe Tian, Yan Song

机构 * University of Science and Technology of China（中国科学技术大学） ； Sichuan University Zhongguancun Academy（四川大学中关村学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究提出了SURGE基准，通过整合事件级时间序列与对齐的文本和交互结构，用于评估社交互动如何影响预测行为，揭示了基准在局部持久性、转移能力及回复密集期的挑战性。