EgoExoMem: Cross-View Memory Reasoning over Synchronized Egocentric and Exocentric Videos
EgoExoMem: 跨视角记忆推理 over 同步的自身视角和外部视角视频
机构 * Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院) ; ETH Zurich(苏黎世联邦理工学院) ; University of Oxford(牛津大学) ; Hunan University(湖南大学)
AI总结 本文提出EgoExoMem,首个跨视角记忆推理基准,通过同步自身视角和外部视角视频进行跨视角记忆推理,利用E$^2$-Select方法实现高效的帧选择,实验表明自身和外部视角提供互补的记忆线索,但现有模型在基准测试中表现有限。
Comments The source code and dataset can be found at https://github.com/RuipingL/EgoExoMem