多模态大模型

CmIVTP: Cross-modal Interaction-based Vessel Trajectory Prediction for Maritime Intelligence

CmIVTP：面向海事智能的基于跨模态交互的船舶轨迹预测

Yuxu Lu, Dong Yang, Xiaoyu Li, Mengwei Bao, Congcong Zhao

机构 * Department of Logistics and Maritime Studies, the Hong Kong Polytechnic University（物流及海运研究系，香港理工大学） ； Research Centre for ESG Advancement (RCESGA), the Hong Kong Polytechnic University（ESG进步研究中心（RCESGA），香港理工大学） ； School of Navigation, Wuhan University of Technology（航海学院，武汉理工大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对单一数据源局限导致船舶轨迹预测不准的问题，提出跨模态交互框架CmIVTP，融合AIS和CCTV数据，利用目标感知场景编码器和跨模态交互Transformer实现高精度预测。

DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

DynFrame: 自适应推理驱动的多模态框架与动态帧增强用于复杂视频理解

Peng Zhang, Guanghao Zhang, Wanggui He, Longxiang Zhang, Mushui Liu, Yan Xia, Zhenhao Peng, Weilong Dai, Jinlong Liu, Haobing Tang, Le Zhang, Hao Jiang, Pipei Huang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出DynFrame框架，通过将时间窗口和采样密度作为原生token进行单步检索，并引入分段解耦GRPO优化，解决了视频多模态大模型中采样密度不可学习及检索与回答优化耦合的问题。

Rethinking Weakly-supervised Video Temporal Grounding From a Game Perspective

从博弈视角重新思考弱监督视频时间定位

Xiang Fang, Zeyu Xiong, Wanlong Fang, Xiaoye Qu, Chen Chen, Jianfeng Dong, Keke Tang, Pan Zhou, Yu Cheng, Daizong Liu

机构 * Hubei Key Laboratory of Distributed System Security（湖北分布式系统安全重点实验室） ； Hubei Engineering Research Center on Big Data Security（大数据安全工程研究中心） ； School of Cyber Science and Engineering（网络安全科学与工程学院） ； Huazhong University of Science and Technology（华中科技大学） ； University of Central Florida（佛罗里达中央大学） ； Zhejiang Gongshang University（浙江工商大学） ； Guangzhou University（广州大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文从博弈论视角出发，通过多元合作博弈建模帧与词的不确定对应关系，实现多级跨模态交互，从而在弱监督下提升视频时间定位的准确性。

Comments Published in ECCV 2024

Seeing vs. Believing: Evaluating the Language Bias of Open-Source MLLMs in Counter-Intuitive Scenes

看见 vs. 相信：评估开源多模态大模型在反直觉场景中的语言偏见

Chen Ling, Tongwei Zhang, Hanqian Li, Nai Ding

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 为评估多模态大模型处理反直觉动作场景的能力，提出CAIT基准（400个高保真合成场景），发现开源模型因语言先验而忽视视觉证据，性能接近随机水平，而链式思维推理虽提升准确率但导致过度思考拒绝视觉内容，通过微调和结构化提示可缓解此偏见。

O-MARC: Omni Memory-Augmented Compression Distillation for Efficient Video Understanding

O-MARC: 全记忆增强压缩蒸馏用于高效视频理解

Peiran Wu, Yunze Liu, Chi-Hao Wu, Chen Chen, Junxiao Shen

机构 * University of Bristol（布里斯托大学） ； Memories.ai Research（Memories.ai研究院） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出O-MARC框架，通过无训练压缩方法OMAC保留视觉记忆和音频锚点，并利用压缩蒸馏使紧凑模型鲁棒，在多个基准上提升性能并降低推理成本。

Catching Dark Signals in Algorithms: Unveiling Audiovisual and Thematic Markers of Unsafe Content Recommended for Children and Teenagers

捕捉算法中的黑暗信号：揭示推荐给儿童和青少年的不安全内容的视听与主题标记

Haoning Xue, Brian Nishimine, Martin Hilbert, Drew Cingel, Samantha Vigil, Jane Shawcroft, Arti Thakur, Zubair Shafiq, Jingwen Zhang

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 本研究通过对Instagram Reels、TikTok和YouTube Shorts上推荐给儿童和青少年的4492个短视频进行多模态特征分析和主题建模，发现不安全视频具有更暗的视觉特征，并包含显性有害内容和隐性焦虑诱导内容，提出了显性、隐性和意外伤害的在线伤害框架。

NeuroMambaLLM: Dynamic Graph Learning of fMRI Functional Connectivity in Autistic Brains Using Mamba and Language Model Reasoning

NeuroMambaLLM：使用Mamba和语言模型推理的自闭症大脑fMRI功能连接的动态图学习

Yasaman Torabi, Parsa Razmara, Hamed Ajorlou, Bardia Baraeinejad

机构 * Department of Electrical and Computer Engineering, McMaster University（麦基尔大学电气与计算机工程系） ； Department of Biomedical Engineering, University of Southern California（南加州大学生物医学工程系） ； Department of Electrical and Computer Engineering, University of Rochester（罗切斯特大学电气与计算机工程系） ； BIOSEN Group（BIOSEN集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出NeuroMambaLLM框架，结合动态潜在图学习、选择性状态空间时序建模与冻结的大语言模型，通过低秩适应实现fMRI动态功能连接的诊断分类与临床文本报告生成。

Flow Matching Policy Optimization with Mirror Descent and Entropy Constraints

基于镜像下降和熵约束的流匹配策略优化

Ting Gao, Stavros Orfanoudakis, Nan Lin, Winnie Daamen, Serge Hoogendoorn, Elvin Isufi

专题命中 视频多模态 ：multimodal(abstract)

AI总结 针对在线强化学习中策略表达性与探索-利用平衡的挑战，提出基于ODE流匹配的框架FMER，通过免模拟策略优化和可计算熵目标，结合动态温度调节，在稀疏奖励任务中取得优越性能。