多模态大模型

Benchmarking Visual State Tracking in Multimodal Video Understanding

多模态视频理解中的视觉状态追踪基准测试

Sihyun Yu, Nanye Ma, Pinzhi Huang, Hyunseok Lee, Shusheng Yang, June Suk Choi, Ellis Brown, Oscar Michel, Boyang Zheng, Jinwoo Shin, Saining Xie

机构 * New York University（纽约大学） ； KAIST（韩国科学技术院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出VSTAT基准，通过需要连续感知和整合整个视频流的问题评估多模态大语言模型的视觉状态追踪能力，发现当前模型远低于人类表现，失败主要源于视觉感知而非文本推理。

Comments Website: https://vision-x-nyu.github.io/vstat-site/

Auditing Engagement Incentives in the Kidfluencer Ecosystem: A Multimodal Weak Supervision Approach

审计儿童网红生态系统中的参与激励：一种多模态弱监督方法

Zijing Wei, Chao Peter Yang, Xuanjie Chen

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 本研究采用多模态弱监督方法审计YouTube儿童网红频道，发现剥削信号与观看量显著正相关，且表演性劳动、情感诱饵和隐私侵犯能带来参与度溢价。

Video-OPD: Efficient Post-Training of Multimodal Large Language Models for Temporal Video Grounding via On-Policy Distillation

Video-OPD：通过在线策略蒸馏实现多模态大语言模型在时序视频定位中的高效后训练

Jiaze Li, Hao Yin, Haoran Xu, Boshen Xu, Wenhui Tan, Zewen He, Jianzhong Ju, Zhenbo Luo, Jian Luan

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV

AI总结 提出Video-OPD框架，利用在线策略蒸馏和教师验证分歧聚焦课程，以高效后训练多模态大语言模型进行时序视频定位，克服稀疏奖励和高计算开销问题。

PhotoCraft: Agentic Reasoning with Hierarchical Self-Evolving Memory for Deep Image Search

PhotoCraft: 具有层次自进化记忆的深度图像搜索代理推理

Kailin Lyu, Zhiqiang Yuan, Jianwei He, Qiwei Yan, Xuanbo Su, Nanxing Hu, Yang Liu, Ce Hao, Shengqian Qin, Lianyu Hu, Jinchao Zhang, Jie Zhou

机构 * Pattern Recognition Center, WeChat AI, Tencent Inc.（微信AI模式识别中心，腾讯公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） ； Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 提出PhotoCraft，一种无需训练的分层记忆系统，通过工作、情景和语义记忆增强多模态大语言模型，实现深度图像搜索中的多步推理和知识迁移，在DISBench上提升检索性能达18.5%。

Trans GAN-WT: A Feature Extraction and Interactive Learning-Based Anomaly Detection Model for Wind Turbine Time Series Data

Trans GAN-WT: 一种基于特征提取和交互学习的风电机组时间序列数据异常检测模型

Jingzhe Kang

专题命中 视频多模态 ：multimodal(abstract)

AI总结 提出融合Transformer和生成对抗网络的异常检测模型TransGAN-WT，通过放大重构误差、自回归多模态特征提取和时序特征交互学习，在真实风电机组数据集上F1达96.10%，误报率仅0.06%。