视觉大模型 / VLM

SpikeMLLM: Spike-based Multimodal Large Language Models via Modality-Specific Temporal Scales and Temporal Compression

基于脉冲的多模态大语言模型：通过模态特定的时间尺度和时间压缩

Han Xu, Zhiyong Qin, Di Shang, Jiahong Zhang, Xuerui Qiu, Bo Lei, Tiejun Huang, Bo Xu, Guoqi Li

机构 * 1 Institute of Automation, Chinese Academy of Sciences 2 University of Chinese Academy of Sciences 3 Beijing Academy of Artificial Intelligence 4 Zhongguancun Academy 5 Peking University 6 Key Laboratory of Brain Cognition ； Brain-inspired Intelligence Technology 7 Spiking Intelligence Lab, Tianqiao \& Chrissy Chen Institute [0.5em] Equal contribution Corresponding authors 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 本文提出SpikeMLLM，首个基于脉冲的多模态大语言模型框架，通过模态特定时间尺度和时间压缩技术，在减少时间步数的同时保持高性能，实验显示其在多个基准上表现优异。

ReefNet: A Large-Scale Dataset and Benchmark for Fine-Grained Coral Reef Recognition

ReefNet：一个大规模数据集和基准，用于细粒度珊瑚礁识别

Abdulwahab Felemban, Yahia Battach, Faizan Farooq Khan, Yuqian Fu, Xuhui Liu, Yesmeen M. Khattab, Yousef A. Radwan, Xiang Li, Fabio Marchese, Sara Beery, Burton H. Jones, Francesca Benzoni, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology (KAUST)（国王阿卜杜勒·阿齐兹科技大学） ； Massachusetts Institute of Technology (MIT)（麻省理工学院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ReefNet，一个大规模珊瑚礁图像数据集，用于细粒度识别。通过专家验证和过滤，构建了高置信度基准子集，揭示了多模态模型在生物多样性监测中的挑战。

Learning Evolution via Optimization Knowledge Adaptation

通过优化知识适应学习进化

Chao Wang, Lingling Li, Licheng Jiao, Jiaxuan Zhao, Fang Liu, Shuyuan Yang

机构 * Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education（教育部智能感知与图像理解重点实验室） ； International Research Center for Intelligent Perception and Computation（智能感知与计算国际研究中心） ； Xidian University（西安电子科技大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出OKAEM模型，通过注意力机制参数化进化算子，实现优化知识的预训练和自适应优化，提升进化算法的知识转移与在线适应能力。

Comments This work has been accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence

Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram

大规模识别候选人：用于推特视觉政治沟通的多模态大语言模型

Michael Achmann-Denkler, Mario Haim, Christian Wolff

机构 * Media Informatics Group University of Regensburg（媒体信息学组莱比锡大学） ； Department of Media and Communication Ludwig-Maximilians-Universität Munich, Germany（媒体与传播系路德维希-马克西米利安大学慕尼黑，德国） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文评估了专用机器学习模型和新兴多模态大语言模型在视觉政治沟通分析中的能力，展示了GPT-4o在识别领先政治人物和计数中的优越性能。

Comments An earlier version was presented at #SMSociety 2024 (London)