视觉大模型 / VLM

Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

基于查询的跨模态投影器增强Mamba多模态大语言模型

SooHwan Eom, Jay Shim, Gwanhyeong Koo, Haebin Na, Mark A. Hasegawa-Johnson, Sungwoong Kim, Chang D. Yoo

机构 * Korea Advanced Institute of Science and Technology / Korea, Republic of（韩国科学技术院） ； University of Illinois in Urbana-Champaign / United States of America（伊利诺伊大学厄巴纳-香槟分校） ； Korea University / Korea, Republic of（韩国大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 提出基于查询的跨模态投影器，通过交叉注意力压缩视觉令牌，消除手动设计2D扫描顺序的需求，提升Mamba多模态LLM的性能和吞吐量。

Comments Accepted to EMNLP 2024 Findings

VCIFBench: Evaluating Complex Instruction Following for Video Understanding

VCIFBench：评估视频理解中的复杂指令遵循能力

Huangchen Xu, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（知识驱动人机智能工程研究中心，吉林大学） ； International Center of Future Science, Jilin University（未来科学国际中心，吉林大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 提出VCIFBench基准，通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力，实验表明联合约束满足仍具挑战，DPO训练可提升性能。

BiNSGPS: Geometry Problem Solving via Bidirectional Neuro-Symbolic Interaction

BiNSGPS: 通过双向神经符号交互解决几何问题

Qi Wang, Peijie Wang, Fei Yin, Cheng-Lin Liu

机构 * MAIS, Institute of Automation of Chinese Academy of Sciences（自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 其他VLM ：MLLM(abstract)；分类 cs.AI

AI总结 提出BiNSGPS框架，通过多模态大语言模型顾问与符号求解器之间的双向神经符号交互，动态纠正不一致的形式表示或提出辅助假设，以解决几何问题中的早期错误和符号冲突。

Selectivity Estimation for Semantic Filters on Image Data

图像数据语义过滤器的选择性估计

Matthias Urban, Vu Huy Nguyen, Gabriele Sanmartino, Paolo Papotti, Carsten Binnig

专题命中 其他VLM ：vision-language model(abstract)

AI总结 针对图像数据上的语义过滤器，提出基于共享嵌入空间的语义直方图方法，通过估计查询特异性来绕过传统在线采样，实现高效选择性估计，将查询优化与执行的端到端运行时开销降低高达86%。