视觉大模型 / VLM

Do MLLMs Exhibit Human-like Perceptual Behaviors? HVSBench: A Benchmark for MLLM Alignment with Human Perceptual Behavior

多模态大语言模型是否表现出类人感知行为？HVSBench：一个用于多模态大语言模型对齐人类视觉行为的基准测试

Jiaying Lin, Shuquan Ye, Dan Xu, Wanli Ouyang, Rynson W. H. Lau

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 HVSBench通过测试多模态大语言模型与人类视觉行为的对齐性，揭示了其在感知任务上的显著差距，并强调了开发更符合人类认知的AI的重要性。

Comments Project page: https://jiaying.link/HVSBench/

SocialNav-MoE: A Mixture-of-Experts Vision Language Model for Socially Compliant Navigation with Reinforcement Fine-Tuning

SocialNav-MoE: 一种用于社交合规导航的混合专家视觉语言模型，结合强化微调

Tomohito Kawabata, Xinyu Zhang, Ling Xiao

机构 * Graduate School of Information Science and Technology, Hokkaido University（信息科学与技术研究生院，北海道大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 SocialNav-MoE通过混合专家模型和强化微调提升机器人社交合规导航的效率与准确性。

GoalLadder: Incremental Goal Discovery with Vision-Language Models

GoalLadder: 基于视觉语言模型的增量目标发现

Alexey Zakharov, Shimon Whiteson

机构 * University of Oxford（牛津大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.LG

AI总结 GoalLadder利用视觉语言模型在视觉环境中通过增量目标发现提升RL智能体性能，实现高成功率。

Comments NeurIPS 2025

Shape and Texture Recognition in Large Vision-Language Models

大规模视觉-语言模型中的形状与纹理识别

Sagi Eppel, Mor Bismut, Alona Faktor-Strugatski

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究发现大规模视觉-语言模型在识别抽象形状和纹理时表现不足，而人类和简单网络表现更佳。

Concept-Guided Backdoor Attack on Vision Language Models

基于概念的视觉语言模型后门攻击

Haoyu Shen, Weimin Lyu, Haotian Xu, Tengfei Ma

机构 * Stony Brook University（石溪大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本研究提出基于概念的视觉语言模型后门攻击方法，通过概念阈值污染和概念瓶颈模型引导未见后门两种技术，实现对模型生成文本的恶意替换。

Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation

Align$^2$LLaVA: 多模态指令编纂的级联人类与大语言模型偏好对齐

Hongzhe Huang, Jiang Liu, Zhewen Yu, Li Cai, Dian Jiao, Wenqiao Zhang, Siliang Tang, Juncheng Li, Hao Jiang, Haoyuan Li, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Alibaba（阿里巴巴） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 Align$^2$LLaVA通过级联人类与LLM偏好对齐方法，有效压缩多模态指令数据，提升模型性能。

UniEdit-I: Training-free Image Editing for Unified VLM via Iterative Understanding, Editing and Verifying

UniEdit-I: 基于迭代理解、编辑和验证的无训练图像编辑

Chengyu Bai, Jintao Chen, Xiang Bai, Yilong Chen, Qi She, Ming Lu, Shanghang Zhang

机构 * Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 UniEdit-I通过在语义潜在空间中引入迭代理解、编辑和验证循环，实现了无训练的闭环图像编辑，无需微调或架构修改即可达到最先进的性能。

VoxRep: Enhancing 3D Spatial Understanding in 2D Vision-Language Models via Voxel Representation

VoxRep：通过体素表示增强2D视觉-语言模型的3D空间理解

Alan Dao, Norapat Buppodom

机构 * Menlo Research（Menlo研究） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出VoxRep方法，通过将体素空间切分为2D切片并输入预训练的视觉-语言模型，实现对3D环境的高效语义理解。

Journal ref Proc. APSIPA ASC 2025, pp. 1464-1469

Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models

脚本：图结构和查询条件的语义令牌修剪用于多模态大语言模型

Zhongyu Yang, Dannong Xu, Wei Pang, Yingfang Yuan

机构 * BCML, Heriot-Watt University（赫瑞瓦德大学BCML中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 Script通过图结构和查询条件的语义令牌修剪，提升多模态大语言模型的效率和准确性，实现显著的性能提升。

Comments Published in Transactions on Machine Learning Research, Project in https://01yzzyu.github.io/script.github.io/

TRoVe: Discovering Error-Inducing Static Feature Biases in Temporal Vision-Language Models

TRoVe: 发现时间视觉-语言模型中的错误引发静态特征偏差

Maya Varma, Jean-Benoit Delbrouck, Sophie Ostmeier, Akshay Chaudhari, Curtis Langlotz

机构 * Stanford University（斯坦福大学） ； HOPPR 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 TRoVe通过识别时间视觉-语言模型中的错误引发静态特征偏差，提升模型在下游任务中的表现。

Comments NeurIPS 2025

Scaling Down to Scale Up: Towards Operationally-Efficient and Deployable Clinical Models via Cross-Modal Low-Rank Adaptation for Medical Vision-Language Models

缩小规模以扩大规模：通过跨模态低秩适应实现操作高效且可部署的临床模型

Thuraya Alzubaidi, Farhad R. Nezami, Muzammil Behzad

机构 * King Fahd University of Petroleum（国王法赫德石油与矿物大学） ； Institute for Medical Engineering（医学工程研究所） ； Science, Massachusetts Institute of Technology, US（科学，麻省理工学院，美国） ； Harvard Medical School, Harvard University, US（哈佛医学院，哈佛大学，美国） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, Saudi Arabia（SDAIA-KFUPM人工智能联合研究中心，沙特阿拉伯） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 通过跨模态低秩适应，MedCT-VLM在零样本分类中实现了对CT影像的高效适应，显著提升了病理分类的性能。

Learning to Hear by Seeing: It's Time for Vision Language Models to Understand Artistic Emotion from Sight and Sound

通过视觉学习听觉：现在是让视觉语言模型理解艺术情感的时候了

Dengming Zhang, Weitao You, Jingxiong Li, Weishen Lin, Wenda Shi, Xue Zhao, Heda Zuo, Junxian Wu, Lingyun Sun

机构 * Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；VLM(abstract)；visual language model(abstract)；分类 cs.CV

AI总结 VAEmotionLLM通过两阶段框架，利用有限音频预训练使视觉语言模型理解艺术中的多模态情感

HARMONY: Hidden Activation Representations and Model Output-Aware Uncertainty Estimation for Vision-Language Models

HARMONY：隐藏的激活表示和模型输出感知的不确定性估计用于视觉-语言模型

Erum Mushtaq, Zalan Fabian, Yavuz Faruk Bakman, Anil Ramakrishna, Mahdi Soltanolkotabi, Salman Avestimehr

机构 * University of Southern California（南加州大学） ； Amazon AGI（亚马逊人工智能实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 HARMONY通过整合生成token、模型输出不确定性分数和隐藏表示，提升视觉-语言模型的不确定性估计性能。

HMR3D: Hierarchical Multimodal Representation for 3D Scene Understanding with Large Vision-Language Model

HMR3D：用于大视觉-语言模型的层次多模态表示以实现3D场景理解

Chen Li, Eric Peh, Basura Fernando

机构 * Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡） ； Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore（前沿人工智能研究中心，科技研究局，新加坡） ； College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 HMR3D通过层次化多模态表示，结合多视图图像和文本描述，提升3D场景理解的性能。

Artwork Interpretation with Vision Language Models: A Case Study on Emotions and Emotion Symbols

用视觉语言模型进行艺术解读：情感与情感符号的案例研究

Sebastian Padó, Kerstin Thomas

机构 * Institute for Natural Language Processing (IMS)（自然语言处理研究所） ； Institute for Art History (IKG)（艺术史研究所） ； University of Stuttgart, Germany（斯图加特大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文研究了2025年视觉语言模型在艺术情感和符号识别上的表现，发现其在具体图像识别上表现良好，但对抽象或象征性图像及符号识别存在困难。

Comments Accepted for publication at the IJCNLP-AACL workshop on Multimodal Models for Low-Resource Contexts and Social Impact

TinyChemVL: Advancing Chemical Vision-Language Models via Efficient Visual Token Reduction and Complex Reaction Tasks

TinyChemVL：通过高效视觉标记减少和复杂反应任务推进化学视觉-语言模型

Xuanle Zhao, Shuxin Zeng, Xinyuan Cai, Xiang Cheng, Duzhen Zhang, Xiuyi Chen, Bo Xu

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 TinyChemVL通过高效视觉标记减少和复杂反应任务提升化学视觉-语言模型的效率和推理能力，实现更高效的化学任务处理。

Comments Accepted by AAAI 2026

CNS-Obsidian: A Neurosurgical Vision-Language Model Built From Scientific Publications

CNS-Obsidian：基于科学出版物构建的神经外科视觉-语言模型

Anton Alyakin, Jaden Stryker, Daniel Alexander Alber, Jin Vivian Lee, Karl L. Sangwon, Brandon Duderstadt, Akshay Save, David Kurland, Spencer Frome, Shrutika Singh, Jeff Zhang, Eunice Yang, Ki Yun Park, Cordelia Orillac, Aly A. Valliani, Sean Neifert, Albert Liu, Aneek Patel, Christopher Livia, Darryl Lau, Ilya Laufer, Peter A. Rozman, Eveline Teresa Hidalgo, Howard Riina, Rui Feng, Todd Hollon, Yindalon Aphinyanaphongs, John G. Golfinos, Laura Snyder, Eric Leuthardt, Douglas Kondziolka, Eric Karl Oermann

专题命中 VLM训练与架构 ：vision-language model(title)；VLM(abstract)；LLaVA(abstract)；分类 cs.AI

AI总结 CNS-Obsidian是一款基于科学文献训练的神经外科视觉-语言模型，通过对比实验展示了其在诊断准确性与用户评分上的表现。

Zero-Reference Joint Low-Light Enhancement and Deblurring via Visual Autoregressive Modeling with VLM-Derived Modulation

无需参考的联合低光照增强与去模糊化：基于视觉自回归建模与VLM衍生调制

Wei Dong, Han Zhou, Junwei Lin, Jun Chen

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出了一种无需参考的联合低光照增强与去模糊化方法，基于视觉自回归建模和VLM衍生调制，通过自适应曲线估计和动态旋转位置编码提升模型对模糊和光照变化的处理能力。

Comments Accepted by AAAI 2026; First Var-based method for joint LLIE and deblurring

Extreme Model Compression for Edge Vision-Language Models: Sparse Temporal Token Fusion and Adaptive Neural Compression

边缘视觉-语言模型的极端模型压缩：稀疏时间标记融合与自适应神经压缩

Md Tasnin Tanvir, Soumitra Das, Sk Md Abidar Rahaman, Ali Shiri Sichani

机构 * University of Information Technology and Sciences（信息科技与科学大学） ； The University of Burdwan（布尔德万大学） ； Tarakeswar Degree College（塔拉克瓦尔学位学院） ； University of Missouri, Columbia（密苏里大学，哥伦比亚） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出稀疏时间标记融合和自适应神经压缩技术，实现边缘视觉-语言模型的高效压缩，提升准确率并降低延迟。

Comments 9 pages, 6 figures

Systematic Reward Gap Optimization for Mitigating VLM Hallucinations

系统性奖励缺口优化以缓解视觉语言模型的幻觉

Lehan He, Zeren Chen, Zhelun Shi, Tianyu Yu, Jing Shao, Lu Sheng

机构 * School of Software, Beihang University（北京航空航天大学软件学院） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV

AI总结 TPR通过主题级偏好重写系统优化奖励缺口配置，显著减少VLM幻觉并提升对齐效果。

Comments 34 pages, 12 figures, Accepted by NeurIPS 2025

A Little More Like This: Text-to-Image Retrieval with Vision-Language Models Using Relevance Feedback

略多一些像这个：利用视觉语言模型进行文本到图像检索的相关反馈

Bulat Khaertdinov, Mirela Popa, Nava Tintarev

机构 * Maastricht University（马斯特里赫特大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出基于相关反馈机制提升视觉语言模型文本到图像检索性能的方法，通过四种反馈策略在Flickr30k和COCO数据集上验证，提升了检索效果并增强了多轮检索的鲁棒性。

Comments Accepted to WACV'26

Maestro: Orchestrating Robotics Modules with Vision-Language Models for Zero-Shot Generalist Robots

Junyao Shi, Rujia Yang, Kaitian Chao, Selina Bingqing Wan, Yifei Shao, Jiahui Lei, Jianing Qian, Long Le, Pratik Chaudhari, Kostas Daniilidis, Chuan Wen, Dinesh Jayaraman

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI

Comments Plan to resubmit after significant revisions

Conflict Adaptation in Vision-Language Models

Xiaoyang Hu

机构 * Brown University（布朗大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；InternVL(abstract)；分类 cs.CV

Comments Workshop on Interpreting Cognition in Deep Learning Models at NeurIPS 2025

LLMC+: Benchmarking Vision-Language Model Compression with a Plug-and-play Toolkit

Chengtao Lv, Bilang Zhang, Yang Yong, Ruihao Gong, Yushi Huang, Shiqiao Gu, Jiajun Wu, Yumeng Shi, Jinyang Guo, Wenya Wang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

Comments Accepted by AAAI 2026

FaceShield: Explainable Face Anti-Spoofing with Multimodal Large Language Models

Hongyang Wang, Yichen Shi, Zhuofu Tao, Yuhao Gao, Liepiao Zhang, Xun Lin, Jun Feng, Xiaochen Yuan, Zitong Yu, Xiaochun Cao

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted by AAAI 2025. Hongyang Wang and Yichen Shi contribute equally. Corresponding author: Zitong Yu

Filter, Correlate, Compress: Training-Free Token Reduction for MLLM Acceleration

Yuhang Han, Xuyang Liu, Zihan Zhang, Pengxiang Ding, Junjie Chen, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments AAAI 2026

SPEED-Q: Staged Processing with Enhanced Distillation towards Efficient Low-bit On-device VLM Quantization

Tianyu Guo, Shanwei Zhao, Shiai Zhu, Chenguang Ma

机构 * Tianyu Guo, Shanwei Zhao, Shiai Zhu, Chenguang Ma（作者） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

Synth-Align: Improving Trustworthiness in Vision-Language Model with Synthetic Preference Data Alignment

Robert Wijaya, Ngoc-Bao Nguyen, Ngai-Man Cheung

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

NOVO: Bridging LLaVA and SAM with Visual-only Prompts for Reasoning Segmentation

Kyung-Yoon Yoon, Yeong-Jun Cho

机构 * Department of Artificial Intelligence Convergence（人工智能融合系） 纠错

专题命中 VLM训练与架构 ：LLaVA(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

ExGra-Med: Extended Context Graph Alignment for Medical Vision-Language Models

Duy M. H. Nguyen, Nghiem T. Diep, Trung Q. Nguyen, Hoang-Bao Le, Tai Nguyen, Tien Nguyen, TrungTin Nguyen, Nhat Ho, Pengtao Xie, Roger Wattenhofer, James Zou, Daniel Sonntag, Mathias Niepert

机构 * German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Max Planck Research School for Intelligent Systems (IMPRS-IS)（马克斯·普朗克智能系统研究学校） ； University of Stuttgart（斯图加特大学） ； University Medical Center Gottingen（哥廷根大学医学中心） ； Max Planck Institute for Multidisciplinary Sciences（马克斯·普朗克多学科科学研究所） ； ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems（细胞系统数学分析卓越中心） ； School of Mathematical Sciences, Queensland University of Technology（昆士兰科技大学数学科学学院） ； University of Oldenburg（奥尔登堡大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California San Diego（加州大学圣地亚哥分校） ； MBZUAI（马克斯·普朗克人工智能研究所） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；LLaVA(abstract)；grounding(abstract)；分类 cs.LG

Comments Accepted at NeurIPS 2025