视觉大模型 / VLM

Evaluating MLLMs with Multimodal Multi-image Reasoning Benchmark

Ziming Cheng, Binrui Xu, Lisheng Gong, Zuhe Song, Tianshuo Zhou, Shiqi Zhong, Siyu Ren, Mingxiang Chen, Xiangchao Meng, Yuxin Zhang, Yanlin Li, Lei Ren, Wei Chen, Zhiyuan Huang, Mingjie Zhan, Xiaojie Wang, Fangxiang Feng

机构 * BUPT China（北京邮电大学） ； YSU China（云南大学） ； NUS Singapore（新加坡国立大学） ； Li Auto Inc. China（利汽车公司） ； SenseTime Research China（商汤研究） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 18 pages

Probing Visual Language Priors in VLMs

Tiange Luo, Ang Cao, Gunhee Lee, Justin Johnson, Honglak Lee

专题命中 视觉推理 ：vision-language model(abstract)；LLaVA(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.LG

Comments Project Page: https://vilp-team.github.io/

On Data Synthesis and Post-training for Visual Abstract Reasoning

Ke Zhu, Yu Wang, Jiangjiang Liu, Qunyi Xie, Shanshan Liu, Gang Zhang

专题命中 视觉推理 ：vision-language model(abstract)；LLaVA(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

Chitrarth: Bridging Vision and Language for a Billion People

Shaharukh Khan, Ayush Tarun, Abhinav Ravi, Ali Faraz, Akshat Patidar, Praveen Kumar Pokala, Anagha Bhangare, Raja Kolla, Chandra Khatri, Shubham Agarwal

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

MM-GEN: Enhancing Task Performance Through Targeted Multimodal Data Curation

Siddharth Joshi, Besmira Nushi, Vidhisha Balachandran, Varun Chandrasekaran, Vibhav Vineet, Neel Joshi, Baharan Mirzasoleiman

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.LG

Video-of-Thought: Step-by-Step Video Reasoning from Perception to Cognition

Hao Fei, Shengqiong Wu, Wei Ji, Hanwang Zhang, Meishan Zhang, Mong-Li Lee, Wynne Hsu

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted by ICML 2024

From Redundancy to Relevance: Information Flow in LVLMs Across Reasoning Tasks

Xiaofeng Zhang, Yihao Quan, Chen Shen, Xiaosong Yuan, Shaotian Yan, Liang Xie, Wenxiao Wang, Chaochen Gu, Hao Tang, Jieping Ye

专题命中 视觉推理 ：vision language model(abstract)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

ArtVLM: Attribute Recognition Through Vision-Based Prefix Language Modeling

William Yicheng Zhu, Keren Ye, Junjie Ke, Jiahui Yu, Leonidas Guibas, Peyman Milanfar, Feng Yang

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

Comments Accepted at ECCV 2024. Contact: zhuwilliam[at]google[dot]com. GitHub: https://github.com/google-research/google-research/tree/master/attribute_with_prefixlm

Self-Imagine: Effective Unimodal Reasoning with Multimodal Models using Self-Imagination

Syeda Nahida Akter, Aman Madaan, Sangwu Lee, Yiming Yang, Eric Nyberg

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.AI、cs.LG

Comments 18 pages, 9 figures, 12 tables

On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving

Licheng Wen, Xuemeng Yang, Daocheng Fu, Xiaofeng Wang, Pinlong Cai, Xin Li, Tao Ma, Yingxuan Li, Linran Xu, Dengke Shang, Zheng Zhu, Shaoyan Sun, Yeqi Bai, Xinyu Cai, Min Dou, Shuanglu Hu, Botian Shi, Yu Qiao

专题命中 视觉推理 ：VLM(abstract)；visual language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Orientation Reading by Production Vision-Language Models on Optotype Charts: A Controlled Multi-Model Evaluation Across Reasoning Modes, Prompts, and Access Modalities

通过生产视觉语言模型在视标图表上进行方向读取：跨推理模式、提示和访问方式的受控多模型评估

Shahryar Wasif, Avneek Sandhu, Bin Hu

专题命中 视觉推理 ：vision-language model(title,abstract)

AI总结 研究通过消费者聊天界面评估四个视觉语言模型在视标图表上读取方向的能力，在多种推理模式、提示变体下运行，发现各模型准确率有差异，错误有特定方向，单一准确率掩盖问题，强调应多轴评估视觉语言模型。

Comments 4 figures, 4 supplementary figures

ICLR: In-Context Imitation Learning with Visual Reasoning

ICLR: 基于视觉推理的上下文模仿学习

Toan Nguyen, Weiduo Yuan, Songlin Wei, Hui Li, Daniel Seita, Yue Wang

机构 * University of Southern California（南加州大学） ； Autodesk Research（Autodesk研究） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)

AI总结 ICLR通过结合视觉推理与上下文模仿学习，提升机器人在复杂任务中的适应性和泛化能力。

Comments Accepted to IROS 2026. Project website: https://toannguyen1904.github.io/ICLR

On Locality and Length Generalization in Visual Reasoning

关于视觉推理中的局部性和长度泛化

Pulkit Madan, Sanjay Haresh, Reza Ebrahimi, Sunny Panchal, Apratim Bhattacharyya, Roland Memisevic

机构 * Qualcomm AI Research（高通人工智能研究中心） 纠错

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究从视觉状态跟踪和长度泛化角度，探讨局部、顺序视觉模型是否有计算优势。受语言模型启发，研究简单视觉任务中视觉模型行为。发现其会利用全局捷径，基于严格局部感知的策略可缓解此问题，表明局部注意力对稳健组合泛化很关键。

Comments Accepted at ECCV 2026

Do Multimodal Large Language Models Need Reasoning to Classify Dementia from Speech?

多模态大语言模型是否需要推理来从语音中分类痴呆症？

Liming Wang, Neguine Rezaii, Bradford C. Dickerson, James Glass

专题命中 视觉推理 ：multimodal large language model(title,abstract)

AI总结 本文评估了多模态大语言模型在自动痴呆症分类中的推理能力，发现基于文本理由的策略会导致幻觉和不一致，并提出DeTAiL框架，通过非线性适配器和强化学习利用内部表示，在两个数据集上优于基线方法。

ReShift: Aha-Moment-Driven Reasoning-Level Backdoor Attacks on Vision-Language Models

ReShift: 视觉-语言模型上基于“啊哈时刻”驱动的推理级后门攻击

Zhihao Dou, Qinjian Zhao, Zhiqiang Gao, Sumon Biswas

专题命中 视觉推理 ：vision-language model(title)；VLM(abstract_cn)

AI总结 提出ReShift框架，通过“啊哈时刻”驱动推理轨迹重定向，结合PRDC管道和SRJO策略实现隐蔽的后门攻击，理论保证熵反弹与轨迹发散的联系。

Comments ECCV 2026

PIVOTSBench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models

PIVOTSBench：评估多模态大语言模型中的细粒度人际关系推理

Shuxiang Zhang, Yiting Yin, Wenxuan Song, Yuhang Wu, Miao Liu

机构 * Sun Yat-sen University（中山大学） ； University of Michigan（密歇根大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)

AI总结 提出PIVOTS基准，基于Social-IQ 2.0和YouTube数据，评估多模态大语言模型在心理学研究基础上预测双向人际关系维度的能力，并包含辅助任务分析关键视觉线索。

Multimodal Large Language Models for Real-Time Situated Reasoning

多模态大语言模型用于实时情境推理

Giulio Antonio Abbo, Senne Lenaerts, Tony Belpaeme

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)

AI总结 本文探讨多模态大语言模型如何支持实时情境和价值感知决策，结合GPT-4o与模拟智能扫地机器人平台，展示其在家庭活动、社会规范和用户偏好推理中的能力，以及在清洁、舒适和安全等价值上的细致决策。

Comments Submitted to the interactivity track of the 21st ACM/IEEE International Conference on Human-Robot Interaction on December 2025, accepted January 2026

Journal ref HRI Companion 2026: Companion Proceedings of the 21st ACM/IEEE International Conference on Human-Robot Interaction

Probing Multimodal Large Language Models on Cognitive Biases in Chinese Short-Video Misinformation

探究多模态大语言模型在中国短视频虚假信息中的认知偏差

Jen-tse Huang, Chang Chen, Shiyang Lai, Wenxuan Wang, Michelle R. Kaufman, Mark Dredze

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Chicago（芝加哥大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)

AI总结 本文通过200个短视频数据集评估8种多模态大语言模型在健康领域虚假信息中的表现，发现Gemini-2.5-Pro表现最佳（信念分数71.5/100），而模型易受权威频道ID等社会线索影响。

Comments Accepted to ACL 2026 (Findings)

PaperVoyager : Building Interactive Web with Visual Language Models

PaperVoyager：利用视觉语言模型构建交互式网页

Dasen Dai, Biao Wu, Meng Fang, Wenhao Wang

机构 * Vast Intelligence Lab（vast 智能实验室） ； UTS（UTS大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 视觉推理 ：visual language model(title,abstract)

AI总结 提出PaperVoyager框架，将研究论文自动转化为可执行的交互式网页系统，通过显式建模机制和交互逻辑，显著提升生成系统的质量。

Comments 9 pages, 5 figures

Less Redundancy: Boosting Practicality of Vision Language Model in Walking Assistants

减少冗余：提升视觉语言模型在行走助手中的实用性

Chongyang Li, Zhiqiang Yuan, Hanbo Bi, Zexi Jia, Jinchao Zhang

机构 * Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯人工智能研究院） 纠错

专题命中 视觉推理 ：vision language model(title)；visual language model(abstract)

AI总结 本文提出WalkVLM-LR模型，通过优化输出和时间冗余，提升视觉语言模型在行走助手中的实用性，实验表明其在输出简洁性和时间冗余方面表现优异。

Comments ICASSP 2026 Best Industry Paper

ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection

ErrorRadar：通过错误检测基准测试多模态大语言模型的复杂数学推理能力

Yibo Yan, Shen Wang, Jiahao Huo, Hang Li, Boyan Li, Jiamin Su, Xiong Gao, Yi-Fan Zhang, Tianlong Xu, Zhendong Chu, Aoxiao Zhong, Kun Wang, Hui Xiong, Philip S. Yu, Xuming Hu, Qingsong Wen

机构 * Squirrel AI ； HKUST(GZ)（香港科技大学(广州)） ； HKUST（香港科技大学） ； MSU（密歇根州立大学） ； UCAS（中国科学技术大学） ； University of Illinois at Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)

AI总结 ErrorRadar通过错误检测任务评估多模态大语言模型在复杂数学推理中的能力，包含2500个高质量K-12数学问题，实验显示GPT-4o仍比人类评价差10%。

Comments Accepted by The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026, Findings)

GoT-R1: Unleashing Reasoning Capability of MLLM for Visual Generation with Reinforcement Learning

GoT-R1：通过强化学习提升MLLM的视觉生成推理能力

Chengqi Duan, Rongyao Fang, Yuqing Wang, Kun Wang, Linjiang Huang, Xingyu Zeng, Hongsheng Li, Xihui Liu

机构 * HKU MMLAB（香港大学多媒体实验室） ； CUHK MMLAB（香港中文大学多媒体实验室） ； Sensetime（商汤科技） ； Beihang University（北京航空航天大学） ； SUAT（上海人工智能实验室） 纠错

专题命中 视觉推理 ：MLLM(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 GoT-R1通过强化学习提升视觉生成中的语义-空间推理能力，改进了复杂提示下的图像生成效果，实验表明在T2I-CompBench基准上表现优异。

Comments Github page refer to: https://github.com/gogoduan/GoT-R1. Published as a conference paper at ICLR 2026

Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation

具有自适应偏好优化的多模态大语言模型用于序列推荐

Yu Wang, Yonghui Yang, Le Wu, Yi Zhang, Fei Liu, Richang Hong

专题命中 视觉推理 ：multimodal large language model(title,abstract)

AI总结 本文提出HaNoRec框架，通过自适应偏好优化解决多模态序列推荐中的样本不平衡和跨模态语义偏差问题，提升推荐性能。

Comments Accepted by SIGIR 2026 (Full Paper)

Using VLM Reasoning to Constrain Task and Motion Planning

利用视觉语言模型推理来约束任务和运动规划

Muyang Yan, Miras Mengdibayev, Ardon Floros, Weihang Guo, Lydia E. Kavraki, Zachary Kingston

机构 * Department of Computer Science, Purdue University（普渡大学计算机科学系） ； Department of Computer Science, Rice University（莱斯大学计算机科学系） ； Ken Kennedy Institute, Rice University（莱斯大学肯尼迪研究所） 纠错

专题命中 视觉推理 ：VLM(title)；vision-language model(abstract)

AI总结 本文提出VIZ-COAST方法，利用大预训练视觉语言模型的空间推理能力，提前识别向下细化中的问题，减少规划时间并消除失败。

Comments 9 pages, 7 figures, 1 table. Submitted to IROS 2026

Reasoning-Oriented Programming: Chaining Semantic Gadgets to Jailbreak Large Vision Language Models

面向推理的编程：通过链式语义工具来突破大型视觉语言模型

Quanchen Zou, Moyang Chen, Zonghao Ying, Wenzhuo Xu, Yisong Xiao, Deyue Zhang, Dongdong Yang, Zhao Liu, Xiangzheng Zhang

专题命中 视觉推理 ：vision language model(title)；vision-language model(abstract)

AI总结 本文提出面向推理的编程方法，通过链式语义工具突破大型视觉语言模型的安全对齐。

Kinodynamic Task and Motion Planning using VLM-guided and Interleaved Sampling

基于VLM引导和交错采样的运动动力学任务与动作规划

Minseo Kwon, Young J. Kim

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 视觉推理 ：VLM(title,abstract)

AI总结 本文提出一种基于VLM引导和交错采样的运动动力学任务与动作规划方法，通过混合状态树联合决策任务和运动，提升规划效率和成功率。

EmboTeam: Grounding LLM Reasoning into Reactive Behavior Trees via PDDL for Embodied Multi-Robot Collaboration

EmboTeam: 通过PDDL将LLM推理接地为反应式行为树以实现具身多机器人协作

Haishan Zeng, Mengna Wang, Peng Li

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 视觉推理 ：grounding(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 EmboTeam通过PDDL将LLM推理转化为反应式行为树，提升多机器人协作任务的成功率和目标回忆率

MedGPT-oss: Training a General-Purpose Vision-Language Model for Biomedicine

MedGPT-oss: 为生物医学训练一个通用的视觉-语言模型

Kai Zhang, Zhengqing Yuan, Cheng Peng, Songlin Zhao, Mengxian Lyu, Ziyi Chen, Yanfang Ye, Wei Liu, Ying Zhang, Kaleb E Smith, Lifang He, Lichao Sun, Yonghui Wu

机构 * Department of Computer Science and Engineering, Lehigh University（莱斯大学计算机科学与工程系） ； Department of Computer Science and Engineering, University of Notre Dame（圣母大学计算机科学与工程系） ； Department of Health Outcomes & Biomedical Informatics, University of Florida（佛罗里达大学健康结果与生物医学信息学系） ； Department of Radiation Oncology, Mayo Clinic（梅奥诊所放射肿瘤科） ； Research Computing, University of Florida（佛罗里达大学研究计算中心） ； AI Technology Center, NVIDIA（NVIDIA人工智能技术中心） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)

AI总结 MEDGPT-oss是一款开放式权重的200亿参数视觉-语言模型，通过优化训练课程实现多模态和文本推理能力，适用于隐私保护的临床AI研究。

Comments Technical report, work in progress

Canvas-of-Thought: Grounding Reasoning via Mutable Structured States

Canvas-of-Thought：通过可变的结构化状态进行推理

Lingzhuang Sun, Yuxia Zhu, Ruitong Liu, Hao Liang, Zheng Sun, Caijun Jia, Honghao He, Yuchen Wu, Siyuan Li, Jingxuan Wei, Xiangxiang Zhang, Bihui Yu, Wentao Zhang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Peking University（北京大学） ； New York University（纽约大学） ； Westlake University（西湖大学） 纠错

专题命中 视觉推理 ：grounding(title)；multimodal large language model(abstract)

AI总结 Canvas-CoT通过引入HTML Canvas实现可变结构化状态，提升多模态推理效率与精度。

CyPortQA: Benchmarking Multimodal Large Language Models for Cyclone Preparedness in Port Operation

Chenchen Kuai, Chenhao Wu, Yang Zhou, Xiubin Bruce Wang, Tianbao Yang, Zhengzhong Tu, Zihao Li, Yunlong Zhang

专题命中 视觉推理 ：multimodal large language model(title,abstract)

Comments 9 pages, 5 figures