视觉大模型 / VLM

ViLLA: Fine-Grained Vision-Language Representation Learning from Real-World Data

Maya Varma, Jean-Benoit Delbrouck, Sarah Hooper, Akshay Chaudhari, Curtis Langlotz

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2023

Preconditioned Visual Language Inference with Weak Supervision

Ehsan Qasemi, Amani R. Maina-Kilaas, Devadutta Dash, Khalid Alsaggaf, Muhao Chen

专题命中 视觉推理 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI

TAB-VCR: Tags and Attributes based Visual Commonsense Reasoning Baselines

Jingxiang Lin, Unnat Jain, Alexander G. Schwing

专题命中 视觉推理 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

Comments Accepted to NeurIPS 2019. Project page: https://deanplayerljx.github.io/tabvcr

Cambrian-P: Pose-Grounded Video Understanding

Cambrian-P: 基于姿态的视频理解

Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Shang-Wen Li, Saining Xie

机构 * New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； Meta FAIR 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究提出Cambrian-P，一种增强的视频多模态大语言模型，通过引入可学习的相机令牌和姿态回归头，利用姿态作为轻量级监督信号，显著提升了空间推理能力，并在多个视频问答基准上实现了SOTA表现。

Comments Project Page: https://cambrian-mllm.github.io/

MindClaw: Closed-Loop Embodied Mental-State Reasoning for Precision Intervention

MindClaw: 用于精确干预的闭环具身心理状态推理

Ruoxuan Zhang, Qiaoqiao Wan, Zhengguang Wang, Chenghao Yu, Hongxia Xie, Jianlong Fu, Wen-Huang Cheng

机构 * Jilin University（吉林大学） ； Microsoft Asia（微软亚洲） ； National Taiwan University（国立台湾大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出MindClaw框架，通过闭环具身心理状态推理实现精确干预，结合多源输入、信念记忆、认知触发技能和动作生成，在动态环境中优化干预时机。

Comments Extended version of the CVPR 2026 paper *MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents*. This work is in progress

Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models

视觉-语言与大语言模型在胃肠病学中的表现：GPT、Claude、Llama、Phi、Mistral、Gemma及量化模型

Seyed Amir Ahmad Safavi-Naini, Shuhaib Ali, Omer Shahab, Zahra Shahhoseini, Thomas Savage, Sara Rafiee, Jamil S Samaan, Reem Al Shabeeb, Farah Ladak, Jamie O Yang, Juan Echavarria, Sumbal Babar, Aasma Shaukat, Samuel Margolis, Nicholas P Tatonetti, Girish Nadkarni, Bara El Kurdi, Ali Soroush

机构 * Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院） ； University of Texas Health（德克萨斯大学健康科学中心） ； Virginia Hospital Center（弗吉尼亚医院中心） ； Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学） ； Stanford University（斯坦福大学） ； Cedars-Sinai Medical Center（西达赛奈医疗中心） ； Inova Fairfax Medical Campus（伊诺瓦费尔法克斯医疗中心） ； University of California–Los Angeles（加州大学洛杉矶分校） ； NYU Grossman School of Medicine（纽约大学格罗斯曼医学院） ； Columbia University（哥伦比亚大学） 纠错

专题命中 视觉推理 ：VLM(abstract,comments)；vision language model(abstract)；分类 cs.AI

AI总结 本研究评估了大语言模型和视觉-语言模型在胃肠病学中的医学推理性能，比较了不同模型配置、参数及提示工程策略对性能的影响，发现专有模型在准确性上优于开源模型，且图像描述对视觉-语言模型性能有显著影响。

Comments Manuscript Pages: 34, Figures: 7, Tables: 2, Supplementary File Pages: 35, Data Transparency Statement: Code is available at: https://github.com/Sdamirsa/LLM-VLM-in-Gastroenterology . Study data from American College of Gastroenterology (ACG) are restricted and available upon request with ACG permission. Correction: updated abstract considering Llama3.1 results

Journal ref npj Digital Medicine 8, 797 (2025)

NeuroMosaic: Anatomically Grounded Multimodal Large Language Modeling for Molecularly Aware Glioma Reasoning from 3D MRI and Clinical Narratives

NeuroMosaic：基于解剖学的多模态大语言模型，用于从3D MRI和临床叙事中进行分子感知的胶质瘤推理

Yantong Liu, Zheyu Zhang, Runpeng Liu, Mu Xitang, Seong-Yoon Shin, Hyun-Ae Lee

专题命中 视觉推理 ：multimodal large language model(title)

AI总结 该研究针对多模态医疗大语言模型在神经肿瘤学中的结构缺陷，提出NeuroMosaic模型，通过多模块架构实现胶质瘤的准确推理，在多个数据集上取得优异性能，验证了解剖学索引路由机制的有效性。

Grounding latent algorithm routing in transformer reasoning

在变压器推理中为潜在算法路由建立基础

Xiangbo Zhang, Xiaoxu Ma

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视觉推理 ：grounding(title)

AI总结 研究变压器能否围绕不同归纳偏差族组织情节级适应，通过潜在算法路由及ROUTEBENCH基准实验，发现从零训练的密集仅解码器变压器能开发类似路由的内部变量，缩小最优路由差距，但未建立通用路由。

Comments Accepted by COLM 2026

Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning

在思考之前，先学会决策：面向高效视觉推理的主动路由

Yinan Zhou, Haokun Lin, Yichen Wu, Yuxin Chen, Teng Wang, Caifeng Shan, Zhenan Sun, Chen Ma, Li Zhu, Ying Shan

机构 * Xi’an Jiaotong University（西安交通大学） ； ARC Lab, Tencent IEG（腾讯IEG ARC实验室） ； City University of Hong Kong（香港城市大学） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Harvard University（哈佛大学） ； Nanjing University（南京大学） 纠错

专题命中 视觉推理 ：visual reasoning(title)

AI总结 提出主动路由范式PRP，通过联合评估草稿模型和目标模型的能力，实现早期决策，加速多模态推理而不牺牲性能。

Comments 36 pages, 20 figures

Structured Visualization Design Knowledge for Grounding Generative Reasoning and Situated Feedback

结构化可视化设计知识：用于基础生成推理和情境反馈

Péter Ferenc Gyarmati, Dominik Moritz, Torsten Möller, Laura Koesten

专题命中 视觉推理 ：grounding(title)

AI总结 提出一种结构化方案，将可视化设计知识编码为带语义元数据的自然语言指南，支持专家编写、机器查询，并嵌入向量空间以分析冲突和跨领域原则，弥补符号系统与生成模型之间的鸿沟。

Evaluating and Steering Modality Preferences in Multimodal Large Language Model

评估和引导多模态大语言模型中的模态偏好

Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） 纠错

专题命中 视觉推理 ：multimodal large language model(title)

AI总结 本文提出MC²基准测试，通过受控证据冲突场景评估和引导多模态大语言模型的模态偏好，揭示了其可通过指令引导和潜在表示控制，并展示了通过表示工程方法提升多模态任务性能的潜力。

Comments Modality Preference

FinCoT: Grounding Chain-of-Thought in Expert Financial Reasoning

FinCoT：在专家金融推理中 grounding 思维链

Natapong Nitarach, Warit Sirichotedumrong, Panop Pitchayarthorn, Pittawat Taveekitworachai, Potsawee Manakul, Kunat Pipatanakul

机构 * SCB 10X, SCBX Group（SCB 10X集团） 纠错

专题命中 视觉推理 ：grounding(title)

AI总结 FinCoT通过整合专家金融推理蓝图，提升金融领域模型性能并减少推理成本，实现更可解释的推理过程。

Comments Accepted at FinNLP-2025, EMNLP (Oral Presentation)

Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation

通过上下文归一化增强长上下文推理用于检索增强生成

Jiamin Chen, Yuchen Li, Xinyu Ma, Xinran Chen, Xiaokun Zhang, Shuaiqiang Wang, Chen Ma, Dawei Yin

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 视觉推理 ：grounding(title)

AI总结 通过上下文归一化策略提升RAG在长上下文推理中的鲁棒性和稳定性

Seeing before Observable: Potential Risk Reasoning in Autonomous Driving via Vision Language Models

在可观察之前看见：通过视觉语言模型在自动驾驶中的潜在风险推理

Jiaxin Liu, Xiangyu Yan, Liang Peng, Lei Yang, Lingjun Zhang, Yuechen Luo, Yueming Tao, Ashton Yu Xuan Tan, Mu Li, Lei Zhang, Ziqi Zhan, Sai Guo, Hong Wang, Jun Li

机构 * School of Vehicle and Mobility, Tsinghua University（车辆与移动系统学院，清华大学） 纠错

专题命中 视觉推理 ：vision language model(title)

AI总结 本文提出PotentialRiskQA数据集和PR-Reasoner框架，通过视觉语言模型提升自动驾驶中潜在风险的前瞻性推理能力。

Preference-Based Long-Horizon Robotic Stacking with Multimodal Large Language Models

Wanming Yu, Adrian Röfer, Abhinav Valada, Sethu Vijayakumar

机构 * School of Informatics, University of Edinburgh（信息学院，爱丁堡大学） ； University of Freiburg（弗赖堡大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title)

MCP: A Control-Theoretic Orchestration Framework for Synergistic Efficiency and Interpretability in Multimodal Large Language Models

Luyan Zhang

机构 * Northeastern University（东北大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title)

Comments 13 pages, 6 figures, 2 tables

VRAgent-R1: Boosting Video Recommendation with MLLM-based Agents via Reinforcement Learning

Siran Chen, Boyu Chen, Chenyun Yu, Yuxiao Luo, Ouyang Yi, Lei Cheng, Chengxiang Zhuo, Zang Li, Yali Wang

专题命中 视觉推理 ：MLLM(title)

Divide and Conquer: A Hybrid Strategy Defeats Multimodal Large Language Models

Yanxu Mao, Peipei Liu, Tiehan Cui, Zhaoteng Yan, Congying Liu, Datao You

机构 * School of Software, Henan University（河南大学软件学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title)

SituatedThinker: Grounding LLM Reasoning with Real-World through Situated Thinking

Junnan Liu, Linhao Luo, Thuy-Trang Vu, Gholamreza Haffari

专题命中 视觉推理 ：grounding(title)

Comments Preprint

UniAff: A Unified Representation of Affordances for Tool Usage and Articulation with Vision-Language Models

Qiaojun Yu, Siyuan Huang, Xibin Yuan, Zhengkai Jiang, Ce Hao, Xin Li, Haonan Chang, Junbo Wang, Liu Liu, Hongsheng Li, Peng Gao, Cewu Lu

专题命中 视觉推理 ：vision-language model(title)

Comments ICRA 2025

mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model

Anwen Hu, Yaya Shi, Haiyang Xu, Jiabo Ye, Qinghao Ye, Ming Yan, Chenliang Li, Qi Qian, Ji Zhang, Fei Huang

专题命中 视觉推理 ：multimodal large language model(title)

Comments 20 pages, 12 figures

Grounding Object Relations in Language-Conditioned Robotic Manipulation with Semantic-Spatial Reasoning

Qian Luo, Yunfei Li, Yi Wu

专题命中 视觉推理 ：grounding(title)

Comments AAAI 2023 RL Ready for Production Workshop

Visual Reasoning Strategies for Effect Size Judgments and Decisions

Alex Kale, Matthew Kay, Jessica Hullman

专题命中 视觉推理 ：visual reasoning(title)

Comments Accepted for publication at IEEE VIS 2020

REChart: Reasoning-Efficient Chart Editing with Large Reasoning Models

REChart：基于大型推理模型的推理高效图表编辑方法

Yuanbang Liu, Chenxi Ruan, Yihan Hou, Qiong Luo, Wei Zeng

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 REChart是两阶段训练框架，通过过程级监督提升图表编辑的保真度与推理效率，在两个基准上实现同规模开源模型最优性能，推理token用量降低79.0%。

Douyin Multimodal Embedding Model Technical Report

抖音多模态嵌入模型技术报告

Haonan Chen, Chu Li, Zhicheng Wang, Yuanwei Liu, Yuanjiang Wang, Shaohua Jiang, Zhicheng Dou

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对现有多模态嵌入模型难以兼顾效率与细粒度区分的问题，提出分两阶段训练的DME模型，在MMEB-v2数据集及抖音生产场景中均取得优异效果。

Comments Technical Report

Lost in Adaptation: Layer-Selective Recovery of Temporal Reasoning in Video-Language Models

层次间推理：通过层选择性融合恢复视频-语言模型中的时间推理

Zihang Fu, Haonan Wang, Jian Kang, Kenji Kawaguchi, Jiaying Wu

机构 * National University of Singapore（新加坡国立大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出MERIT框架，通过层选择性融合提升视频-语言模型的时间推理能力，同时保持时间感知能力，优于全模型融合和随机层选择。

Generalizable Operating Room Expert with Multimodal Enhancement

具备多模态增强能力的可泛化手术室专家

Peiqi He, Zhenhao Zhang, Yixiang Zhang, Jiaxin Liu, Xiongjun Zhao, Shaoliang Peng

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对手术室空间建模的局限，提出仅用RGB图像推理的多模态大语言模型OR-Expert，通过内部推导空间线索实现三维推理，在手术室基准上达SOTA且泛化性良好。

Comments Accepted by ACM Multimedia 2026

VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies

VAKRA：评估工具使用策略下跨API与检索的多跳推理能力

Ankita Rajaram Naik, Anupama Murthi, Benjamin Elder, Siyu Huo, Raavi Gupta, Abhinav Jain, Praveen Venkateswaran, Abdulhamid Adebayo, Danish Contractor

机构 * IBM（国际商业机器公司（IBM）） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究推出VAKRA基准评估工具使用策略下跨API与检索的多跳推理，发现现有最优模型在相关任务上性能随推理深度显著下降，失败集中于语言介导推理环节。

Order Matters: LVLMs as Judges for Temporal Reasoning in Image Sequences

顺序很重要：LVLMs作为图像序列时间推理的评判者

Martina Ianaro, Guilherme Fernandes, Maurizio Gabbrielli, Joao Magalhaes

机构 * University of Bologna（博洛尼亚大学） ； NOVA School of Science and Technology（NOVA科技学院） ； NOVA Laboratory for Computer Science and Informatics（NOVA计算机科学与信息实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本研究发现大视觉语言模型（LVLMs）作为多模态评判者存在时间顺序判别缺陷，受首因、近因等结构性偏差影响，呼吁构建时间感知的视觉序列评估范式。

Comments 34 pages, camera-ready

Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models

听、看与跟踪：面向全模态大模型的时空视听声音事件推理

Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 针对现有模型缺失的时空视听推理能力，构建ST-OmniQA基准，提出ST-Omni-R1模型，在该基准上平均语义准确率达77.83%，且空间运动表示可跨基准迁移。