视觉大模型 / VLM

From Demonstrations to Rewards: Test-Time Prompt Optimization for VLM Reward Models

从演示到奖励：VLM奖励模型的测试时提示优化

Christian Gumbsch, Leonardo Barcellona, Lennard Schünemann, Platon Karageorgis, Andrii Zadaianchuk, Zehao Wang, Sergey Zakharov, Fabien Despinoy, Rahaf Aljundi, Efstratios Gavves

机构 * University of Amsterdam（阿姆斯特丹大学） ； Catholic University of Leuven（鲁汶天主大学） ； Toyota Research Institute（丰田研究院） ； Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 视觉推理 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Demo2Reward方法，利用少量专家演示在测试时优化VLM奖励模型的提示指令，减少假阳性并保持真阳性，无需额外训练即可提升下游策略学习。

StemBind: When MLLMs Get Lost Between Rules and Instances in Abstract Visual Reasoning

StemBind: 当多模态大语言模型在抽象视觉推理中迷失于规则与实例之间

Xixiang He, Baiqi Wu, Xingming Li, Ao Cheng, Qiyao Sun, Xuanyu Ji, Qingyong Hu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；visual reasoning(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出 StemBind 诊断基准，通过共享主干的三对齐问题（感知、规则、完整）定位 MLLM 在抽象视觉推理中的失败环节，发现规则到实例的绑定是主要瓶颈。

Comments Project page: https://hexixiang.github.io/StemBind

Dual-Route Top-K Retrieval with 1v1 VLM Reranking for the CoVR-R

双路Top-K检索与1v1 VLM重排序用于CoVR-R

Yuyang Sun, Yongliang Wu, Xingyu Zhu, Yuxia Chen, Zhenxiang Jiang, Yangguang Ji, Wenbo Zhu, Yanxi Shi, Jay Wu, Shuo Wang, Xu Yang

机构 * Southeast University（东南大学） ； National University of Singapore（新加坡国立大学） ； Independent Researcher（独立研究者） ； Opus AI Research（Opus AI研究） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉推理 ：VLM(title,title_cn)；分类 cs.CV

AI总结 提出双路Top-K检索与1v1 VLM重排序方法，通过解耦召回与选择，在CoVR-R挑战中达到95.28% R@1。

LookWise: Knowing When and Where to Look for Fine-Grained Visual Reasoning in Multimodal Large Language Models

LookWise: 知道何时何地关注多模态大语言模型中的细粒度视觉推理

Yuxiang Shen, Hailong Huang, Zhenkun Gao, Xueheng Li, Man Zhou, Chengjun Xie, Haoxuan Che, Xuanhua He, Jie Zhang

机构 * Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences（智能机器研究所，合肥物理科学研究院，中国科学院） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；multimodal large language model(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出LookWise框架，通过置信度模块和语义引导定位模块实现自适应视觉推理，无需额外训练即可提升细粒度推理精度并加速推理。

ES-Merging: Biological MLLM Merging via Embedding Space Signals

ES-Merging: 通过嵌入空间信号进行生物多模态大模型合并

Wonbin Lee, Dongki Kim, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） ； DeepAuto.ai 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ES-Merging框架，利用嵌入空间信号估计合并系数，实现生物多模态大模型的高效合并，提升跨模态推理和单模态知识保留能力。

PolarMem: A Training-Free Polarized Latent Graph Memory for Verifiable Vision-Language Models

PolarMem: 一种无需训练的可验证视觉语言模型极化隐式图记忆

Zhisheng Chen, Tingyu Wu, Zijie Zhou, Zhengwei Xie, Jinhan Li, Ziyan Weng, Liang Lin, Jingwei Song, Zikai Xiao, Yingwei Zhang

机构 * ICT, CAS（中国科学院信息科技研究院） ； UCAS（中国科学院大学） ； CUPB（中国政法大学） ； USTC（中国科学技术大学） ； CityU-DG（城市大学-数据科学） ； HKU（香港大学） ； ZJU（浙江大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出PolarMem，一种无需训练的极化隐式图记忆框架，通过语义一致性验证和自适应分布划分将视觉语言模型感知信号转化为HAS、NOT_HAS和Uncertain记忆状态，并采用词典逻辑感知检索协议优先保证逻辑一致性，从而提升检索密集型任务性能并减少矛盾。

Attention-guided Fine-tuning of Multimodal Large Language Models Improves Chain-of-Thought Reasoning

注意力引导的多模态大语言模型微调提升思维链推理能力

Sanchit Sinha, Guangzhi Xiong, Bohan Liu, Zhenghao He, Aidong Zhang

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；visual reasoning(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型中思维链推理效果不佳的问题，提出注意力引导的微调目标Attentive-CoT，通过延迟答案承诺和维持视觉令牌访问来提升推理性能。

LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models

LASER: 面向高效低精度视觉-语言模型的损失感知奇异值分解与秩分配

Haiyu Wang, Yutong Wang, Leshu Li, Yihui Ren, Sai Qian Zhang

机构 * Tandon School of Engineering, New York University（纽约大学工程学院） ； Courant Institute of Mathematical Sciences, New York University（纽约大学数学科学学院） ； Brookhaven National Laboratory（布鲁克海文国家实验室） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出LASER框架，通过损失感知的奇异值分解和跨层秩分配，结合混合量化方案，实现视觉-语言模型在低精度推理下的高效压缩与加速。

Beyond Text and Tables: Vision-Language Model Integration in ComProScanner for Extracting Materials Data from Scientific Figures with High Accuracy

超越文本与表格：ComProScanner中视觉-语言模型集成实现从科学图表中高精度提取材料数据

Aritra Roy, Enrico Grisan, Chiara Gattinoni, John Buckeridge

机构 * Energy, Materials and Environment Research Centre, London South Bank University, London SE1 0AA, UK（能源、材料与环境研究中心，伦敦南银行大学） ； School of Engineering and Design, London South Bank University, London SE1 0AA, UK（工程与设计学院，伦敦南银行大学） ； Bioscience and Bioengineering Research Centre, London South Bank University, London SE1 0AA, UK（生物科学与生物工程研究中心，伦敦南银行大学） ； Department of Physics, Kings College London, London WC2R 2LS, UK（物理系，伦敦国王学院） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过集成视觉-语言模型扩展ComProScanner框架，实现了从科学图表中自动提取成分-性能数据，在压电陶瓷数据集上达到0.97的组成准确率和归一化F1分数，并引入基于范围的误差阈值评估方法。

Comments 18 pages, 3 figures

Multimodal Large Language Model-Enabled Video Translation: A Role-Oriented Survey

多模态大语言模型驱动的视频翻译：面向角色的综述

Bingzheng Qu, Kehai Chen, Xuefeng Bai, Min Zhang

机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文通过面向角色的分类法，系统综述了多模态大语言模型在视频翻译中的应用，将其分为语义推理器、表达执行器和视觉合成器三个功能角色，并总结了数据集、基准和评估指标，指出了端到端视频翻译的挑战与未来方向。

DeepLatent: Think with Images via Parallel Latent Visual Reasoning

DeepLatent: 通过并行潜在视觉推理用图像思考

Dongchen Lu, Zhimo Li, Mao Shu, Huo Cao

机构 * Baidu Inc.（百度公司） ； Peking University（北京大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出DeepLatent框架，通过LatentFormer并行生成潜在视觉状态，并结合连续空间强化学习优化潜在表示，在多个基准上达到最先进性能。

PLanAR: Planning-Language-Grounded Agentic Reasoning for Robot Manipulation

PLanAR：面向机器人操作的规划语言基础智能推理

Pengyuan Guo, Zhonghao Mai, Zhengtong Xu, Kaidi Zhang, Quan Khanh Luu, Heng Zhang, Zichen Miao, Arash Ajoudani, Zachary Kingston, Qiang Qiu, Yu She

机构 * Purdue University（普渡大学） ； Istituto Italiano di Tecnologia（意大利理工研究院） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 提出PLanAR框架，通过规划语言接口定义VLM推理空间，实现开放词汇的长时域机器人操作，并支持逐步验证与重规划。

Comments New version with updated framing, contributions, experiments, and figures

Active Exploring like a Pigeon: Reinforcing Spatial Reasoning via Agentic Vision-Language Models

像鸽子一样主动探索：通过智能视觉语言模型强化空间推理

Wei Deng, Xianlin Zhang, Mengshi Qi

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出一种受鸽子认知地图启发的智能视觉语言模型管道，通过动态认知地图和空间断言代码提供密集奖励信号，在MindCube基准上实现80.5%的总体准确率，在Rotation子集上相对提升53.2%。

Comments Accepted by ICML 2026

Vision Language Models Cannot Reason About Physical Transformation

视觉语言模型无法推理物理变换

Dezhi Luo, Yijiang Li, Maijunxian Wang, Tianwei Zhao, Bingyang Wang, Siheng Wang, Pinyuan Feng, Pooyan Rahmanzadehgervi, Ziqiao Ma, Hokin Deng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉推理 ：vision language model(title,abstract)；VLM(abstract_cn)；分类 cs.AI

AI总结 本文通过构建ConservationBench基准，评估112个视觉语言模型在物理守恒任务上的表现，发现模型在动态场景中无法维持物理属性的变换不变性。

Comments Accepted by ICML 2026

Boosting RL-Based Visual Reasoning with Selective Adversarial Entropy Intervention

基于选择性对抗熵干预提升强化学习视觉推理能力

Yang Yu, Zhuangzhuang Chen, Lanqing Li, Xiaomeng Li

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI

AI总结 提出选择性对抗熵干预（SaEI）方法，通过在强化学习采样阶段利用熵引导的对抗攻击扭曲视觉输入，增强策略探索，提升视觉语言模型的推理能力。

ToolFG: Towards Well-Grounded Fine-Grained Image Classification

ToolFG：面向良好基础的细粒度图像分类

Yu Xue, Haoxuan Qu, Zhuoling Li, Yihang Lou, Yan Bai, Hossein Rahmani, Jun Liu

机构 * Lancaster University（兰卡斯特大学） ； Peking University（北京大学） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出ToolFG框架，通过MCTS引导的工具使用知识蒸馏和模型-工具协同进化机制，使MLLM自主调用外部工具获取可靠视觉线索，实现细粒度图像分类。

Reasmory: 3D Reconstruction as Explicit Memory for VLMs Spatial Reasoning

Reasmory: 3D重建作为VLMs空间推理的显式记忆

Jixuan He, Xueting Li, Chieh Hubert Lin, Ming-Hsuan Yang

机构 * Cornell Tech, Cornell University（康奈尔科技学院、康奈尔大学） ； NVIDIA（英伟达） ； illoca AI（illoca人工智能） ； The University of California, Merced（加州大学梅尔塞德斯分校） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出Reasmory框架，通过结构化程序执行重建的3D显式记忆，并引入轻量级领域特定语言约束VLM查询和操作，在空间推理任务上提升6-18%。

Beyond Visual Memory: Mechanistic Diagnostics of Latent Visual Reasoning

超越视觉记忆：潜在视觉推理的机制诊断

Garvin Guo, Yu Chen, Xiang Wang, Shuai Li, Xinpei Zhao, Huaxing Liu, Shuai Dong

机构 * Amap, Alibaba Group（阿里集团亚马通） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV、cs.AI

AI总结 通过分解潜在令牌为三个可测试组件，发现边界标记和格式而非潜在槽贡献了主要性能提升，揭示了潜在视觉推理的真正机制。

3DCodeBench: Benchmarking Agentic Procedural 3D Modeling Via Code

3DCodeBench：通过代码进行智能体程序化3D建模的基准测试

Yipeng Gao, Lei Shu, Genzhi Ye, Xi Xiong, Ameesh Makadia, Meiqi Guo, Laurent Itti, Jindong Chen

机构 * Google DeepMind（谷歌DeepMind） ； University of Southern California（南加州大学） ； Google Research（谷歌研究） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出3DCodeBench基准，评估12种视觉语言模型将文本和图像参考转换为程序化3D建模代码的能力，并构建基于人类偏好的3DCodeArena排名平台。

Comments Project Page: https://www.3dcodebench.com/; 11 pages (main), with appendix

Mechanistic Diagnostics of Spatial Lexical Bias in Multimodal Large Language Model Spatial Reasoning

多模态大语言模型空间推理中空间词汇偏差的机制诊断

Chuang Ma, Qianying Liu, Tomoyuki Obuchi, Fei Cheng, Wang Yang, Sudong Cai, Shuyuan Zheng, Akiko Aizawa, Sadao Kurohashi

机构 * Kyoto University（京都大学） ； NII LLMC（日本国立信息与通信技术研究所语言模型中心） ； RIKEN AIP（日本理化学研究所先进理工研究所） ； Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Osaka（大阪大学） ； University of Tokyo（东京大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文发现多模态大语言模型存在空间词汇偏差，即添加空间关系词会吸引模型选择该选项，并通过机制可解释性工具揭示偏差主要源于语言侧而非视觉侧，最后提出轻量级LLM-only DPO更新可有效缓解偏差。

TRON: Targeted Rule-Verifiable Online Environments for Visual Reasoning RL

TRON：面向视觉推理强化学习的目标化规则可验证在线环境

Tianze Yang, Yucheng Shi, Ruitong Sun, Jingyuan Huang, Ninghao Liu, Jin Sun

机构 * University of Georgia（佐治亚大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.AI

AI总结 提出TRON在线环境框架，通过可控生成-验证程序产生无限训练实例，支持视觉推理强化学习，在多个多模态基准上提升性能。

Comments 27 pages, 8 figures

VRPRM: Process Reward Modeling via Visual Reasoning

VRPRM: 通过视觉推理的过程奖励建模

Xinquan Chen, Chongying Yue, Bangwei Liu, Xuhong Wang, Yingchun Wang, Chaochao Lu

机构 * PJ Lab（PJ实验室） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.LG

AI总结 提出VRPRM，一种结合视觉推理的过程奖励模型，通过两阶段训练策略（少量CoT-PRM SFT数据+大量非CoT-PRM RL数据）以较低成本实现高质量推理，性能提升达118%。

Comments 20 pages, 11 figures

The Cartesian Shortcut: Re-evaluate Vision Reasoning in Polar Coordinate Space

笛卡尔捷径：在极坐标空间中重新评估视觉推理

Xia Hu, Zhenrui Yue, Brian Potetz, Howard Zhou, Leonidas Guibas, Chun-Ta Lu, Zhicheng Wang

机构 * Stanford University（斯坦福大学） ； Google Research（谷歌研究院） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型在视觉推理中利用笛卡尔坐标捷径的问题，提出Polaris-Bench基准，将任务转换至极坐标空间，揭示模型缺乏拓扑不变性视觉推理。

PaperVoyager : Building Interactive Web with Visual Language Models

PaperVoyager：利用视觉语言模型构建交互式网页

Dasen Dai, Biao Wu, Meng Fang, Wenhao Wang

机构 * Vast Intelligence Lab（vast 智能实验室） ； UTS（UTS大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 视觉推理 ：visual language model(title,abstract)

AI总结 提出PaperVoyager框架，将研究论文自动转化为可执行的交互式网页系统，通过显式建模机制和交互逻辑，显著提升生成系统的质量。

Comments 9 pages, 5 figures

InstructSAM: Segment Any Instance with Any Instructions

InstructSAM: 根据任意指令分割任意实例

Yuqian Yuan, Wentong Li, Zhaocheng Li, Yutong Lin, Juncheng Li, Siliang Tang, Jun Xiao, Yueting Zhuang, Wenqiao Zhang

机构 * Zhejiang University（浙江大学） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出InstructSAM框架，通过将指令驱动实例分割建模为集合结构查询预测问题，并设计显式推理到实例查询接口，结合视觉语言模型和SAM3实现单次前向传播中的多实例分割。

Comments 19 pages, 8 figures, code: https://github.com/DCDmllm/InstructSAM

CV-Arena: An Open Benchmark for Instructional Computer Vision Problem Solving with Human-AI Collaborative Preferences

CV-Arena: 面向教学计算机视觉问题求解的开放基准与人类-AI协作偏好

Fangzhou Lin, Peiran Li, Lingyu Xu, Wenjing Chen, Qianwen Ge, Shuo Xing, Mingyang Wu, Xiangbo Gao, Siyuan Yang, Kazunori Yamada, Ziming Zhang, Haichong Zhang, Zhen Dong, Ming-Hsuan Yang, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯A&M大学） ； Worcester Polytechnic Institute（沃斯特理工大学） ； Tohoku University（东北大学） ； Georgia Institute of Technology（佐治亚理工学院） ； NVIDIA（英伟达） ； UCSB（加州大学圣塔芭芭拉分校） ； UC Merced（加州大学默塞德分校） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出CV-Arena基准，包含12K高分辨率真实图像指令对，覆盖16种任务类型，并采用Active Elo协议结合人类与AI偏好评估21个系统，揭示指令遵循、物理推理等方面的差距，同时开发CV-Agent代理模型展示闭环推理的潜力。

Comments 26 pages, 7 figures, 11 tables

Limits of Spatial Imagery Reasoning in Frontier LLM Models

前沿大语言模型在空间意象推理中的局限性

Sergio Y. Hayashi, Nina S. T. Hirata

机构 * Institute of Mathematics and Statistics – University of São Paulo（数学统计研究所 – 圣保罗大学） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本研究通过引入外部“意象模块”辅助3D模型旋转任务，发现即使外包整体3D状态维护，前沿模型仍缺乏基础视觉空间原语，导致准确率最高仅62.5%。

Comments 25 pages. v2: Title updated; added a section on object/spatial imagery and propositional reasoning; added new experimental results for the single-object rotation probe

Towards Sparse Video Understanding and Reasoning

迈向稀疏视频理解与推理

Chenwei Xu, Zhen Ye, Shang Wu, Weijian Li, Zihan Wang, Zhuofan Xia, Lie Lu, Pranav Maneriker, Fan Du, Manling Li, Han Liu

机构 * Northwestern University（西北大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出一种多轮视频问答代理，通过稀疏帧选择、状态摘要和早期停止机制，在减少帧数和令牌数的同时提升准确率。

Comments Accepted to CVPR 2026. Project page: https://sparsevideounderstanding.github.io

MindZero: Learning Online Mental Reasoning With Zero Annotations

MindZero：零标注的在线心智推理学习

Shunchi Zhang, Jin Lu, Chuanyang Jin, Yichao Zhou, Zhining Zhang, Tianmin Shu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 提出MindZero框架，通过自监督强化学习训练多模态大语言模型，实现高效鲁棒的在线心智推理，无需显式心智状态标注。

Comments ICML 2026. Website: https://scai.cs.jhu.edu/MindZero

Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs

阅读，而非思考：理解并弥合多模态大语言模型中文本变为像素时的模态差距

Kaiser Sun, Xiaochuang Yuan, Hongjun Liu, Chen Zhao, Cheng Zhang, Mark Dredze, Fan Bai

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Amazon（亚马逊） ； New York University（纽约大学） ； Texas A&M University（德克萨斯大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 本文系统诊断多模态大语言模型在处理图像文本时的模态差距，发现其源于模型推理意愿不足而非感知失败，并提出一种轻量级自蒸馏方法有效弥合该差距。