视觉大模型 / VLM

Segmentation before Answering: Pixel Grounding for MLLM Visual Reasoning

回答前分割：用于多模态大语言模型视觉推理的像素定位

Yake Wei, Yuan Wang, Fengyun Rao, Jing Lyu, Di Hu

专题命中 视觉推理 ：grounding(title,abstract)；visual reasoning(title)；MLLM(title)；multimodal large language model(abstract)

AI总结 本文针对多模态大语言模型视觉推理，提出SegAnswer方法，将放大单元从边界框转为像素级分割掩码，能精准定位感兴趣区域，过滤冗余信息，与视觉令牌构建方式更契合，经多基准测试验证了其在像素定位及分割任务上的性能。

VisCoP: Visual Probing for Video Domain Adaptation of Vision Language Models

VisCoP：用于视觉语言模型视频域适应的视觉探测

Dominick Reilly, Manish Kumar Govind, Le Xue, Srijan Das

机构 * University of North Carolina at Charlotte（北卡罗来纳州立大学查塔努加分校） ； Elorian AI（Elorian人工智能公司） 纠错

专题命中 视觉推理 ：vision language model(title,abstract)；VLM(abstract,abstract_cn)；visual reasoning(abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型在新领域性能下降问题，提出参数高效的VisCoP框架，通过可学习视觉探测器增强视觉编码器，在多种适应设置下评估，该框架优于现有策略，能有效适应新领域且保留源域能力。

Comments ECCV 2026

Foundation Models for Automatic CAD Generation

用于自动CAD生成的基础模型

J de Curtò, Victoria Guillén, I. de Zarzà

机构 * BARCELONA Supercomputing Center（巴塞罗那超级计算中心） ； Universidad Pontificia Comillas（庞培法布拉大学） ； Chung-Ang University（中央大学） ； LUXEMBOURG Institute of Science and Technology（卢森堡科学技术研究所） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 研究利用统一评估管道和基准，对用于机械零件自动CAD生成的基础模型展开实证。介绍LLMForge框架，通过两种批判机制评估七个基础模型，展示了紧凑模型的效果，以及VLM批判的作用，还探讨了相关设计及影响。

Comments Accepted as a book chapter in "Advances in Global Applied Artificial Intelligence" (G. A. Tsihrintzis, M. Virvou, N. G. Bourbakis, L. C. Jain, Eds.), authenticated version will be published in Springer series: Learning and Analytics in Intelligent Systems

Modality Relevance is not Modality Utility: Post-hoc Selective Modality Escalation for Cost-Aware Multimodal RAG

模态相关性并非模态效用：用于成本感知多模态RAG的事后选择性模态升级

Xue Li, Yiming Gai

机构 * Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北京航空航天大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 研究多模态检索增强生成中模态选择决策点问题，提出事后选择性模态升级方法，先低成本从文本和表格回答，再按需支付VLM证据费用，校准路由器决定是否升级，在MultiModalQA上减少视觉调用并缩小与神谕升级率差距，扩展了路由信号层次结构。

Ground3D-LMM: Fine-Grained 3D Point Grounding and Spatial Reasoning with LMM

Ground3D-LMM：基于LMM的细粒度3D点接地与空间推理

Amol Harsh, Zongyan Han, Jean Lahoud, Ye Liu, Rao Muhammad Anwer, Hisham Cholakkal, Salman Khan, Fahad Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Linköping University（林雪平大学） 纠错

专题命中 视觉推理 ：grounding(title,abstract)；分类 cs.CV

AI总结 研究3D环境自然语言查询的可操作性问题，提出Ground3D-LMM统一模型，以点云等为输入，支持3D空间对话，能给出基于点的响应和度量数值输出，通过定义新任务、引入数据集验证，为3D对话理解提供强大基线。

Comments ECCV 2026

BabyVision: Visual Reasoning Beyond Language

BabyVision：超越语言的视觉推理

Liang Chen, Weichu Xie, Yiyan Liang, Hongfeng He, Hans Zhao, Zhibo Yang, Zhiqi Huang, Haoning Wu, Haoyu Lu, Y. charles, Yiping Bao, Yuantao Fan, Guopeng Li, Haiyang Shen, Xuanzhong Chen, Wendong Xu, Shuzheng Si, Zefan Cai, Wenhao Chai, Ziqi Huang, Fangfu Liu, Tianyu Liu, Baobao Chang, Ming Wu, Xiaobo Hu, Kaiyuan Chen, Yixin Ren, Yang Liu, Yuan Gong, Kuan Li

机构 * UniPat AI ； xbench ； Alibaba Group（阿里巴巴集团） ； MoonShot AI ； StepFun ； Peking University（北京大学） ； Tsinghua University（清华大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Princeton University（普林斯顿大学） ； Nanyang Technological University（南洋理工大学） ； G Labs Equal Core Contributors（0G Labs 等核心贡献者） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV

AI总结 研究发现当代多模态语言模型依赖语言先验，在基本视觉任务上表现差。为此引入BabyVision基准评估其核心视觉能力，涵盖多任务。结果显示模型缺乏基本视觉原语，BabyVision的进展迈向人类水平视觉能力，还探索了用生成模型解决视觉推理的方法。

Comments 26 pages, Homepage at https://unipat.ai/blog/BabyVision

FORGE: Towards Functional Tool-Use Generalization via Keypoint Trajectory Reasoning

FORGE：通过关键点轨迹推理实现功能工具使用的泛化

Chuhao Zhou, Liquan Wang, Shuxin Cao, Xiangyu Chen, Yuxuan Hu, Boyu Ma, Animesh Garg, Jianfei Yang

机构 * MARS Lab, Nanyang Technological University（南洋理工大学MARS实验室） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对机器人功能工具使用泛化问题，提出FORGE两阶段策略，通过关键点轨迹推理解耦功能推理与动作执行，在七工具击打基准测试中，对未见工具表现优于现有方法，平均成功率显著提升。

Comments 15 pages, 8 figures, 6 tables

Progressive Reasoning with Primitive Correction for Compositional Zero-Shot Learning

基于原始校正的渐进推理用于组合零样本学习

Ziyi Chen, Haoyan Shi, Sunhan Xu, Congyan Lang

机构 * School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； Key Laboratory of Big Data & Artificial Intelligence in Transportation (Ministry of Education)（交通运输大数据与人工智能教育部重点实验室） 纠错

专题命中 视觉推理 ：MLLM(abstract)；分类 cs.CV

AI总结 研究组合零样本学习问题，提出PRPC框架，通过逐步推理明确建模属性和对象间双向依赖性，对原语相互校正，将其公式化为结构化推理过程并结合强化学习后训练，在基准测试中达最优性能。

OmniLayout: A Schematic-Coupled Multimodal Benchmark for Constraint-Aware Geometric Reasoning in PCB Layout

OmniLayout：用于印刷电路板布局中约束感知几何推理的原理图耦合多模态基准测试

Taiting Lu, Kaiyuan Lin, Mingjia Wang, Haolin Ye, Runze Liu, Yuxin Tian, Vahe Melkonyan, Haoyu Wang, Muchuan Wang, Chufan Hong, Yifan Yang, Sung-Liang Chen, Yi-Chao Chen, Yicheng Jin, Mahanth Gowda

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Shanghai Jiao Tong University（上海交通大学） ； Microsoft Research（微软研究院） ； Binghamton University（宾汉姆顿大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV

AI总结 介绍OmniLayout基准测试，用于评估大语言模型在印刷电路板布局放置推理。含1681个工业级原理图耦合PCB布局及四项任务，揭示当前大语言模型在PCB布局放置上有诸多局限。

EgoDyn-Bench: Evaluating Ego-Motion Understanding in Vision-Centric Foundation Models for Autonomous Driving

EgoDyn-Bench：评估面向自动驾驶的视觉中心基础模型中的自我运动理解

Finn Rasmus Schäfer, Yuan Gao, Dingrui Wang, Thomas Stauner, Stephan Günnemann, Mattia Piccinini, Sebastian Schmidt, Johannes Betz

机构 * Professorship of Autonomous Vehicle Systems, Technical University of Munich, Munich, Germany（自动驾驶车辆系统教授职位，慕尼黑技术大学，德国慕尼黑） ； Bayerische Motoren Werke AG, Munich, Germany（巴伐利亚发动机有限公司，德国慕尼黑） ； Data Analytics and Machine Learning Group, Technical University of Munich, Munich, Germany（数据分析与机器学习小组，慕尼黑技术大学，德国慕尼黑） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出EgoDyn-Bench基准，用于评估视觉中心基础模型的自我运动理解能力，发现模型在将物理逻辑与视觉感知结合时存在结构性缺陷，通过显式轨迹编码可恢复物理一致性。

Comments 36 Pages, Accepted at ECCV 2026

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1：推进统一多模态扩散语言模型的推理

Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

机构 * Adobe ； UCLA（加州大学洛杉矶分校） ； Georgia Tech（佐治亚理工学院） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV

AI总结 研究提出多模态通用推理dLLM LaViDa-R1，不同于现有工作，它以统一方式整合多任务，采用新颖统一训练后框架，集成监督微调与多任务强化学习，并运用多种训练技术，在多模态任务上展现强大性能。

Comments 28 pages, 11 figures

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models

ZeroBench：当代大型多模态模型的一个不可能的视觉基准测试

Jonathan Roberts, Mohammad Reza Taesiri, Ansh Sharma, Akash Gupta, Samuel Roberts, Ioana Croitoru, Simion-Vlad Bogolin, Jialu Tang, Florian Langer, Vyas Raina, Vatsal Raina, Hanyi Xiong, Vishaal Udandarao, Jingyi Lu, Shiyang Chen, Sam Purkis, Tianshuo Yan, Wenye Lin, Gyungin Shin, Qiaochu Yang, Anh Totti Nguyen, David I. Atkinson, Aaditya Baranwal, Alexandru Coca, Mikah Dang, Sebastian Dziadzio, Jakob D. Kunz, Kaiqu Liang, Alexander Lo, Brian Pulfer, Steven Walton, Charig Yang, Kai Han, Samuel Albanie

机构 * University of Cambridge（剑桥大学） ； University of Alberta（阿尔伯塔大学） ； The University of Hong Kong（香港大学） ； University of Oxford（牛津大学） ； Northeastern University（东北大学） ； Astadeus ； College of Southern Maryland（马里兰州南部学院） ； University of Geneva（日内瓦大学） ； University of Oregon（俄勒冈大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV

AI总结 针对大型多模态模型在图像解释方面不足但在现有视觉基准测试中优势易逝的问题，引入通过对抗过滤策划的ZeroBench基准测试，评估多个模型，展现其潜力并公开测试内容，为模型视觉能力评估提供长期有效的新基准。

Comments Accepted at ICML 2026

Retrieval over Reasoning: A Cost-Controlled Benchmark of Language Models for Energy-Retrofit Recommendation

基于推理的检索：用于能源改造推荐的语言模型成本控制基准

Eliseo Curcio

专题命中 视觉推理 ：grounding(abstract)

AI总结 研究为建筑推荐节能措施问题，通过树集成解决EUI预测，发现推荐任务框架影响模型选择，对八个大语言模型基准测试，表明其过度推荐，检索可缩小差距，还给出成本控制下模型的效果。

EAGOR: Embodied Reasoning in Omni-direction

EAGOR：全方位的具身推理

Shriram Damodaran, Soumyaratna Debnath, Yan Wu, Wei-Yun Yau, Addison Lin Wang

机构 * EmPACT Lab, NTU Singapore Institute for Infocomm Research, A*STAR Singapore（EmPACT实验室，南洋理工大学信息与通信研究所，A*STAR新加坡） 纠错

专题命中 视觉推理 ：vision language model(abstract)

AI总结 研究针对现有视觉语言模型在处理360°观测时方向估计不一致的问题，提出无需训练的几何感知框架EAGOR，将方向推理表述为球面上的递归贝叶斯估计，引入球谐信念场，实验证明其性能优于现有方法。

Comments 12 Pages, 7 Figures, 4 Tables

RoboTALES: Learning Reasoning-Guided Robot Policies via Task-Aligned Simulated Futures

RoboTALES：通过任务对齐的模拟未来学习推理引导的机器人策略

Hanan Gani, Tejal Kulkarni, Madhoolika Chodavarapu, Nicklas Hansen, Manmohan Chandraker

机构 * University of California, San Diego（加利福尼亚大学圣地亚哥分校） 纠错

专题命中 视觉推理 ：VLM(abstract)

AI总结 针对预训练视频生成模型用于机器人策略规划的局限，提出RoboTALES框架，通过基于分层语言模型的规划器和基于视觉语言模型的评论家两大创新，学习任务对齐的模拟未来以训练机器人策略，在多样操纵任务中表现优于现有方法。

Comments Accepted at ECCV 2026

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

Omni-RRM：通过基于自动评分标准的偏好合成推进全模态奖励建模

Zicheng Kong, Dehua Ma, Zhenbo Xu, Alven Yang, Yiwei Ru, Haoran Wang, Zixuan Zhou, Fuqing Bie, Liuyu Xiang, Huijia Wu, Jian Zhao, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； ShiFang Technology Inc.（ShiFang科技公司） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)

AI总结 研究针对多模态大语言模型对齐难题，提出全模态基于评分标准的奖励模型Omni-RRM。通过自动评分标准偏好合成构建数据集，用特定训练方案提升奖励辨别力，在多模态基准测试中达最优精度，还能指导选择与迁移，提升模型对齐能力。

Comments ECCV 2026