视觉大模型 / VLM

Reinforcing Dual-Path Reasoning in Spatial Vision Language Models

空间视觉语言模型中的双路径推理强化

Yatai Ji, An-Chieh Cheng, Yang Fu, Yukang Chen, Han Zhang, Zhaojing Yang, Wei Huang, Ka Chun Cheung, Song Han, Vidya Nariyambut Murali, Pavlo Molchanov, Jan Kautz, Simon See, Hongxu Yin, Ping Luo, Sifei Liu

机构 * The University of Hong Kong（香港大学） ； NVIDIA（英伟达） ； University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision language model(title)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出SR-REAL框架，通过强化学习融合语言推理和3D检测推理两条路径，显著提升空间VLM在复杂几何推理任务中的性能。

ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model

ThinkJEPA：赋予潜在世界模型大型视觉-语言推理能力

Haichao Zhang, Yijiang Li, Shwai He, Tushar Nagarajan, Mingfei Chen, Jianglin Lu, Ang Li, Yun Fu

机构 * Northeastern University（东北大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Maryland（马里兰大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Washington（华盛顿大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出ThinkJEPA框架，结合密集JEPA分支与稀疏VLM思考者分支，通过分层金字塔表示提取模块，实现细粒度运动建模与长程语义引导，在手部操作轨迹预测任务上超越基线。

Comments 10 pages, 5 figures

Moderating Illicit Online Image Promotion for Unsafe User-Generated Content Games Using Large Vision-Language Models

使用大型视觉语言模型审核不安全的用户生成内容游戏中的非法在线图像推广

Keyan Guo, Ayush Utkarsh, Wenbo Ding, Isabelle Ondracek, Ziming Zhao, Guo Freeman, Nishant Vishwamitra, Hongxin Hu

机构 * University at Buffalo（布法罗大学） ； Northeastern University（东北大学） ； Clemson University（克莱姆森大学） ； The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.LG

AI总结 针对社交媒体上非法推广不安全UGC游戏的图像，提出UGCG-Guard系统，利用大型视觉语言模型和条件提示策略实现零样本域适应，检测准确率达94%。

Comments In Proceedings of the 33rd USENIX Conference on Security Symposium (SEC '24), August 14-16, 2024

m2sv: A Scalable Benchmark for Map-to-Street-View Spatial Reasoning

m2sv: 地图到街景空间推理的可扩展基准

Yosub Shin, Michael Buriek, Igor Molybog

机构 * University of Hawai'i at M\=anoa, Honolulu, HI, USA 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 提出m2sv基准，通过匹配朝北俯视图与街景图像推断相机方向，评估VLM空间推理能力；最佳模型准确率65.2%，低于人类72.0%，揭示几何对齐与推理一致性的差距。

Bridging Modality Disconnect in Self-Reflection via Closed-Loop Visually Grounded Verification

通过闭环视觉基础验证弥合自我反思中的模态脱节

Haoyu Zhang, Yuwei Wu, Pengxiang Li, Xintong Zhang, Zhi Gao, Rui Gao, Mingyang Gao, Che Sun, Yunde Jia

机构 * Beijing Institute of Technology（北京理工大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出MIRROR框架，通过闭环视觉反思（草稿-批评-区域验证-修订）减少VLM幻觉，并构建ReflectV数据集训练视觉基础的多轮反思。

IndustryBench-MIPU: Benchmarking Multi-Image Attribute Value Extraction for Industrial Products

IndustryBench-MIPU：面向工业产品的多图像属性值提取基准

Haonan Qi, Jin Cao, Yongqi Zhang, Xintong Wang, Weidong Tang, Bin Chen, Chengfu Huo, Haojun Pan, Hengyu You, Jing Li, Yingde Wang, Liang Ding

机构 * Multimodal and Industrial AI Team（多模态与工业AI团队） ； Taobao&Tmall, Alibaba Group（淘宝&天猫，阿里巴巴集团） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出首个多图像工业产品理解基准IndustryBench-MIPU，通过结构化属性提取任务评估多模态大模型在规格表、铭牌、技术图纸上的文本识别、视觉推理、领域知识和跨图像证据整合能力，发现多图像完整性是核心瓶颈。

A Benchmark for Omni-Modal Reasoning in Long Videos

长视频全模态推理基准

Mohammed Irfan Kurpath, Jaseel Muhammad Kaithakkodan, Jinxing Zhou, Sahal Shaji Mullappilly, Mohammad Almansoori, Noor Ahsan, Beknur Kalmakhanbet, Sambal Shikhar, Rishabh Lalla, Jean Lahoud, Mariette Awad, Fahad Shahbaz Khan, Salman Khan, Rao Muhammad Anwer, Hisham Cholakkal

机构 * Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； American University of Beirut（贝鲁特美国大学） ； Linköping University（利尔贝里大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出LongShOTBench基准，用于评估长视频中视觉、语音和环境音频的全模态推理，并引入无训练的全模态证据搜索代理LongShOTAgent，在105个模型上取得最优性能。

ThinkingVLA: Interleaved Vision and Language Reasoning for Robotic Manipulation

ThinkingVLA：用于机器人操作的交叉视觉与语言推理

Tianyi Lu, Hui Zhang, Zijie Diao, Junke Wang, Shengqi Xu, Xingyao Lin, Guojin Zhong, Ziyi Ye, Peng Wang, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；grounding(abstract)

AI总结 提出ThinkingVLA，通过统一的多Transformer架构实现前向与逆向推理交织，显著提升长时域操作任务性能。

MathVis-Fine: Aligning Visual Supervision with Necessity via Progressive Dependency-Guided Training for Multimodal Mathematical Reasoning

MathVis-Fine：通过渐进式依赖引导训练将视觉监督与必要性对齐的多模态数学推理

Wanshi Xu, Haokun Zhao, Haidong Yuan, Songjun Cao, Long Ma

机构 * School of ECE, Peking University（北京大学电子与计算机工程学院） ； College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与技术学院） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 提出MathVis-Fine框架，通过构建细粒度视觉标注数据集和两阶段渐进式训练，根据样本的视觉依赖程度平衡答案正确性和视觉基础奖励，提升多模态数学推理的监督精度。

Disentangling Perception and Reasoning in Multimodal LLMs via Reward Design

通过奖励设计解耦多模态大语言模型中的感知与推理

Omar Sharif, Eftekhar Hossain, Nikhil Singh, Patrick Ng

机构 * Department of Computer Science, Dartmouth College（达特茅斯大学计算机科学系） ； Department of Computer Science, University of Central Florida（中央佛罗里达大学计算机科学系） ； Independent Researcher（独立研究者） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV

AI总结 研究多模态大模型中感知与推理的瓶颈，发现感知是主要约束，并通过奖励设计提升视觉基础推理，平均提升5.56分。

Comments 24 pages, 15 Figures, 10 Tables