视觉大模型 / VLM

Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models

罗马尼亚视觉语言模型的参数高效多模态指令微调

George-Andrei Dima, Răzvan-Alexandru Smădu, Dumitru-Clementin Cercel

机构 * National University of Science and Technology（科学技术大学） 纠错

专题命中 视觉问答 ：vision language model(title)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.AI、cs.LG

AI总结 针对罗马尼亚语这种低资源语言，通过翻译并扩展Flickr30K数据集，采用参数高效的LoRA方法微调开源视觉语言模型来降低多模态NLP资源差距，模型在视觉问答等任务中能力提升且语法错误减少。

Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain

Robobench：作为具身大脑的多模态大语言模型的综合评估基准

Yulin Luo, Chun-Kai Fan, Menghang Dong, Jiayu Shi, Xiangju Mi, Mengdi Zhao, Bo-Wen Zhang, Cheng Chi, Jiaming Liu, Gaole Dai, Rongyu Zhang, Ruichuan An, Kun Wu, Zhengping Che, Shaoxuan Xie, Guocai Yao, Zhongxia Zhao, Pengwei Wang, Guang Liu, Zhongyuan Wang, Tiejun Huang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息多媒体国家重点实验室，计算机学院，北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute for Brain and Intelligence, Fudan University（脑与智能研究院，复旦大学） ； University of Science and Technology Beijing（北京科技大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对在动态非结构化环境中构建能感知、推理和行动的机器人的挑战，介绍RoboBench基准，涵盖多维度、多任务等，能评估多模态大语言模型，揭示其局限性并分析与下游控制关系，为量化高级认知提供支架。

Comments ECCV 2026 Camera Ready

SpatialThinker: Reinforcing Scene Graph-Grounded Spatial Reasoning via Dense Rewards

空间思考者：通过密集奖励强化场景图基础的空间推理

Hunar Batra, Haoqin Tu, Hardy Chen, Yuanze Lin, Cihang Xie, Ronald Clark

机构 * University of Oxford（牛津大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 研究针对多模态大语言模型空间推理难题，提出SpatialThinker，通过在线强化学习统一场景图生成与视觉推理，构建心理场景图并借助密集奖励推理，贡献包括基于SGG推理、高质量训练数据集及密集奖励设计。

Comments Preprint. Accepted at NeurIPS 2025 Workshops on SPACE in Vision, Language, and Embodied AI (SpaVLE) as Oral, Embodied World Models for Decision Making (EWM), Aligning Reinforcement Learning Experimentalists and Theorists (ARLET), and Scaling Environments for Agents (SEA)

Towards Spatial Trace with Reasoning in Vision-Language Models for Robotics

面向机器人视觉-语言模型的具有推理能力的空间轨迹

Enshen Zhou, Yibo Li, Jingkun An, Jiayuan Zhang, Shanyu Rong, Mengzhen Liu, Yi Han, Yuheng Ji, Huajie Tan, Jiawei He, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Lu Sheng, Shanghang Zhang

专题命中 视觉推理 ：vision-language model(title)；VLM(abstract)；分类 cs.CV

AI总结 本文提出RoboTracer，一种3D感知的视觉语言模型，通过空间编码器和回归监督解码器提升空间推理能力，并结合强化学习训练实现多步度量推理，最终在复杂场景中实现高效空间轨迹生成。

Comments Accepted to ECCV 2026. Project page: https://zhoues.github.io/RoboTracer

SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning

SpecEyes: 通过推测感知和规划加速代理多模态大语言模型

Haoyu Huang, Jinfa Huang, Zhongwei Wan, Xiawu Zheng, Rongrong Ji, Jiebo Luo

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 SpecEyes通过推测规划框架减少代理多模态大语言模型的序列开销，提升并发性能，实验显示在保持准确性的同时实现1.1-3.35倍的加速。

Comments ECCV 2026, Code: https://github.com/MAC-AutoML/SpecEyes

Rational Inverse Reasoning: Few-Shot Imitation by Inferring Intent through Planning

理性逆推理：通过规划推断意图进行少样本模仿

Ben Zandonati, Tomás Lozano-Pérez, Leslie Pack Kaelbling

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 研究人类能从少量示范学习新操作任务，而现代机器人模仿学习需大量示范且适应性差的差距。提出理性逆推理，将少样本模仿视为对潜在解释程序的推理，通过视觉语言模型和分层规划器迭代优化候选集，在少样本设置中表现优于基线。

VKnowU: Evaluating Visual Knowledge Understanding in Multimodal LLMs

VKnowU：评估多模态语言模型中的视觉知识理解

Tianxiang Jiang, Sheng Xia, Yicheng Xu, Linquan Wu, Xiangyu Zeng, Limin Wang, Yu Qiao, Yi Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shanghai Innovation Institute（上海创新研究院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究多模态大语言模型视觉知识理解能力，提出VKnowU基准测试。评估28个模型，发现与人类表现有差距。引入新数据集和VideoKnow+基线模型，采用结构化范式和强化学习，提升模型表现。

Comments Accepted by ECCV 2026. https://github.com/OpenGVLab/VKnowU

VLMEvalKit: An Open-Source Toolkit for Evaluating Large Multi-Modality Models

VLMEvalKit：用于评估大型多模态模型的开源工具包

Haodong Duan, Xinyu Fang, Junming Yang, Xiangyu Zhao, Zerun Ma, Yuxuan Qiao, Mo Li, Tianhao Liang, Lin Zhu, Amit Agarwal, Xiaozhe Li, Shengyuan Ding, Jiazi Bu, Ziyu Liu, Zhangyang Qi, Yifei Li, Yuhang Zang, Zhe Chen, Lin Chen, Yuan Liu, Yubo Ma, Hailong Sun, Yifan Zhang, Shiyin Lu, Tack Hwa Wong, Weiyun Wang, Peiheng Zhou, Chaoyou Fu, Junbo Cui, Jixuan Chen, Enxin Song, Song Mao, Junming Lin, Xilin Wei, Jinsong Li, Zeyi Sun, Zhaowei Wang, Zicheng Zhang, Xiaoyi Dong, Junjun He, Pan Zhang, Jiaqi Wang, Dahua Lin, Kai Chen

机构 * VLMEvalKit Team（VLMEvalKit团队） ； Community Contributors（社区贡献者） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV

AI总结 VLMEvalKit是基于PyTorch的开源工具包，为评估多模态模型提供框架。实现450+模型配置，支持330+基准测试，有单一接口，自动处理多项任务，还扩展到多领域，基于其结果有OpenVLM Leaderboard。

Comments Updated on 2026.07.05

Zero-Shot Distracted Driver Detection via Vision Language Models with Double Decoupling

基于双解耦视觉语言模型的零样本分心驾驶员检测

Takamichi Miyata, Sumiko Miyata, Andrew Morris

机构 * Chiba Institute of Technology（千叶工业大学） ； Institute of Science Tokyo（东京科学大学） ； Loughborough University（拉夫堡大学） 纠错

专题命中 视觉定位与Grounding ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出一种主体解耦框架，通过提取驾驶员外观嵌入并从图像嵌入中移除其影响，再结合度量投影正交化文本嵌入，实现零样本分心驾驶检测，显著提升实际场景性能。

Comments Accepted to IEEE 15th International Symposium on Communication Systems, Networks and Digital Signal Processing (CSNDSP 2026)

HKVLM: Faithful Query--Region Binding for Frozen-Detector Visual Grounding

HKVLM：通过将语言查询绑定到冻结检测器实现忠实推理定位

Bo Ma

机构 * Bo Ma 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出HKVLM框架，通过将定位从语言路径中分离，利用冻结检测器和语言模型，仅训练轻量对齐钩子实现推理定位，在少样本冷启动场景下显著提升定位精度并减少幻觉。

Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models

检索头能看见图像吗？长上下文视觉语言模型中的多模态检索头

Aaron Branson Cigres Li, Zhaowei Wang, Yu Zhao, Yiming Du, Haobo Li, Xiyu Ren, Ginny Wong, Simon See, Lishu Luo, Haodong Duan, Pasquale Minervini, Yangqiu Song

机构 * HKUST（香港科技大学） ； University of Edinburgh（爱丁堡大学） ； CUHK（香港中文大学） ； NVAITC, NVIDIA, Santa Clara, USA（NVIDIA Santa Clara 分公司） ； Tsinghua University（清华大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出一种多模态检索头检测方法，发现视觉语言模型中仅有4.4-10.2%的注意力头贡献了50%的正检索分数，这些头对长上下文推理至关重要，且可直接用于文档检索提升性能。

Comments Work in Progress

Dissociative Identity: Language Model Agents Lack Grounding for Reputation Mechanisms

分离性身份：语言模型代理缺乏声誉机制的基础

Botao Amber Hu, Helena Rong, Max Van Kleek

机构 * University of Oxford（牛津大学） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.AI

AI总结 本文指出语言模型代理因本体上的分离性（模块可替换、身份流动）而无法满足声誉机制所需的身份持续性、行为可预测性和制裁敏感性，从而提出转向基于可观察性、事前、构成性、协议的行为约束。

Comments Accepted by FaccT 2026

CABTO: Context-Aware Behavior Tree Grounding for Robot Manipulation

CABTO：面向机器人操作的上下文感知行为树接地

Yishuai Cai, Xinglin Chen, Yunxin Mao, Kun Hu, Yaodong Yang, Yuanpei Chen, Wenjing Yang, Ji Wang, Minglong Li

机构 * National University of Defense Technology（国防科技大学） ； PsiBot ； Peking University（北京大学） ； PKU-Psibot Lab（北京大学-PsiBot实验室） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.AI

AI总结 本文提出CABTO框架，通过预训练大模型和上下文反馈，自动构建完整且一致的行为树系统，解决机器人操作中行为树接地的复杂性问题。

VLMGuard: Bootstrapping Malicious Prompt Detectors from Unlabeled Vision-Language Prompts in the Wild

VLMGuard：从野生未标记视觉语言提示中引导恶意提示检测器

Junlin Fang, Wenyu Chen, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor R. Carvalho, Emily Lawton, Sharon Li, Jack W. Stokes, Sean Du

机构 * College of Computing and Data Science（计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） ； School of Physical and Mathematical Sciences（物理与数学科学学院） ； Microsoft Corp.（微软公司） ； Department of Computer Sciences（计算机科学系） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视觉定位与Grounding ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 研究针对视觉语言模型易受恶意输入影响的问题，提出VLMGuard框架，利用野生未标记用户提示，通过自动恶意估计分数区分良性和恶意样本，训练二进制提示分类器，无需额外人工标注，效果优于现有方法。

Comments Accepted to Transactions on Machine Learning Research (07/2026)

Language-Guided Grasping under Partial Observation for Mobile Manipulation in Field Inspection and Maintenance

用于现场检查和维护中移动操作的部分观察下语言引导抓取

Dilermando Almeida, Juliano Negri, Guilherme Lazzarini, Thiago H. Segreto, Ranulfo Bezerra, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker

机构 * Department of Mechanical Engineering, Federal University of Uberlândia（联邦大学伯南迪利亚机械工程系） ； Department of Mechanical Engineering, University of São Paulo（圣保罗大学机械工程系） ； Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） ； Faculdade Israelita de Ensino e Pesquisa Albert Einstein, Hospital Israelita Albert Einstein（艾伯特·爱因斯坦以色列教学与研究学院，艾伯特·爱因斯坦医院） 纠错

专题命中 视觉定位与Grounding ：VLM(title)；分类 cs.LG

AI总结 提出用于腿部移动操纵器在部分观察下的语言引导抓取流程，经多步骤处理，在四足机器人上实现并评估，相比基线提高抓取成功率，提升语言引导抓取可靠性。

Towards Open-World Referring Expression Comprehension: A Benchmark with Training-free Multi-task Consistency Checker

迈向开放世界的指代表达理解：一种无需训练的多任务一致性检查器基准

Zongjian Wu, Lei Zhang

机构 * School of Microelectronics and Communication Engineering, Chongqing University, Chongqing, China（微电子与通信工程学院，重庆大学，重庆，中国） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 针对现有指代表达理解（REC）基准局限于简单场景和单目标假设的问题，提出OpenRef基准，涵盖多样视觉场景、可变目标数量和丰富词汇类型，并引入无需训练的多任务一致性检查器（MCC）以提升模型在开放世界中的性能。

Comments 23 pages, 7 figures. Project Page: https://zongjianwu.github.io/openref

VLOD-TTA: Test-Time Adaptation of Vision-Language Object Detectors

VLOD-TTA: 视觉语言目标检测器的测试时适应

Atif Belal, Heitor R. Medeiros, Marco Pedersoli, Eric Granger

机构 * International Laboratory on Learning Systems (ILLS)（国际学习系统实验室（ILLS）） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出VLOD-TTA，通过密集提案重叠和图像条件提示实现低开销的视觉语言目标检测器测试时适应，优于现有方法。

Journal ref European Conference on Computer Vision (ECCV 2026)

Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models

组合泛化要求视觉嵌入模型具有线性、正交表示

Arnas Uselis, Andrea Dittadi, Seong Joon Oh

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 研究组合泛化中表示结构需满足的条件，通过形式化三个需求得出其几何约束，为线性表示假设提供理论基础，还推导维度界限并通过实验验证，揭示模型表示结构与组合泛化的关联。

Comments ICML 2026

Boundary Degree as a Node-level Feature for Epidemic Scenario Identification in Agent-based Cascade Simulations

边界度作为基于智能体的级联模拟中流行病场景识别的节点级特征

Amro Alabsi Aljundi, Galen Harrison, Jiangzhuo Chen, Abhijin Adiga, Anil Kumar Vullikanti, Madhav V. Marathe

机构 * Biocomplexity Institute（生物复杂性研究所） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 提出边界度作为节点级级联特征，通过消融实验证明其单独提升场景识别准确率19%，并理论证明无边界或边信息时某些场景不可区分。

Comments 28 pages, 10 figures, preliminary version; not final

A 10,000-Year Global Stochastic Tropical Cyclone Catalog with Wind-Dependent Track Transitions (WHITS)

具有风依赖性路径转换的10,000年全球随机热带气旋目录（WHITS）

Jennifer Nakamura, Upmanu Lall

机构 * Lamont-Doherty Earth Observatory, Columbia University（哥伦比亚大学拉蒙特-多赫蒂地球观测站） ； School of Complex Adaptive Systems, Arizona State University（亚利桑那州立大学复杂适应系统学院） ； Earth and Environmental Engineering, Columbia University（哥伦比亚大学地球与环境工程系） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 本文提出WHITS方法，通过非参数半马尔可夫路径生成器生成全球10,000年合成气旋目录，以提高保险损失评估的可靠性。

AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis

AnchorDream：将视频扩散用于具身感知机器人数据合成

Junjie Ye, Rong Xue, Basile Van Hoorick, Pavel Tokmakov, Muhammad Zubair Irshad, Yue Wang, Vitor Guizilini

机构 * Toyota Research Institute（丰田研究院） ； USC Physical Superintelligence (PSI) Lab（USC物理超智能（PSI）实验室） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 针对机器人示范数据收集瓶颈，AnchorDream利用预训练视频扩散模型，通过机器人运动渲染来合成数据，无需环境建模，从少量示范生成多样高质量数据集，提升下游策略学习。

Comments Project page: https://jay-ye.github.io/AnchorDream/

Diffusion Models are Open-World Affordance Learners: Leveraging Generative Priors for 3D Affordance Learning

扩散模型是开放世界的功能学习器：利用生成先验进行3D功能学习

Hanqing Wang, Zhenhao Zhang, Kaiyang Ji, Mingyu Liu, Wenti Yin, yuchao chen, Zhirui Liu, Xiangyu Zeng, Tianxiang Gui, Hangxing Zhang, Jiahao Yuan, Zhiqing Cui, Jiaxin Liu, Zhiyuan Ma, Hui Xiong

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； ShanghaiTech University（上海科技大学） ； Zhejiang University（浙江大学） ； Nanjing University（南京大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV

AI总结 研究3D功能基础问题，利用文本到图像扩散模型提取先验知识，提出基于扩散的DAG框架用于3D功能预测，通过实验证明其优于现有方法且泛化能力强。

Glance-Say: Multimodal Human-Robot Collaboration and Intent Recognition via Sticky Glance

Glance-Say：通过粘性注视实现多模态人机协作与意图识别

Yuzhi Lai, Shenghai Yuan, Peizheng Li, Benjamin Kiefer, Andreas Zell

机构 * University of Tuebingen（图宾根大学） ； Nanyang Technological University（南洋理工大学） ； Mercedes-Benz（梅赛德斯-奔驰） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 针对运动障碍者，本文提出多模态交互框架，用粘性注视算法稳定基于注视的意图，引入注视-语音交互范式及共享控制方案，实验表明其在目标跟踪、选择精度及任务时长上效果更佳。

Comments 8 pages, 6 figures

Machine Learning Hamiltonians are Accurate Energy-Force Predictors

机器学习哈密顿量是精确的能量-力预测器

Seongsu Kim, Chanhui Lee, Yoonho Kim, Seongjun Yun, Honghui Kim, Nayoung Kim, Changyoung Park, Sehui Han, Sungbin Lim, Sungsoo Ahn

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究现有哈密顿量模型作为能量-力预测器表现不明的问题，通过直接从预测哈密顿量计算能量和力的基准测试填补空白，提出QHFlow2模型并展示其优势及与模型容量和数据的关系

Comments 2026 ICML poster accepted

Re:Form -- Reducing Human Annotations in Scalable Formal Software Verification with RL in LLMs: A Preliminary Study on Dafny

Re:Form——利用大语言模型中的强化学习减少可扩展形式化软件验证中的人工标注：关于Dafny的初步研究

Chuanhao Yan, Fengdi Che, Xuhan Huang, Xu Xu, Xin Li, Yizhi Li, Xingwei Qu, Jingzhe Shi, Chenghua Lin, Yaodong Yang, Binhang Yuan, Hang Zhao, Yu Qiao, Bowen Zhou, Jie Fu

机构 * Shanghai AI Lab（上海人工智能实验室） ； University of Alberta（阿尔伯塔大学） ； Tsinghua University（清华大学） ； Chinese University of Hong Kong, Shenzhen（香港大学（深圳）） ； Hong Kong University of Science and Technology（香港科技大学） ； Nanyang Technological University（南洋理工大学） ； University of Manchester（曼彻斯特大学） ； Peking University（北京大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 研究利用形式语言Dafny减少人工标注，核心方法是引入自动可扩展数据处理流程及结合形式语言验证器反馈的强化学习设计，主要贡献是提升模型在DafnyComp基准测试表现。

Comments Published in Transactions on Machine Learning Research (TMLR), 05/2026. Reviewed on OpenReview: https://openreview.net/forum?id=cAQmIS4GOe

Agentic Services Computing

智能服务计算

Shuiguang Deng, Hailiang Zhao, Ziqi Wang, Wenzhuo Qian, Xiang Ao, Guanjie Cheng, Jianwei Yin, Albert Y. Zomaya, Schahram Dustdar

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 探讨服务计算范式转变带来的新问题，基于现有研究基础，引入智能服务计算，扩展服务计算范畴，为未来服务生态系统奠定以服务为中心的基础，实现对自治代理的系统管理。

Planning with the Views

通过场景自我探索进行视图规划

Kangrui Wang, Linjie Li, Zhengyuan Yang, Shiqi Chen, Zihan Wang, Li Fei-Fei, Jiajun Wu, Leonidas Guibas, Lijuan Wang, Manling Li

机构 * Northwestern University（西北大学） ； University of Washington（华盛顿大学） ； Microsoft（微软） ； University of Oxford（牛津大学） ； Stanford University（斯坦福大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出ViewSuite基准测试揭示VLM在多步视图规划中的不足，并设计迭代框架通过自我探索和视图图蒸馏将Qwen2.5-VL-7B的交互式视图规划准确率从2.5%提升至47.8%。

Three-Step Nav: A Hierarchical Global-Local Planner for Zero-Shot Vision-and-Language Navigation

三步导航：一种用于零样本视觉-语言导航的分层全局-局部规划器

Wanrong Zheng, Yunhao Ge, Laurent Itti

机构 * University of Southern California（南加州大学） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出三步导航方法，通过全局-局部分层规划解决零样本视觉-语言导航中的漂移和低成功率问题，无需梯度更新或微调，实现最先进的性能。

Comments Accepted to AISTATS 2026. Code: https://github.com/ZoeyZheng0/3-step-Nav

Journal ref Proceedings of the 29th International Conference on Artificial Intelligence and Statistics (AISTATS), 2026

Web-CogReasoner: Towards Multimodal Knowledge-Induced Cognitive Reasoning for Web Agents

Web-CogReasoner：迈向用于网络智能体的多模态知识诱导认知推理

Yuhan Guo, Cong Guo, Aiwen Sun, Hongliang He, Xinyu Yang, Yue Lu, Yingji Zhang, Xuntao Guo, Dong Zhang, Jianzhuang Liu, Jiang Duan, Yijia Xiao, Liangjian Wen, Hai-Ming Xu, Yong Dai

机构 * Southwestern University of Finance and Economics（西南财经大学） ； Shanghai Jiao Tong University（上海交通大学） ； Central South University（中南大学） ； Hithink Research（Hithink研究） ； Westlake University（西湖大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； University of Manchester（曼彻斯特大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Adelaide（阿德莱德大学） ； Fudan University（复旦大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Chengdu Everimaging Science and Technology Co., Ltd（成都亿联科技有限公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 研究将网络智能体能力分解为知识内容学习和认知过程两阶段，提出框架分类知识，构建数据集，基于此用新推理框架开发训练智能体，实验显示其优势，还引入评估套件。

Comments Accepted to ICLR 2026. Our code and data is released at https://github.com/Gnonymous/Web-CogReasoner

MUSON: A Reasoning-oriented Multimodal Dataset for Socially Compliant Navigation in Urban Environments

MUSON：用于城市环境中社会合规导航的面向推理的多模态数据集

Zhuonan Liu, Xinyu Zhang, Zishuo Wang, Runji Cai, Tomohito Kawabata, Qianyi Li, Xuance Peng, Tianze Yu, Zhen Xiong, Xuesu Xiao, Ling Xiao

机构 * Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学研究生院） ； Graduate School of Computer Science, George Mason University（乔治·马歇尔大学计算机科学研究生院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究社会合规导航问题，利用视觉语言模型，引入含10110个自我中心样本的多模态数据集MUSON，采用五步注释框架，为推进该导航提供有效基准。