视觉大模型 / VLM

StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design

StepX-Edge：一种通过架构-训练-部署协同设计的端侧用户界面视觉语言模型

Yin Wang, Haotian Hu, Jineng Han, Wentao Qiu, Zhenhua Ge, Liujian Tang, Fanyi Wang

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV

AI总结 研究旨在解决端侧视觉语言模型在准确性和效率间的矛盾，提出StepX-Edge模型，通过架构、训练和部署协同设计，在多项任务中表现出色，参数少且运行稳定，还将开源相关数据、方法和管道。

OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows

OS-Sentinel: 通过现实工作流中的混合验证实现安全增强的移动GUI代理

Qiushi Sun, Mukai Li, Zhoumianze Liu, Zhihui Xie, Fangzhi Xu, Zhangyue Yin, Kanzhi Cheng, Zehao Li, Zichen Ding, Qi Liu, Zhiyong Wu, Zhuosheng Zhang, Ben Kao, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 OS-Sentinel通过结合形式验证器和VLM上下文判断者，提升移动GUI代理的安全性，实验显示在多个指标上优于现有方法。

Comments ACL 2026 (Oral) & Best Paper at AIWILD @ ICLR 2026

AgenticNav: Zero-Shot Vision-and-Language Navigation as a Tool-Calling Harness

AgenticNav：零样本视觉与语言导航作为工具调用框架

Yijian Li, Changze Li, Hantian Shi, Jiaying Luo, Jiyuan Cai, Ming Yang, Tong Qin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 提出AgenticNav，通过将动作、深度和记忆作为可调用工具暴露给VLM，实现零样本连续环境导航，在R2R-CE基准上达到SOTA性能。

GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model

GemNav：使用多模态大语言模型的离散令牌视觉机器人导航

Peter Bohm, Saimunur Rahman, Abdelwahed Khamis, Sagun Man Singh Shrestha, Chris McCool, Peyman Moghadam

机构 * CSIRO Technology（联邦科学与工业研究组织） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究探索基于大型预训练模型的视觉机器人导航策略新方法，提出GemNav，仅对语言塔用LoRA适配冻结的多模态大语言模型用于中短程航点导航，无辅助视觉编码器等，在小语料库上零样本转移到未见环境，提供了数据高效、可部署的导航替代方案。

An Interactive Vision Language Platform for Cognitive Remediation in Schizophrenia

用于精神分裂症认知康复的交互式视觉语言平台

Nassira Ait Mehdi, Milissa Temmam, Slimane Larabi

机构 * Computer Science Faculty, USTHB University（USTHB大学计算机科学学院） ； RIIMA Laboratory（RIIMA实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对精神分裂症患者认知康复任务中动作评估依赖人工观察的问题，提出基于视觉语言模型的自动化框架，通过分析视频和微调模型验证动作，收集数据集评估，有效连接物理与临床反馈，提供可扩展客观方案。

StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents

StateAct：在像素之前的程序状态，用于长期计算机使用代理

Yan Yang, Xiangru Jian, Ziyang Luo, Zirui Zhao, Yutong Dai, Ziji Shi, Hanshu Yan, Jun Hao Liew, Silvio Savarese, Junnan Li

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 研究针对计算机使用代理，提出基于程序状态的StateAct多代理框架，主要代理用代码处理状态，GUI子代理辅助，支持验证，在OSWorld 2.0上提升了Claude Opus 4.8的成功率，且成本降低，实现从感知到推理的瓶颈转移。

UAV-ON: A Benchmark for Open-World Object Goal Navigation with Aerial Agents

UAV-ON：用于空中智能体的开放世界目标导航基准测试

Jianqiang Xiao, Yuexuan Sun, Yixin Shao, Boxi Gan, Rongqiang Liu, Yanjin Wu, Weili Guan, Xiang Deng

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 介绍用于空中智能体开放世界目标导航的UAV-ON基准测试，含14个环境及1270个目标对象，通过实例级指令编码。实现多种基线方法评估，结果凸显空中导航和语义目标基础的复合挑战，推动复杂环境下无人机可扩展自主性研究。

Comments Accepted to ACM MM 2025

VL-LN Bench: Towards Long-horizon Goal-oriented Navigation with Active Dialogs

VL-LN基准：通过主动对话实现长视界目标导向导航

Wensi Huang, Shaohao Zhu, Meng Wei, Siqi Zhang, Jinming Xu, Xihui Liu, Hanqing Wang, Tai Wang, Feng Zhao, Jiangmiao Pang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 VL-LN基准通过引入主动对话机制，提升长视界目标导向导航任务的性能和可靠性。