视觉大模型 / VLM

Vision-Language Models for Deployable Social Robot Navigation: Bridging Semantic Reasoning and Low-Level Control

面向可部署社交机器人导航的视觉-语言模型：弥合语义推理与低级控制

Runji Cai, Toshihiko Yamasaki, Ling Xiao

机构 * Graduate School of Information Science and Technology, Hokkaido University（弘前大学信息科学与技术研究生院） ； Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；grounding(abstract)

AI总结 本文综述了将视觉-语言模型（VLM）集成到社交机器人导航中的方法，提出包含高层推理、低层控制及中间机制的统一框架，并讨论了关键挑战与未来方向。

One Forward Beats Two: InnerZoom for Accurate and Efficient GUI Grounding

一次前向胜过两次：InnerZoom 实现准确高效的 GUI 定位

Chen Liu, Ling Chen, Hanzhang Zhou, Liangyu Chen, Chenglin Cai, Xin Yu, Steven Hoi, Yue Wang

机构 * Alibaba Group（阿里巴巴集团） ； Tongyi Lab（通义实验室） ； University of Technology Sydney（悉尼大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出 InnerZoom 框架，通过跨层证据桥接在单次前向传播中实现精确 GUI 元素定位，无需额外裁剪重跑，在六个基准上达到最优性能，同时降低延迟和计算量。

Conformal Predictions for Human Action Recognition with Vision-Language Models

基于视觉-语言模型的人类动作识别中的置信域预测

Bary Tim, Fuchs Clément, Macq Benoît

机构 * ICTEAM, UCLouvain（鲁汶大学（法语区）ICTEAM研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨了如何利用置信域预测技术提升基于视觉-语言模型的人类动作识别系统可靠性，通过调整softmax温度参数减少候选类别数量，缓解长尾分布影响。

Comments 6 pages, 7 figures, Accepted to ICIP 2025 Workshops

Journal ref 2025 IEEE International Conference on Image Processing Workshops (ICIPW)

FutureNav: Unified World-Action Modeling for Vision-and-Language Navigation

FutureNav: 面向视觉与语言导航的统一世界-动作建模

Lingfeng Zhang, Zeying Gong, Xiaoshuai Hao, Haoxiang Fu, Qiang Zhang, Mingliang Zhou, Hangjun Ye, Xiaojun Liang, Junwei Liang, Wenbo Ding

机构 * Tsinghua University（清华大学） ； Pengcheng Laboratory（鹏城实验室） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Xiaomi EV（小米电动车） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)

AI总结 提出FutureNav，一种基于VLM的统一世界-动作建模框架，通过联合优化动作策略、逆/前向动力学和未来状态预测四个目标，在4B规模骨干上实现多VLN基准的最优性能。

EfficientUICoder: A Bidirectional Token Compression Framework for Efficient MLLM-Based UI Code Generation

EfficientUICoder: 一种用于高效基于多模态大语言模型的UI代码生成的双向标记压缩框架

Jingyu Xiao, Zhongyi Zhang, Yuxuan Wan, Yintong Huo, Yang Liu, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huazhong University of Science and Technology（华中科技大学） ； Singapore Management University（新加坡管理大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出EfficientUICoder，通过元素和布局感知标记压缩、区域感知标记精炼和自适应重复标记抑制，有效压缩UI代码生成的标记数量，提升生成效率和代码质量。

Comments Published in the Proceedings of the 2026 ACM International Conference on the Foundations of Software Engineering (FSE 2026)

Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction

通过通用关键帧提取桥接VideoQA和视频引导的智能体任务

Sunqi Fan, Qingle Liu, Runqi Yin, Meng-Hao Guo, Shuojin Yang

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出VG-GUIBench基准和TASKER关键帧提取算法，联合考虑任务相关性和场景动态，在VideoQA和视频引导的GUI任务上提升性能。

Comments Accepted by ECCV 2026. Project Page: https://vg-gui-tasker.github.io/

Grounding Sim-to-Real Generalization in Robotic Manipulation: An Empirical Study with Vision-Language-Action Models

在机器人操作中建立仿真到现实泛化：基于视觉-语言-动作模型的实证研究

Ruixing Jin, Zicheng Zhu, Ruixiang Ouyang, Sheng Xu, Bo Yue, Zhizheng Wu, Guiliang Liu

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title)；分类 cs.AI

AI总结 本文通过四个维度探讨仿真到现实泛化的决定因素，提出评估协议并释放资源以建立标准化基准，提升机器人操作策略的泛化能力。

Pause and Think: A Dataset and Benchmark for Video-Grounded Assistive Action Suggestion

暂停与思考：面向视频基础辅助动作建议的数据集与基准

Shivam Singh, Saptarshi Majumder, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

机构 * Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出 pause-and-think-T 数据集和 pause-and-think-B 基准，通过推理监督训练紧凑模型，在视频场景理解与目标规划任务中达到与大型模型相当的性能。

Comments Accepted in IROS 2026 (IEEE/RSJ International Conference on Intelligent Robots and Systems)

Efficient-VLN: A Simple yet Strong Baseline for Efficient Vision-Language Navigation

Efficient-VLN: 一种高效且强大的视觉语言导航基线

Duo Zheng, Shijia Huang, Yanyang Li, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Weitu AI 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 Efficient-VLN通过三个简单有效机制解决视觉语言导航中的系统瓶颈，提升推理效率和训练稳定性，在R2R-CE和RxR-CE基准上取得新突破。

OLiVia-Nav: An Online Lifelong Vision Language Approach for Mobile Robot Social Navigation

OLiVia-Nav: 一种面向移动机器人社交导航的在线终身视觉语言方法

Siddarth Narasimhan, Aaron Hao Tan, Daniel Choi, Goldie Nejat

机构 * University of Toronto（多伦多大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)

AI总结 OLiVia-Nav通过融合视觉语言模型与在线终身学习框架，实现机器人社交导航中的社会规范适应与动态轨迹规划，优于现有方法。

GUICrafter: Weakly-Supervised GUI Agent Leveraging Massive Unannotated Screenshots

GUICrafter: 利用海量无标注截图的弱监督GUI智能体

Sunqi Fan, Lingshan Chen, Runqi Yin, Qingle Liu, Yongming Rao, Meng-Hao Guo, Shi-Min Hu

机构 * Tsinghua University（清华大学） ； Tencent Hunyuan（腾讯文脉） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出GUICrafter，一种利用海量无标注截图通过课程学习框架训练GUI智能体的弱监督方法，显著降低对人工标注的依赖，在极少量标注数据下性能超越UI-TARS等先进系统。

RadarTwin: Scene-Specific mmWave Radar Simulation and Learning for Mobile Indoor Perception

RadarTwin：面向移动室内感知的场景特定毫米波雷达仿真与学习

Emily Bejerano, Federico Tondolo, Devang Gupta, Aaron Mano Cherian, Taeyoo Kim, Ayaan Qayyum, Xiaofan Yu, Xiaofan Jiang

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出RadarTwin框架，利用3D重建和视觉语言模型推断材料属性，通过物理射线追踪合成FMCW雷达数据，解决雷达数据稀缺问题，仿真训练模型在真实场景中识别物体准确率达95.3%。

CAPTCHA Solving for Native GUI Agents: Automated Reasoning-Action Data Generation and Self-Corrective Training

针对原生GUI代理的CAPTCHA解决：自动化推理-行动数据生成与自我纠正训练

Yuxi Chen, Haoyu Zhai, Chenkai Wang, Rui Yang, Lingming Zhang, Gang Wang, Huan Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ReCAP，一种能解决现代交互式CAPTCHA挑战的原生GUI代理，通过自动化数据生成和自我纠正训练提升CAPTCHA解决能力，同时保持通用GUI任务性能。

Comments Accepted to ICML 2026

STEMGym: Benchmarking Sequential Decision-Making under Dose Budgets in Autonomous Electron Microscopy

STEMGym: 自主电子显微镜中剂量预算下的序列决策基准测试

Can Polat, Erchin Serpedin, Mustafa Kurban, Hasan Kurban

机构 * Dept. of Electrical & Computer Eng.（电气与计算机工程系） ； Texas A&M Univ.（德克萨斯A&M大学） ； Dept. of Prosthetics & Orthotics（假肢与矫形学系） ； College of Science & Eng.（科学与工程学院） ； Ankara Univ.（安卡拉大学） ； Hamad Bin Khalifa Univ. and Texas A&M Univ. at Qatar（哈马德·本·卡西姆大学和德克萨斯A&M大学（卡塔尔）） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.LG

AI总结 通过15个物理模拟的STEM环境基准，发现感知管道（CNN分析师）是剂量效率的主要决定因素，而非导航策略，为自主电子显微镜的机器学习投入方向提供新视角。