视觉大模型 / VLM - arXivDaily 专题

2508.16165 2026-04-13 cs.SE cs.AI cs.HC 83%

Investigating Multimodal Large Language Models to Support Usability Evaluation

探究多模态大语言模型以支持可用性评估

Sebastian Lubos, Alexander Felfernig, Damian Garber, Gerhard Leitner, Julian Schwazer, Manuel Henrich

机构 * Graz University of Technology（格拉茨技术大学）； University of Klagenfurt（克拉根福大学）； UNiQUARE Software Development GmbH（UNiQUARE软件开发有限公司）

专题命中 GUI与屏幕智能体：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结本文探讨了多模态大语言模型在可用性评估中的应用，通过优先级问题框架识别并排名可用性问题，比较了MLLM与专家评估结果，展示了交互可视化工具，并提出整合MLLM评估到实际开发流程的概念。

Comments To appear in the Proceedings of IEA/AIE 2026, Springer LNAI

2604.09155 2026-04-13 cs.LG cs.AI 73%

CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation

CORA: 为保障移动GUI自动化设计的符合性风险控制代理

Yushi Feng, Junye Du, Qifan Wang, Zizhan Ma, Qian Niu, Yutaka Matsuo, Long Feng, Lequan Yu

机构 * The University of Hong Kong（香港大学）； The Chinese University of Hong Kong（香港中文大学）； The University of Tokyo（东京大学）

专题命中 GUI与屏幕智能体：vision language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

AI总结 CORA通过统计保障减少有害操作，利用Guardian模型评估行动风险并校准执行/中止边界，结合Goal-Lock机制和Phone-Harm基准验证其在自主GUI执行中的安全性与实用性。

2604.09535 2026-04-13 cs.CV 70%

EgoTL: Egocentric Think-Aloud Chains for Long-Horizon Tasks

EgoTL：用于长时任务的目视思考链

Lulin Liu, Dayou Li, Yiqing Liang, Sicong Jiang, Hitesh Vijay, Hezhen Hu, Xuhai Xu, Zirui Liu, Srinivas Shakkottai, Manling Li, Zhiwen Fan

机构 * UMN（明尼苏达大学）； TAMU（德克萨斯农工大学）； Brown University（布朗大学）； McGill University（麦吉尔大学）； UT Austin（德克萨斯大学奥斯汀分校）； Columbia University（哥伦比亚大学）； Northwestern University（西北大学）

专题命中 GUI与屏幕智能体：VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结本文提出EgoTL，通过构建目视思考链管道，提升长时任务中视觉语言模型和世界模型的推理与规划能力，发现基础模型在作为目视助手或开放世界模拟器方面仍有不足。

Comments https://ego-tl.github.io/

2604.08762 2026-04-13 cs.CV cs.AI 62%

InstrAct: Towards Action-Centric Understanding in Instructional Videos

InstrAct：迈向指令视频中的动作中心理解

Zhuoyi Yang, Jiapeng Yu, Reuben Tan, Boyang Li, Huijuan Xu

机构 * Pennsylvania State University（宾夕法尼亚州立大学）； Microsoft Research（微软研究院）； Nanyang Technological University（南洋理工大学）

专题命中 GUI与屏幕智能体：grounding(abstract)；分类 cs.CV、cs.AI

AI总结本文提出InstrAction框架，通过数据驱动策略和辅助目标提升指令视频中动作识别与建模，建立InstrAct基准测试集，优于现有视频基础模型。

2604.02241 2026-04-13 cs.CV cs.RO 57%

UAV-Track VLA: Embodied Aerial Tracking via Vision-Language-Action Models

UAV-Track VLA: 通过视觉-语言-动作模型实现具身空中跟踪

Qiyao Zhang, Shuhua Zheng, Jianli Sun, Chengxiang Li, Xianke Wu, Zihan Song, Zhiyong Cui, Yisheng Lv, Yonglin Tian

机构 * Beijing Institute of Technology（北京理工大学）； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）； University of Sanya（三亚学院）； Beijing University of Posts and Telecommunications（北京邮电大学）； Hunan University（湖南大学）； Beihang University（北京航空航天大学）； Flying Intelligence Team (Virtual Research Community)（飞行智能团队（虚拟研究社区））

专题命中 GUI与屏幕智能体：grounding(abstract)；分类 cs.CV

AI总结本文提出UAV-Track VLA模型，通过视觉-语言-动作融合解决动态城市场景中的具身跟踪问题，提升UAV的实时控制性能。

2512.19396 2026-04-13 cs.AI 57%

EchoTrail-GUI: Building Actionable Memory for GUI Agents via Critic-Guided Self-Exploration

EchoTrail-GUI: 通过批评者引导的自我探索构建可操作的记忆以改进GUI代理

Runze Li, Yuwen Zhai, Bo Xu, LiWu Xu, Nian Shi, Wei Zhang, Ran Lin, Liang Wang

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）； East China Normal University（华东师范大学）； Shanghai Innovation Institute（上海创新研究院）

专题命中 GUI与屏幕智能体：vision-language model(abstract)；分类 cs.AI

AI总结本文提出EchoTrail-GUI框架，通过动态记忆系统提升GUI代理任务成功率和效率，验证了结构化记忆在GUI自动化中的有效性。

Comments CVPR 2026 Findings

2604.09462 2026-04-13 cs.RO 50%

Adaptor: Advancing Assistive Teleoperation with Few-Shot Learning and Cross-Operator Generalization

Adaptor：通过少样本学习和跨操作者泛化提升辅助远程操作

Yu Liu, Yihang Yin, Tianlv Huang, Fei Yan, Yuan Xu, Weinan Hong, Wei Han, Yue Cao, Xiangyu Chen, Zipei Fan, Xuan Song

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）； IO-AI TECH

专题命中 GUI与屏幕智能体：vision-language model(abstract)

AI总结 Adaptor通过少样本学习和跨操作者泛化方法，提升辅助远程操作中意图识别的鲁棒性，实验表明其在真实和模拟基准上表现优异，具备低方差和跨操作者泛化能力。

Comments Accepted to the 2026 IEEE International Conference on Robotics and Automation (ICRA 2026)

2604.09442 2026-04-13 cs.CL 50%

UIPress: Bringing Optical Token Compression to UI-to-Code Generation

UIPress：将光学令牌压缩引入UI到代码生成

Dasen Dai, Shuoqi Li, Ronghao Chen, Huacan Wang, Biao Wu, Qizhen Lan

机构 * The Chinese University of Hong Kong（香港中文大学）； Peking University（北京大学）； University of Chinese Academy of Sciences（中国科学院大学）； University of Technology Sydney（悉尼科技大学）