视觉大模型 / VLM

SEDualVLN: A Spatially-Enhanced Dual-System for Vision-Language Navigation

SEDualVLN：一种空间增强的双系统用于视觉语言导航

Jingzhi Huang, Junkai Huang, Wenxuan Song, Haoyang Yang, Hailong Huang, Haoang Li, Yi Wang

机构 * Hong Kong Polytechnic University（香港理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；MLLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)

AI总结 本文提出SEDualVLN，一种空间增强的双系统框架，用于解决视觉语言导航中的长距离导航和动态推理问题，通过两个系统协同工作实现高效导航。

AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding

AffordanceVLA：一种通过可供性感知理解赋能动作生成的视觉-语言-动作模型

Qize Yu, Jiadi You, Yuran Wang, Jiaqi Liang, Bowen Ping, Yang Tian, Yue Chen, Minghong Cai, Zeying Gong, Ruihai Wu, Yinchuan Li, Junwei Liang, Yingcong Chen

机构 * Peking University（北京大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Chinese University of Hong Kong（香港中文大学） ； Knowin AI 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出AffordanceVLA框架，通过引入结构化可供性预测作为任务导向的中间表示，解决VLA模型中语义空间与具身控制策略的结构不匹配问题，实现精确的感知-动作映射。

Comments Preprint. Code and project page are available. Code: https://github.com/Skywalker-yqz/AffordanceVLA Project page: https://skywalker-yqz.github.io/AffordanceVLA/

DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions

DragOn：基于拖拽的GUI交互基准与数据集

Nathan Bout, Maxime Langevin, Ronan Riochet

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 针对GUI代理在拖拽操作（如拖放、滑动、高亮）上的性能不足，提出DragOn基准和训练数据集，涵盖文本高亮、单元格选择、元素缩放和滑块操作四个领域，包含28.6万张训练截图和350万个训练任务，评估了多个模型并显示数据集能提升下游任务性能。

Journal ref Published as a workshop paper at SCALE - 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents

OpenWebRL: 揭秘视觉网络代理的在线多轮强化学习

Rui Yang, Qianhui Wu, Yuxi Chen, Hao Bai, Wenlin Yao, Hao Cheng, Baolin Peng, Huan Zhang, Tong Zhang, Jianfeng Gao

机构 * UIUC（伊利诺伊大学香槟分校） ； Microsoft（微软） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出OpenWebRL框架，通过在线多轮强化学习在真实网站上训练视觉网络代理，以4B参数模型在基准测试中达到开源最优，并与闭源系统竞争。

Comments 36 pages, 11 figures

PerceptUI: LLM Agents as Human-Aligned Synthetic Users for UI/UX Evaluation

PerceptUI: 用于UI/UX评估的与人类对齐的合成用户的LLM智能体

Nicolas Bougie, Xiaotong Ye, Gian Maria Marconi, Narimasa Watanabe

机构 * Woven by Toyota（丰田 woven） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 提出PerceptUI框架，通过对比反思微调和反思式提示进化，使多模态大语言模型能够模拟特定用户对界面问题的回答，实现与人类水平相当的UI/UX评估。

Do MLLMs Capture How Interfaces Guide User Behavior? A Benchmark for Multimodal UI/UX Design Understanding

多模态用户界面/用户体验设计理解的基准测试：MLLMs能否捕捉界面如何引导用户行为？

Jaehyun Jeon, Min Soo Kim, Jang Han Yoon, Sumin Shim, Yejin Choi, Hanbin Kim, Dae Hyun Kim, Youngjae Yu

机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学） ； NC AI 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 本文提出WiserUI-Bench基准测试，用于评估多模态UI/UX设计对用户行为的影响，通过300对真实世界UI图像对和专家解读，发现MLLMs在理解UI/UX设计行为影响方面存在局限。

Comments ACL 2026 Main. Our code and dataset: https://github.com/jeochris/wiserui-bench