视觉大模型 / VLM

Context Matters: Peer-Aware Student Behavioral Engagement Measurement via VLM Action Parsing and LLM Sequence Classification

语境至关重要：通过VLM动作解析和LLM序列分类进行同伴感知的学生行为参与度测量

Ahmed Abdelkawy, Ahmed Elsayed, Asem Ali, Aly Farag, Thomas Tretter, Michael McIntyre

机构 * University of Louisville（路易斯维尔大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种三阶段框架，通过VLM动作识别和LLM序列分类，结合课堂语境中的同伴行为，有效测量学生参与度。

Comments accepted to the Computer Vision for Education (CV4Edu) workshop, CVPR 2026

FineState-Bench: Benchmarking State-Conditioned Grounding for Fine-grained GUI State Setting

FineState-Bench：面向细粒度GUI状态设置的状态条件化基准测试

Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen

机构 * MBZUAI, United Arab Emirates（阿联酋MBZUAI研究院） ； Northeastern University, China（中国东北大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 FineState-Bench通过精确目标状态评估，检验智能体能否正确映射指令至UI控件，提出FineState-Metrics与VDA诊断工具，实验显示视觉接地仍有提升空间，但整体准确率不足。

InteractWeb-Bench: Can Multimodal Agent Escape Blind Execution in Interactive Website Generation?

InteractWeb-Bench: 多模态代理能否在交互式网站生成中避免盲目执行？

Qiyao Wang, Haoran Hu, Longze Chen, Hongbo Wang, Hamid Alinejad-Rokny, Yuan Lin, Min Yang

机构 * Shenzhen Institute of Advanced Technology Chinese Academy of Sciences（深圳先进技术研究院中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Dalian University of Technology（大连理工大学） ； UNSW Sydney（悉尼大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出InteractWeb-Bench，首个针对非专家低代码用户的多模态交互基准，通过模拟用户行为中的模糊性、冗余性和矛盾性，揭示前沿多模态大语言模型在意图识别和适应性交互上的局限。

Comments 21 pages, 13 figures, 7 tables

OpAgent: Operator Agent for Web Navigation

OpAgent：网页导航的运算代理

Yuyu Guo, Wenjie Yang, Siyuan Yang, Ziyang Liu, Cheng Chen, Yuan Wei, Yun Hu, Yang Huang, Guoliang Hao, Dongsheng Yuan, Jianming Wang, Xin Chen, Hang Yu, Lei Lei, Peng Di

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本文提出OpAgent，通过在线强化学习优化网页导航策略，结合层级多任务微调和混合奖励机制，实现71.6%的高成功率。

SpaAct: Spatially-Activated Transition Learning with Curriculum Adaptation for Vision-Language Navigation

SpaAct：基于课程适应的空间激活转换学习用于视觉语言导航

Pengna Li, Kangyi Wu, Shaoqing Xu, Fang Li, Hanbing Li, Lin Zhao, Kailin Lyu, Long Chen, Zhi-Xin Yang, Nanning Zheng

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室） ； National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所） ； The State Key Laboratory of Internet of Things for Smart City（智能城市物联网国家重点实验室） ； Centre for Artificial Intelligence and Robotics（人工智能与机器人中心） ； University of Macau（澳门大学） ； Xiaomi EV（小i EV） ； School of Automation（自动化学院） ； Beijing Institute of Technology（北京理工大学） ； Institute of Automation（自动化研究所） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 SpaAct通过引入空间激活任务和课程适应方法，提升视觉语言导航中动态空间感知能力，实现更高效的导航性能。

Comments Submmited to ACM MM 2026

AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling

AutoSurfer -- 通过全面浏览、学习和建模教学网络代理

Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

机构 * Microsoft Research（微软研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 AutoSurfer通过系统性广度优先探索策略、任务合成引导和轨迹优化，实现全面覆盖网站操作空间，提升网络代理轨迹生成的准确性和多样性。

Comments 21 pages, 3 figures

GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance

GuideDog: 一种用于视障和低视力者无障碍引导的现实世界单人视角多模态数据集

Junhyeok Kim, Jaewoo Park, Junhee Park, Sangeyl Lee, Jiwan Chung, Jisung Kim, Ji Hoon Joung, Youngjae Yu

机构 * Yonsei University（延世大学） ； LG AI Research（LG AI研究所） ； Euler Robotics（Euler机器人） ； Seoul National University（首尔国立大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 本文提出GuideDog数据集，包含22K图像描述对，用于提升视障者导航能力，通过人机协同标注提升数据质量，并展示深度感知评估基准，揭示当前多模态大语言模型在深度感知方面的挑战。

Comments ACL 2026 Main. Project page: https://jun297.github.io/GuideDog/