视觉大模型 / VLM

DiffSpot: Can VLMs Spot Fine-Grained Visual Differences in Web Interfaces?

DiffSpot：VLM能发现网页界面中的细微视觉差异吗？

Linhao Zhang, Aiwei Liu, Yuan Liu, Xiao Zhou

机构 * WeChat AI, Tencent Inc（腾讯公司） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title_cn,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出DiffSpot基准，通过CSS属性突变生成可控图像对，评估视觉语言模型在网页界面中检测细微视觉差异的能力，发现最佳模型仅识别40.7%的真实变化。

PrecisionCUA: Iterative Visual Refinement for Pixel-Precise Cursor Grounding in Code Editors

PrecisionCUA：代码编辑器中像素级光标定位的迭代视觉细化

Himangi Mittal, Gaurav Mittal, Nelson Daniel Troncoso, Yu Hu

机构 * Microsoft（微软公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 提出PrecisionCUA方法，通过迭代视觉反馈细化机制实现代码编辑器中像素级光标定位，显著提升点击精度和任务成功率。

Mitigating State Aliasing in Vision-Language-Action Models via Inverse Dynamics Learning

通过逆动力学学习缓解视觉-语言-动作模型中的状态混叠

Kyujin Lee, Injae Kim, Jihwan Park, Yejun Ju, Minseok Joo, Hyunwoo J. Kim

机构 * KAIST（韩国科学技术院） ； Korea University（韩国大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出将逆动力学学习作为辅助目标，直接监督VLA视觉编码器，通过预测当前与未来观测之间的动作来捕捉细粒度视觉差异，从而缓解状态混叠问题。

GUITestScape: Towards Open-set Evaluation on Exploratory GUI Testing

GUITestScape：面向探索性GUI测试的开放集评估

Xiaoyi Chen, Yifei Gao, Yang Xu, Xingxing Song, Yi Zhang, Jitao Sang

机构 * Beijing Jiaotong University（北京交通大学） ； Independent Researcher（独立研究者） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出GUITestScape基准和GUIJudge评估器，通过覆盖交互与显示缺陷的508个预设缺陷及过程感知评估方法，解决现有GUI测试评估局限于预定义标注和交互缺陷的问题。

3DVLA: Enhancing Vision-Language-Action Models via 3D Spatial and Instance Understanding

3DVLA：通过3D空间和实例理解增强视觉-语言-动作模型

Zhongyu Xia, Yousen Tang, Bingqing Wei, Yongtao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出3DVLA框架，通过多视角一致性3D特征编码、实例估计模块和掩码自监督3D编码，解决VLA模型缺乏3D场景理解的问题，在LIBERO-Plus和RoboTwin 2.0上显著提升操作性能。

E3AD: An Emotion-Aware Vision-Language-Action Model for Human-Centric End-to-End Autonomous Driving

E3AD：面向以人为中心的端到端自动驾驶的情感感知视觉-语言-动作模型

Yihong Tang, Haicheng Liao, Tong Nie, Junlin He, Ao Qu, Kehua Chen, Wei Ma, Zhenning Li, Lijun Sun, Chengzhong Xu

机构 * McGill University（麦吉尔大学） ； University of Macau（澳门大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出E3AD框架，通过连续VAD情感模型和双路径空间推理模块，将情感理解融入视觉-语言-动作模型，实现开放域端到端自动驾驶中的情感感知轨迹规划，在真实数据集上达到SOTA性能。

VLA-Trace: Diagnosing Vision-Language-Action Models through Representation and Behavior Tracing

VLA-Trace: 通过表示与行为追踪诊断视觉-语言-动作模型

Haoyuan Shi, Xiancong Ren, Yingji Zhang, Qinfan Zhang, Jiayu Hu, Haozhe Shan, Han Dong, Jinpeng Lu, Yinda Chen, Yi Zhang, Yong Dai, Xiaozhu Ju

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Manchester（曼彻斯特大学） ； Beihang University（北航） ； Fudan University（复旦大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 提出VLA-Trace诊断框架，通过表示演化、因果控制归因和行为表现分析，揭示VLA模型在多模态知识向具身控制转化中的机制，发现不同模型在微调适应、多模态路由和语义遵循上的差异与局限。

UI-KOBE: Knowledge-Oriented Behavior Exploration for Lightweight Graph-Guided GUI Agents

UI-KOBE：面向轻量级图引导GUI代理的知识导向行为探索

Yuxiang Chai, Han Xiao, Xinyu Fu, Jinpeng Chen, Rui Liu, Hongsheng Li

机构 * CUHK MMLab（香港大学多模态实验室） ； Huawei Research（华为研究） ； Shenzhen Loop Area Institute（深圳河套学院） ； CPII under InnoHK（创新香港下的CPII） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 提出UI-KOBE框架，通过自动构建应用知识图谱并引导轻量级GUI代理进行运行时决策，以提升其移动端GUI任务执行效果。

GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation

GaussianDream：用于机器人操作的前馈3D高斯世界模型

Zijian Zhang, Yuqing Jiang, Qian Cheng, Xiaofan Li, Si Liu, Ding Zhao, Ping Luo, Weitao Zhou, Haibao Yu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 提出GaussianDream，一种前馈3D高斯世界模型插件，通过可学习查询编码当前帧3D空间结构和短期未来演化，在训练时用静态重建和未来预测头监督，推理时仅保留查询条件化动作生成，在多个机器人操作基准上达到最先进性能。

Comments 19 pages, 9 figures