视觉大模型 / VLM

Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets

计算机使用代理的不确定性量化：跨视觉语言模型和GUI基础数据集的基准测试

Divake Kumar, Sina Tayebati, Devashri Naik, Amanda Sofie Rios, Nilesh Ahuja, Omesh Tickoo, Ranganath Krishnan, Amit Ranjan Trivedi

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Intel Labs（英特尔实验室） ； Capital One AI Labs（Capital One AI实验室） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；grounding(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出跨机制基准Argus，评估27种后验不确定性量化方法在4个VLM代理和4个数据集上的表现，发现UQ排名在固定模型内跨数据集稳定，但跨模型类别和接口时下降，隐藏状态和密度方法最稳定。

WinDOM: Self-Family Distillation for Small-Model GUI Grounding

WinDOM：面向小型模型GUI定位的自家族蒸馏

Chengheng Li-Chen, Zhiqian Zhou, Hao Chen, Nicolas Chauvin

机构 * \'Ecole Polytechnique F\'ed\'erale de Lausanne (EPFL), Lausanne, Switzerland 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出WinDOM数据集和自家族蒸馏方法，通过DOM直接获取边界框数据，结合强化学习提升小模型GUI定位性能，在Qwen3.5-2B上取得显著提升。

SurveilNav: Collaborative Object Goal Navigation with Robot and Surveillance System

SurveilNav: 机器人与监控系统协同的目标导航

Ming-Ming Yu, Qunbo Wang, Rongtao Xu, Yanghong Mei, Yirong Yang, Longteng Guo, Wenjun Wu, Jing Liu

机构 * Beihang University（北京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Jiaotong University（北京交通大学） ； ATeam ； University of Chinese Academy of Sciences（中国科学院大学） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)

AI总结 提出SurveilNav框架，通过主动摄像头调度、联合2D/3D建图、基于VLM的价值估计和协同目标验证，融合机器人动态局部感知与监控全局视图，在HM3D数据集上实现领先的探索效率和导航成功率。

Comments Accepted by ICRA 2026

Learning Action Priors for Cross-embodiment Robot Manipulation

跨具身机器人操作的动作先验学习

Dong Jing, Tianqi Zhang, Jiaqi Liu, Jinman Zhao, Zelong Sun, Li Erran Li, Zhiwu Lu, Mingyu Ding

机构 * Renmin University of China（中国人民大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Toronto（多伦多大学） ； Amazon（亚马逊） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出两阶段训练框架，先通过流匹配预训练动作模块学习跨具身时间运动结构，再迁移至VLA训练，提升数据效率与任务成功率。

RAVEN: Long-Horizon Reasoning & Navigation with a Visuo-Spatio-Temporal Memory

RAVEN: 基于视觉-空间-时间记忆的长期推理与导航

Yixun Hu, Zhicheng Zheng, Lihan Zha, Chunwei Xing, Rajdeep Singh, Omar Hossain, Antonio Loquercio, Dhruv Shah

机构 * Princeton University（普林斯顿大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 提出RAVEN记忆系统，通过存储视觉嵌入与位姿时间信息，实现长期机器人问答与导航，在多个基准上超越字幕记忆系统，以10倍更低检索成本匹配前沿VLM。

Comments Project website: https://ravenmem.github.io/

Reflective VLA: In-Context Action Consequences Make VLAs Generalize

Reflective VLA：上下文动作后果使VLA具备泛化能力

Qing Lian, Kent Yu, Lei Zhang

机构 * Futian Laboratory（福田实验室） ； International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA）） ； Visincept 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Reflective VLA，通过引入观察-动作-后果三元组作为上下文，使VLA模型能感知动作的环境特异性映射，在分布偏移下平均成功率提升5.4和4.2个百分点。

CustomX: Unified Character, Action, and Scene Customization in Video World Models

CustomX: 视频世界模型中的统一角色、动作与场景定制

Yitong Wang, Fangyun Wei, Hongyang Zhang, Bo Dai, Yan Lu

机构 * Fudan University（复旦大学） ； Microsoft Research（微软研究院） ； University of Waterloo（滑铁卢大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出CustomX，结合静态世界生成与可控实体模型，支持用户指定角色在3D场景中执行开放动作，通过条件自回归视频生成保持视觉保真度。

Comments Accepted to ECCV 2026. Project page: https://snowflakewang.github.io/CustomX_Page/

KidRisk: Benchmark Dataset for Children Dangerous Action Recognition

KidRisk：儿童危险动作识别基准数据集

Minh-Kha Nguyen, Trung-Hieu Do, Kim Anh Phung, Thao Thi Phuong Dao, Minh-Triet Tran, Trung-Nghia Le

机构 * Thong Nhat Hospital（统一医院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 构建包含2500个短视频和10000张图像的儿童危险动作数据集KidRisk，提出基于视觉语言模型的方法，在动作分类和危险识别上分别达到83.53%和96.14%的准确率。

Comments SOICT 2024