视觉大模型 / VLM

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

SlowBA：针对基于VLM的GUI代理的高效后门攻击

Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；分类 cs.CV

AI总结 提出SlowBA后门攻击，通过强化学习注入触发模式，诱导VLM-based GUI代理产生冗长推理链，显著增加响应延迟，同时保持任务准确性。

Comments Accepted by ECCV 2026. Codes and supplementary materials are in https://github.com/tu-tuing/SlowBA

Recommending Usability Improvements with Multimodal Large Language Models

利用多模态大语言模型推荐可用性改进

Sebastian Lubos, Alexander Felfernig, Damian Garber, Viet-Man Le, Manuel Henrich

专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 本文提出一种利用多模态大语言模型自动识别和推荐用户界面可用性改进的方法，通过分析有限的应用上下文和用户交互屏幕记录，基于尼尔森可用性启发式方法生成优先级排序的改进建议，验证了其在软件工程中的实用性。

Comments Accepted for publication at the ACM International Conference on the Foundations of Software Engineering (FSE 2026)

Training Vision-Language-Action Models with Dense Embodied Chain-of-Thought Supervision

训练具有密集具身思维链监督的视觉-语言-动作模型

Haoyang Li, Guanlin Li, Youhe Feng, Chen Zhao, Zhuoran Wang, Yang Li, Qizhe Wei, Shifeng Bao, Haitao Shen, Yihan Zhao, Tong Yang, Jing Zhang

机构 * Renmin University of China（中国人民大学） ； Zhipu AI（智谱AI） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 提出ZR-0模型，通过密集具身思维链监督对齐跨具身表示，采用双流架构（VLM生成结构化推理，扩散Transformer生成动作），在多个仿真和真实平台实现强性能。

GUI-Perturbed: Domain Randomization Reveals Systematic Brittleness in GUI Grounding Models

GUI-Perturbed：领域随机化揭示GUI接地模型的系统性脆弱性

Yangyue Wang, Harshvardhan Sikka, Yash Mathur, Tony Zhou, Jinu Nyachhyon, Pranav Guruprasad

机构 * Fig 2 Manifold Research（图2曼尼福德研究） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI、cs.LG

AI总结 GUI接地模型在标准基准上准确率超过85%，但在需要空间推理而非直接元素命名时下降27-56个百分点。GUI-Perturbed框架通过独立变化视觉场景和指令来评估接地鲁棒性，发现关系指令导致所有模型准确性崩溃，70%浏览器缩放显著降级，且增强数据训练反而降低性能。

Comments 26 Pages, 17 Figures, 9 Tables

3D HAMSTER: Bridging Planning and Control in Hierarchical Vision Language Action Models through 3D Trajectory Guidance

3D HAMSTER：通过3D轨迹引导在分层视觉语言动作模型中桥接规划与控制

Dongyoon Hwang, Byungkun Lee, Dongjin Kim, Hyojin Jang, Hoiyeong Jin, Jueun Mun, Minho Park, Hojoon Lee, Hyunseung Kim, Jaegul Choo

机构 * Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院） ； Graduate School of Artificial Intelligence, POSTECH（浦项工业大学人工智能研究生院） ； KRAFTON AI 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出3D HAMSTER框架，通过让规划器直接输出度量可靠的3D轨迹，弥合2D引导与3D低层策略之间的差距，在3D轨迹预测、仿真和真实操作中优于现有方法。

Comments Published in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026. Code: https://github.com/DAVIAN-Robotics/3D_HAMSTER. Project page: https://davian-robotics.github.io/3D_HAMSTER/

EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

EgoGapBench：多智能体场景中自我中心动作选择的基准测试

Jihyeok Jung, Jeewu Lee, Sanghyeop Kim, Chanhee Han, Seong Joon Oh

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Sogang University（成均馆大学） ； Ministry of Science and ICT（科学技术信息通信部） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出EgoGapBench基准，用于评估多智能体场景中的自我中心动作选择能力，发现多模态大语言模型表现远逊于人类，且现有自我中心数据微调无法弥合差距。

Comments 15 pages, 2 figures, 8 tables. Code and benchmark are available at https://github.com/jhCOR/EgoGapBench

MindAU: EEG-Conditioned Facial Action Unit Editing via Dual-Stream Manifold Alignment

MindAU: 基于双流流形对齐的脑电条件面部动作单元编辑

Zhenhang Li, Xin Zhou, Hao Deng, Lijun Yin

机构 * Binghamton University（宾汉姆顿大学） ； Massachusetts General Hospital（马萨诸塞综合医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 提出MindAU框架，通过双流流形对齐将EEG特征与AU文本语义和视觉位移对齐，实现高保真身份保持的面部动作单元编辑。

Xiaomi-GUI-0 Technical Report

Xiaomi-GUI-0 技术报告

Wanxia Cao, Chengzhen Duan, Pei Fu, Pengzhi Gao, Niu Lian, Fazhan Liu, Hui Liu, Heng Qu, Qinzhuo Wu, Zhehao Yu, Tongbo Chen, Shiqi Cui, Anan Du, Shukai Jia, Yuanfa Li, Wei Liu, Yike Liu, Wenchao Lu, Zhenbo Luo, Haoyuan Sun, Jiatong Sun, Cheng Tan, Yajie Wang, Changqiao Wu, Tao Xiong, Jiahui Yang, Yuxuan Yuan, Ruoceng Zhang, Shaojie Zhang, Jian Zhu, Jian Luan, Cong Zou

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 提出Xiaomi-GUI-0，一种在真实移动设备上训练和评估的原生多模态GUI智能体，通过真实设备主导的混合基础设施、多源训练数据和渐进式三阶段训练，在真实任务中实现72.0%成功率，显著提升执行稳定性和异常状态识别。

Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance

从单实例RGB演示中学习类别级最后米导航

Tzu-Hsien Lee, Fidan Mahmudova, Karthik Desingh

机构 * University of Minnesota, Twin Cities（明尼苏达大学 Twin Cities 分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 提出面向对象的模仿学习框架，利用RGB观测实现四足移动机械臂在最后米阶段的精确导航，无需深度或地图先验，在类别级泛化中达到高成功率。