视觉大模型 / VLM

Mobile-Aptus: Confidence-Driven Proactive and Robust Interaction in MLLM-based Mobile-Using Agents

Mobile-Aptus: 基于MLLM的手机使用代理中的置信度驱动的主动与鲁棒交互

Zheng Wu, Pengzhou Cheng, Zongru Wu, Yuan Guo, Tianjie Ju, Aston Zhang, Gongshen Liu, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； GenAI, Meta（Meta的GenAI） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(title,title_cn)；multimodal large language model(abstract)

AI总结 针对手机使用代理中的过度执行和过度请求问题，提出一种置信度驱动的主动与鲁棒交互框架，通过监督微调和置信度偏差校正实现最优性能。

Comments Accepted by TASLP

Enhancing Trustworthy GUI Grounding via Self-Critiqued Reinforcement Learning

通过自我批评强化学习增强可信的GUI定位

Shaojie Zhang, Pei Fu, Ruoceng Zhang, Jiahui Yang, Anan Du, Xiuwen Xi, Shaokang Wang, Ying Huang, Bin Qin, Zhenbo Luo, Jian Luan

机构 * Xiaomi Inc（小米公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.CV

AI总结 提出HyperClick框架，通过自我批评强化学习联合优化定位准确性和置信度可靠性，实现可信的GUI定位。

DriveWAM: Video Generative Priors Enable Scalable World-Action Modeling for Autonomous Driving

DriveWAM: 视频生成先验实现自动驾驶的可扩展世界-动作建模

Chen Shi, Jinrui Xu, Shaoshuai Shi, Kehua Sheng, Bo Zhang, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Voyager Research, Didi Chuxing（Voyager Research，滴滴出行） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出DriveWAM，通过将预训练视频扩散Transformer适配为自回归视频-动作策略，并引入场景演化驾驶引导和选择性KV记忆，实现可扩展的世界-动作建模，在NAVSIM和PhysicalAI基准上取得强规划性能。

MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content

MIRAGE：通过用户生成内容对移动GUI代理的上下文感知提示注入

Ruoqi Guo, Yi Liu, Gelei Deng, Yiheng Xiong, Yuekang Li, Ying Zhang, Leo Yu Zhang, Lida Zhao, Ji Jie, Yuxiao Lu

机构 * Griffith University（格里菲斯大学） ； Quantstamp ； Nanyang Technological University（南洋理工大学） ； Singapore Management University（新加坡管理学院） ； University of New South Wales（新南威尔士大学） ； Wake Forest University（威克森林大学） ； Independent Researcher（独立研究者） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出MIRAGE管道，通过将攻击者控制的文本嵌入用户生成内容区域，在不修改代理、应用或操作系统的情况下，对视觉语言模型驱动的移动GUI代理实现高成功率的提示注入攻击。

Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation

Uni-LaViRA：面向统一具身导航的语言-视觉-机器人动作翻译

Hongyu Ding, Sizhuo Zhang, Ziming Xu, Jinwen Guo, Hongxiu Liu, Xingzhi Cheng, Zixuan Chen, Haifei Qi, Duo Wang, Hao Xu, Jieqi Shi, Yifan Zhang, Jing Huo, Jian Cheng, Yang Gao, Jiebo Luo

机构 * Nanjing University（南京大学） ； Beihang University（北京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； BMW (Nanjing) Information Technology Co., Ltd.（宝马（南京）信息技术有限公司） ； University of Rochester（罗切斯特大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出Uni-LaViRA统一智能体架构，通过语言-视觉-机器人动作翻译结构，结合待办列表记忆和二次机会回溯机制，在零训练下实现四类导航任务和四种真实机器人的零样本泛化，性能匹配或超越近期训练式导航基础模型。

Comments Project page: https://xetroubadour.github.io/Uni-LaViRA/

CogVLA: Cognition-Aligned Vision-Language-Action Model via Instruction-Driven Routing & Sparsification

CogVLA: 通过指令驱动路由与稀疏化实现认知对齐的视觉-语言-动作模型

Wei Li, Renshan Zhang, Rui Shao, Jie He, Liqiang Nie

机构 * School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区计算机科学与技术学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出CogVLA框架，通过指令驱动路由和稀疏化机制，在LIBERO基准和真实机器人任务上以2.5倍训练成本降低和2.8倍推理延迟降低实现97.4%和70.0%的成功率。

Comments Accepted to NeurIPS 2025, Project Page: https://jiutian-vl.github.io/CogVLA-page

CogPortrait: Fine-Grained Eye-Region Control in Portrait Animation via Hierarchical Agent Planning

CogPortrait: 通过分层智能体规划实现肖像动画中的细粒度眼部区域控制

He Feng, Yongjia Ma, Donglin Di, Lei Fan, Tonghua Su

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出CogPortrait两阶段框架，利用多模态大语言模型智能体从高层标签生成关键点，再通过DiT视频生成骨干合成动画，实现细粒度眼部控制，并引入EMH基准评估。

GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection

GUI-CIDER：通过因果内化和密度感知示例重选进行GUI代理的中期训练

Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Meituan（美团） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 提出GUI-CIDER中期训练方法，通过因果内化和密度感知示例重选显式内化GUI世界知识，提升代理对GUI操作的理解和任务成功率。

Neural Implicit Action Fields: From Discrete Waypoints to Continuous Functions for Vision-Language-Action Models

神经隐式动作场：从离散路点到连续函数的视觉-语言-动作模型

Haoyun Liu, Jianzhuang Zhao, Xinyuan Chang, Tianle Shi, Chuanzhang Meng, Jiayuan Tan, Feng Xiong, Tong Lin, Dongjie Huo, Mu Xu, SongLin Dong, Zhiheng Ma, Yihong Gong, Sheng Zhong

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳大学计算微电子学院） ； Guangdong Provincial Key Laboratory of Computility Microelectronics（广东省计算微电子重点实验室） ； Amap, Alibaba Group（阿里集团Amap） ； Shenzhen University（深圳大学） ； Xi'an Jiaotong University（西安交通大学） ； Beijing University of Chemical Technology（北京化工大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 针对视觉-语言-动作模型预测离散动作路点与物理运动连续性不匹配的问题，提出神经隐式动作场（NIAF），通过将动作表示从离散路点重构为连续函数，实现任意时间分辨率的连续动作流形合成，支持解析求导和显式速度监督，提升控制平滑性和物理合理性。

Comments Accepted at ICML 2026